Az általános Hadoop® architektúra a követező 4 fő elemből épül fel.
- Hadoop® Core
- Adatszolgáltatások
- Operációs szolgáltatások
- Platform szolgáltatások
Hadoop® Core
Ez a Hadoop architektúra központi eleme. Három fő komponenst tartalmaz:
Hadoop Distributed File System (HDFS™), azaz egy elosztott fájlrendszer. Azonban nem feltétlenül minden Hadoop rendszer ezt alkalmazza, vannak más alternatív fájlrendszerek is, amik egyaránt használhatók egy ilyen architektúrában.
MapReduce, az a technológia, ami biztosítja az adatfeldolgozási feladatok (job-ok) elosztását a klaszterben, valamint azok eredményének egységesítését. Lényegében a párhuzamos adatfeldolgozást végző modul.
YARN, egy olyan keretrendszer, ami lehetővé teszi a MapReduce eljárások futtatását. Feladat ütemező, klaszter erőforrás-menedzsment funkciót lát el.
Data Services
Avro™: egy olyan keretrendszer, aminek segítségével úgy tudjuk tárolni az adatainkat, hogy azt különböző programnyelvekkel egyszerűen olvashatjuk. Az Avro arra van optimalizálva, hogy minimalizálja az adatok tárolásához szükséges diszk kapacitást, valamint biztosítsa azok olvashatóságát a struktúra módosítása (mezők hozzáadása vagy eltávolítása) után is.
Cassandra: HBase-hez hasonló célú, elosztott rendszereken futó adatbázis szerver alkalmazás.
Flume: Kifejezetten log típusú adatok/adatfolyamok gyűjtésére, és a HDFS-be tárolására használatos alkalmazás.
HBase™: NoSQL elosztott adatbázis interaktív alkalmazások számára
Hive™: SQL-szerű interfész, ami lehetőséget biztosít a felhasználóknak, hogy a Hadoop klaszterben tárolt adatokon ad-hoc lekérdezéseket készítsenek, vagy az adatokat elérjék Excel, Microstrategy, Powerpivot, Tableau vagy egyéb más BI eszközökkel ODBC driveren keresztül.
Pig™: Ez a Hadoop szkriptnyelve. Az eszköz komplex adattranszformációs lehetőségekkel van felvértezve. A nyelv megnevezése Pig Latin, ami tartalmaz előre definiált adattranszformációs függvényeket, valamint lehetőséget biztosít, saját felhasználói függvények definiálására.
Sqoop™: Adatokat relációs adatbázisokból Hadoop-ba töltő célalkalmazás.
Operational Services
Ambari™: Hadoop klaszter menedzsment és monitoring eszköz. Klaszterek üzemeltetését segíti, különböző előre definiált metrikák, intuitív felhasználói felület és különféle vizualizációs megoldások segítségével hozzájárul az optimális üzemeltetési környezet kialakításához és fenntartásához.
Oozie: Hadoop üzemeltetési workflow és feladat ütemezési alkalmazás. Koordinálja a különböző eszközökben előállított job-ok futtatását.
ZooKeeper™: centralizált szolgáltatás a Haoop klaszterben, ami folyamat-szinkronizáció és konfiguráció-menedzsment funkciókat biztosít. A ZooKeeper koordinálja a node-ok működését a klaszteren belül, biztosítva, hogy a feldolgozások a megfelelő helyen, a megfelelő időben és sorrendben történjenek meg. A ZooKeeper osztja szét az egyedi és közös konfigurációs információkat a klaszterben, ismerve a klaszter felépítését, a ZooKeeper végzi a "vezető" node kijelölését, ami kezeli az összes felhasználóktól érkező kérést. (A vezető node kiesése a klaszter újraszervezését generálja, új vezető kiválasztásával.)
Platform Services
Ebben a modulban olyan komponensek szerepelnek, amik a Hadoop vállalati IT infrastruktúrába illesztését segítik. Az egyes disztribúciók ebben a modulban jelentősen eltérhetnek, kiajánlva saját, jobbnak mondott megoldásaikat a felhasználóknak.
A fent említett komponensek listája semmiképpen sem tekinthető teljesnek, léteznek még például inkubátor stádiumban lévő Hadoop alprojektek (pl.: Chukwa, Spark, Mahout), amik a közeljövőben számos izgalmas újítást hoznak majd a Hadoop világába, illetve egészen biztosan vannak projektek, amik most elkerülték a figyelmemet. Ha ilyenről tudtok, szívesen fogadom a tippeket!
A mai bejegyzésbe ennyi fért, a későbbiekben az egyes komponensekről egészen biztosan részletesebben is szó lesz.
