2014.03.19.

nagyadatblog

YARN

a.k.a. MapReduce 2.0, MRv2

Az Apache Hadoop YARN egy Hadoop alprojekt, amit a 2.x-s Hadoop verzióban emeltek a Core szolgáltatások közé. Röviden: a YARN segítségével szétválaszthatóvá váltak a MapReduce erőforrás-menedzsment és adatfeldolgozási funkciói.

Az alprojektet az az igény hívta életre, hogy a Hadoop egyre növekvő számú felhasználói szükségesnek tartották, hogy minél szélesebb körű alkalmazásokkal lehessen a HDFS-ben tárolt adatokat elérni, ez ne korlátozódjon kizárólag a MapReduce-ra. Egy vállalat számára, amikor az adatok elérhetővé válnak a HDFS-ben, fontos, hogy különböző módokon lehessen a tárolt adatokat feldolgozni.

-->

Címkék: apache hadoop yarn MapReduce hortonworks MRv2

2014.03.13.

nagyadatblog

HDFS™

Hadoop Distributed File System

A HDFS™ egy elosztott, skálázható, nagy megbízhatóságú, JAVA alapú fájlrendszer nagy mennyiségű adat tárolására, általános célú szerverekből kialakított klasztereken. A MapReduce és YARN komponensekkel együtt alkotják a Hadoop központi magját.

-->

Címkék: hadoop hdfs hadoop distributed file system

2014.03.12.

nagyadatblog

MapReduce-ról bővebben..

A MapReduce egy keretrendszer nagy mennyiségű adat feldolgozására képes alkalmazások készítéséhez. A MapReduce a Hadoop fájlrendszerrel (HDFS™) és a YARN keretrendszerrel alkotja a Hadoop rendszerek központi magját. Képes strukturált és strukturálatlan adatok párhuzamos feldolgozására sok száz vagy ezer számítógépből álló klaszteren, nagyfokú hibatűréssel, megbízhatóan.

-->

Címkék: hadoop MapReduce

2014.03.09.

nagyadatblog

Hadoop otthonra

Hortonworks Sandbox

Hiszem, hogy habár az átfogó kép ismerete nélkül sokkal nehezebben érthető meg egy technológiai megoldás, azonban a legtöbbet úgy lehet tanulni egy ilyen eszközről, ha azt testközelből tudjuk vizsgálni. Ezt szerencsére rajtam kivül más is így gondolta, ezért változó mértékben, de egyre jellemzőbb, hogy a szoftvergyártók biztosítanak olyan környezetet (online demo, letölthető image), ahol a konkrét eszközt ki lehet próbálni, ne adj isten, még valamiféle használati útmutatót, oktatóanyagot is készítenek hozzá. Ha az ember szán időt ezekre, telepíti, beállítja, próbálgatja az adott eszközt, végigrágja magát az oktatóanyagokon, az a korlátozott lehetőségekhez képest is megalapozhatja az eszközzel kapcsolatos ismereteit. Ettől természetesen nem lesz senkiből szakértő, viszont egy lépéssel egészen biztosan közelebb kerül ehhez a céljához. (Már ha egyáltalán van ilyen célja.)

-->

Címkék: apache sandbox hadoop hortonworks

2014.03.07.

nagyadatblog

Hadoop® architektúra

Az általános Hadoop® architektúra a követező 4 fő elemből épül fel.

  1. Hadoop® Core
  2. Adatszolgáltatások
  3. Operációs szolgáltatások
  4. Platform szolgáltatások

hadoop_arch2.png

-->

Címkék: apache hadoop

süti beállítások módosítása