Az Apache Pig segítségével komplex MapReduce transzformációs szkripteket lehet készíteni, egy relatíve egyszerű nyelven. A szkriptnyelvet "Pig Latin"-nak hívják, ami tartalmaz egy halom előre definiált transzformációs függvényt, plusz lehetőséget biztosít saját függvények…
2014.04.22.
nagyadatblog
Apache Pig
Címkék: apache pig
2014.03.19.
nagyadatblog
YARN
a.k.a. MapReduce 2.0, MRv2
Az Apache Hadoop YARN egy Hadoop alprojekt, amit a 2.x-s Hadoop verzióban emeltek a Core szolgáltatások közé. Röviden: a YARN segítségével szétválaszthatóvá váltak a MapReduce erőforrás-menedzsment és adatfeldolgozási funkciói.
Az alprojektet az az igény hívta életre, hogy a…
Címkék: apache hadoop yarn MapReduce hortonworks MRv2
2014.03.09.
nagyadatblog
Hadoop otthonra
Hortonworks Sandbox
Hiszem, hogy habár az átfogó kép ismerete nélkül sokkal nehezebben érthető meg egy technológiai megoldás, azonban a legtöbbet úgy lehet tanulni egy ilyen eszközről, ha azt testközelből tudjuk vizsgálni. Ezt szerencsére rajtam kivül más is így gondolta, ezért változó…
