2014.05.30.

nagyadatblog

Események

(Big) Data Meetups in Budapest

A Meetup.com misszója, hogy segítségével bárki könnyen létrehozhasson vagy csatlakozhasson olyan szakmai vagy szabadidős csoporthoz, melynek tagjai rendszeres összejövetelek alkalmával megosztják egymással tapasztalataikat, előadást tartanak, véleményt nyilvánítanak, vagy vitáznak egy adott témában személyesen. Ezek a csoportok jellemzően lokáció és téma szerint szerveződnek, kialakítva egy olyan mikro közösséget, akik földrajzilag egymáshoz közel (pl.: egy városban) élnek és/vagy dolgoznak, és hasonló a szakmai vagy szabadidős érdeklődésük.

Szerencsére a szolgáltatás világszerte elérhető, így begyűrűzött hazánkba is. Rengeteg csoportot hoztak már létre főleg Budapesten, de vidéki csoportokat is lehet azért találni. Így első ránézésre azt mondanám, hogy elsősoran technológiai témájú meetup-ok vannak túlsúlyban, de azért lehet találni mást is bőven.

-->

Címkék: budapest r meetup database big data data science

2014.05.13.

nagyadatblog

Hadoop, az új vállalati információs architektúra magja

Az adatok vállalati felhasználása napjainkban jellemzően folyamat-centrikus: adott egy üzleti funkció, egy folyamat, melynek működéséhez, valamint a kapcsolódó alkalmazásokhoz, elemzésekhez előzetesen azonosítják a megfelelőnek gondolt adatforrásokat, amiket különböző eljárások kivonatolják, transzformálják és betöltik (ETL) bizonyos előre definiált struktúrákba megfelelő rendszerességgel. A fenti folyamat bonyolultsága és erőforrás igényes volta miatt jellemző, hogy csak a fontos (vagy előzetesen fontosnak vélt) adatokkal dolgoznak, valamint kizárólag belső és jól strukturált adatforrásokra hagyatkoznak. A feldolgozandó adatok megfelelő időközönként így egyik rendszerből a másikba vándorolnak, ahol végül az adott üzleti funkció(k) számára szükséges kalkulációk megtörténhetnek. Ha infrastruktúrális szempontból vizsgáljuk ezt a működést, akkor a data-to-compute elv érvényesülését látjuk, magyarul a kalkulációkhoz, a számítási kapacitáshoz viszik az adatokat. 

-->

Címkék: hadoop cloudera EDH enterprise data hub

2014.05.04.

nagyadatblog

Webinar ajánló

Building a Hadoop Data Warehouse: Hadoop 101 for EDW Professionals by Ralph Kimball

Nemrégiben volt szerencsém meghallgatni egy webinart a Cloudera szervezésében, amit az adattárház építés "nagymestere" Ralph Kimball tartott a Hadoopról (Building a Hadoop Data Warehouse: Hadoop 101 for EDW Professionals címmel). Szerencsére az előadást rögzítették, így akit érdekel, az visszanézheti itt (via Vimeo). Érdemes ellátogatni a Cloudera hivatalos oldalára is, ahol a videó mellett a bemutatott slide-ok és egyéb kapcsolódó anyagok is megtalálhatók. (A Cloudera az anyagok megtekintéséért elkér néhány adatot rólunk.)

Kimball egy nagyon izgalmas, ingoványos területről, a Hadoop és a “hagyományos” vállalati adattárházak viszonyáról beszélt, az adattárház-építők és a BI szakterület képviselői számára kifejezetten érdekes aspektusból. Szerintem mindenképpen érdemes megnézni a teljes előadást, a webinar bő egy óra, amiben van egy kis Cloudera marketing rész is a végén.

-->

Címkék: webinar hadoop kimball ralph kimball

2014.04.22.

nagyadatblog

Apache Pig

Az Apache Pig segítségével komplex MapReduce transzformációs szkripteket lehet készíteni, egy relatíve egyszerű nyelven. A szkriptnyelvet "Pig Latin"-nak hívják, ami tartalmaz egy halom előre definiált transzformációs függvényt, plusz lehetőséget biztosít saját függvények (User Defined Funcions, UDF) definiálására is. A Pig a Pig Latinban írt szkripteket lefordítja MapReduce eljárásokra, amik így futtathatóvá válnak a Hadoop klaszteren.

-->

Címkék: apache pig

2014.03.25.

nagyadatblog

Hadoop otthonra

IBM InfoSphere BigInsights Quick Start Edition


A minap belefutottam egy másik próbaverziós Hadoop disztribúcióba is, amit az IBM oldaláról lehet letölteni. Hasonlóan a Hortonworks Sandboxhoz, az IBM is ajánl virtuális gépen futtatható verziót (VMware), valamint letölthető egy telepítőkészlet, amivel a disztribúció natív módon feltelepíthető egy 64-bites Linux oprendszerre.

-->

Címkék: IBM InfoSphere BigInsights

süti beállítások módosítása