Obsah
- Co je architektura dat nové generace?
- Očekávání od Hadoop v kontextu architektury nové generace
- Jaké hodnoty může Hadoop přidat k datové architektuře příští generace?
- Vylepšený výkon jako architektura podnikových dat
- Rozdíl mezi Hadoopem a dalšími technologiemi
- Závěr
Zdroj: Romeo1232 / Dreamstime.com
Odnést:
Hadoop bude klíčovým hráčem v datové architektuře příští generace díky své schopnosti zpracovat obrovské množství dat.
Nástroj společnosti Hadoop začíná překračovat rámec zpracování a analytiky velkých dat, protože průmysl od něj vyžaduje více. Hadoop se neustále přizpůsobuje různým požadavkům souvisejícím s architekturou podnikových dat a přitom si zachovává své původní silné stránky. Seznam toho, co Hadoop umí a v současné době dělá, je poměrně dlouhý. Hadoop je nyní schopen zpracovat obrovské množství transakčních pracovních vytížení, což byl úkol, který se dříve očekával od tradičních technologií. V budoucnu je pro Hadoop spousta možností. Například transakční systémy založené na SQL mohou využívat stroj Hadoop SQL a Hadoop také přidá mnoho funkcí RDBMS. Dá se říci, že se Hadoop stává hybridem schopností zpracování dat a analytických schopností s možnostmi podnikové architektury.
Co je architektura dat nové generace?
Jednoduše řečeno, datová architektura nové generace je vyvinutá forma datové architektury. Všechno, včetně datových modelů, datových zásad, pravidel a standardů, které určují, jak jsou data shromažďována, ukládána, uspořádána, analyzována nebo zpracována, integrována, použita a vydána, se vyvinulo v rámci datové architektury nové generace.
Hlavním rozdílem mezi dřívější architekturou dat a datovou architekturou nové generace je schopnost druhé generace shromažďovat, ukládat a zpracovávat obrovské objemy dat, také známé jako velká data, v reálném čase. Architektura provádí všechny tyto složité úkoly, aniž by byla ohrožena úroveň ochrany osobních údajů, zabezpečení a správy dat.
Architektura dat nové generace čelí mnoha výzvám. Není snadné zvládnout objem, rychlost a rozmanitost velkých dat. Přidejte k tomu požadavky na optimalizaci pracovního zatížení systému, zlepšení výkonu, rychlosti a přesnosti a snížení nákladů. Není třeba říkat, že předchozí datová architektura nemusí takové požadavky spravovat.
CIO a informační architekti tedy chtějí najít řešení, které jim pomůže dosáhnout jejich cílů. Provozní Hadoop byl v této souvislosti již nějakou dobu v centru pozornosti. Následující oddíly budou diskutovat o tom, jak může operační Hadoop vyřešit problémy.
Očekávání od Hadoop v kontextu architektury nové generace
Společnosti jsou pod rostoucím tlakem, aby dosahovaly lepších výsledků, a účinky se snižují podle očekávání kladených na technologie. Hadoop tedy již neočekává, že bude zpracovávat pouze data. CIO a CTO chtějí od Hadoop více. Níže je uveden seznam očekávání od společnosti Hadoop. Ve skutečnosti již Hadoop splňuje některá z těchto očekávání.
Očekává se, že Hadoop bude pracovat s transakčními systémy, které jsou založeny na SQL a mají schopnosti vytvářet, číst, aktualizovat a mazat. Transakční systémy budou využívat SQL engine. Systémy budou mít také plnou kompatibilitu s Portable Operating System Interface (POSIX) a schopnost zpracovat velké transakční objemy.
Očekává se, že Hadoop bude podporovat funkce, jako je zálohování, odolnost proti chybám, zotavení a zotavení po katastrofě. Aby se Hadoop vyvinul v systém s funkcemi RDBMS, musí být kompatibilní s existujícími IT nástroji.
Hadoop již pracuje na splnění očekávání, jak je patrné z některých vývojů. Hadoop může poskytovat analýzu v reálném čase a rychlé reakce na základě podpory správy zdrojů poskytované YARN. YARN je rozsáhlý a distribuovaný operační systém pro velké datové aplikace kromě toho, že je správce zdrojů. Je známo, že fungují další vývoj, jako je vývoj Apache Storm, distribuované architektury v paměti, jako je Apache Spark, Apache Hive, Drill a MapR-FS (vysoce výkonná náhrada HDFS), s cílem nabídnout různé úplné databázové funkce, jako je zálohování, zotavení po katastrofě, odolnost proti chybám atd. (Více o systému YARN naleznete v části Jaké jsou výhody rámce Hadoop 2.0 (YARN)?)
Jaké hodnoty může Hadoop přidat k datové architektuře příští generace?
Hodnoty, které může Hadoop přidat k datové architektuře příští generace, lze prohlížet ze dvou hledisek: jedna, zda splňuje výše uvedená očekávání, a druhá, zda dělá něco dalšího. Níže jsou uvedeny hlavní hodnoty, které může operační systém Hadoop přinést.
Hadoop je nyní schopen poskytovat větší škálovatelnost a spravovatelnost dat v rámci své platformy prostřednictvím HDFS. A datový operační systém byl povolen prostřednictvím aplikací Hadoop YARN. Tato strategie představuje posun v architektuře dat na základní úrovni. Nyní může Hadoop ukládat různé typy dat, jako jsou transakčně orientované databáze, databáze grafů a databáze dokumentů, a tato data jsou přístupná prostřednictvím aplikací YARN. Není třeba duplikovat ani přesouvat data na jiná místa.
Vylepšený výkon jako architektura podnikových dat
Operační Hadoop je na cestě stát se základním systémem architektury podnikových dat. Jak se Hadoop dostane více do architektury podnikových dat, budou datová sila odstraněna, protože budou odstraněny mezery mezi nimi. Téměř ve všech aspektech dojde k rychlému zlepšení. K vylepšení dojde ve formě efektivnějších formátů souborů, lepšího výkonu SQL motoru, vylepšených systémů souborů a robustnosti, které splní potřeby podnikových aplikací.
Rozdíl mezi Hadoopem a dalšími technologiemi
V minulosti byl hlavním rozdílem mezi technologiemi Hadoop a datovými podniky velké možnosti zpracování, vykazování a analytických dat společnosti Hadoop. Nyní, když se operační Hadoop stává stále více součástí architektury podnikových dat, rozdíl mezi entitami se stále více rozmazává. Provozní Hadoop se tedy jeví jako vynikající alternativa ke stávající architektuře podnikových dat.
Závěr
Vzhledem k očekáváním a pokroku se bude Hadoop na nějakou dobu zaměřovat na toto odvětví. Má však smysl soustředit se příliš na Hadoop a jednoduše ignorovat jiné technologie. Důvodem je, že jiné technologie budou pokročit ve stejných parametrech a mohou dokonce předjet Hadoop. Nikdy není dobré mít monopol na trhu. Je dobré, že výrobci jiných technologií než Hadoop by mohli být motivováni k poskytování lepších produktů a dokonce i plug-inů, které Hadoopu pomáhají zlepšovat jeho výkon.