Jaké jsou výhody rámce Hadoop 2.0 (YARN)?

Obsah

• Co je to YARN Framework?
• Omezení Hadoop 1.0 Framework
• Žádné chyby, žádný stres - Váš průvodce krok za krokem k vytváření softwaru pro změnu života, aniž by došlo ke zničení vašeho života
• YARN Framework a jeho výhody
• Závěr

Zdroj: Jim Hughes / Dreamstime.com

Odnést:

YARN je významné zlepšení oproti Hadoop 1.0 framework. Zde zkoumáme některé výhody, které má oproti svému předchůdci.

Od doby, kdy byl představen koncept velkých dat, prochází několika fázemi evoluce. Hadoop byl představen v roce 2005 s některými počátečními vlastnostmi, jako je procesor zpracování MapReduce, který umožňoval rozsáhlou pracovní zátěž při zpracování dat distribuovanou v klastrech. Hadoop sám zažil mnoho změn a vyvinul pokročilé rámce a metody.

YARN je základní součástí Hadoop 2.0. V zásadě spravuje zdroje v klastrovaném prostředí. Zprostředkovatel YARN spolupracuje s výpočetními prostředky (jménem aplikací) a přiřazuje prostředky každé aplikaci na základě různých kritérií filtrování.

V tomto článku se podíváme na hlavní výhody YARN oproti Hadoop 1.0.

Co je to YARN Framework?

Yet Another Rzdroj Negotiator je základní komponentou Hadoop 2.0, která spravuje zdroje v klastrovaném prostředí. Hadoop YARN framework je pokročilá verze Hadoop 1.0, která poskytuje vylepšený výkon, což je prospěšné pro ekosystém Hadoop a celou řadu souvisejících technologií. Nyní, když jsme trochu obeznámeni s YARN, pojďme se blíže podívat na Hadoop 1.0 a YARN.

Omezení Hadoop 1.0 Framework

Abychom pochopili výhody rámce YARN, je velmi důležité pochopit, jak funguje Hadoop 1.0 a jaká jsou omezení tohoto rámce.

Zde přichází role úlohy JobTracker. Spravuje jak prostředky klastru, tak určuje provádění úlohy MapReduce. Stručně řečeno, JobTracker naplánuje a rezervuje sloty úloh a konfiguruje a monitoruje každou spuštěnou úlohu. Pokud se úloha nezdaří, znovu přidělí nový slot, aby se úloha mohla znovu spustit. Po dokončení úlohy uvolní JobTracker slot pro další úkoly a vyčistí dočasné zdroje.

Hlavní nevýhody výše uvedeného přístupu:

• Dostupnost - JobTracker je jediným bodem dostupnosti v Hadoop 1.0. To znamená, že pokud JobTracker selže, všechny úlohy se ve výchozím nastavení restartují.
• Omezená škálovatelnost - Protože JobTracker provádí více úloh a běží na jednom počítači, ostatní dostupné stroje se nepoužívají; výsledkem je omezená škálovatelnost.
• Využití zdrojů - Ve výše uvedeném přístupu jsou předdefinovány mapové sloty a redukční sloty. Může se stát, že jeden z slotů je plný, ale ostatní automaty jsou prázdné. Protože prázdné sloty jsou vyhrazeny, budou nečinné místo kompromisů pro plné sloty. To by mohlo způsobit problém využití zdrojů.
• Spouštění aplikací jiných než MapReduce - JobTracker je aplikace, která je vytvořena pro rámec MapReduce. Problém nastane, když se v tomto rámci pokusí spustit aplikace, která není MapReduce. Aby aplikace mohla úspěšně fungovat, musí se přizpůsobit programování MapReduce framework. Některé z běžných problémů, kterým toto čelí, zahrnují problémy s:
  • Ad-hoc dotaz
  • Analýza v reálném čase
  • projíždějící přístup
• Selhání v kaskádování - Jeden z hlavních problémů v tomto rámci nastává, když je počet uzlů větší než 4 000. V takovém scénáři dochází k selhání kaskády, což má za následek zhoršení celého clusteru.

To jsou některá z hlavních omezení, s nimiž se při práci s tímto rámcem potýkají. Existují i ​​jiná drobná omezení, která zde nejsou uvedena. Pro překonání těchto omezení byl zaveden rámec YARN.

Žádné chyby, žádný stres - Váš průvodce krok za krokem k vytváření softwaru pro změnu života, aniž by došlo ke zničení vašeho života

Nemůžete zlepšit své programovací schopnosti, když se nikdo nestará o kvalitu softwaru.

YARN Framework a jeho výhody

Rámec YARN, představený v Hadoop 2.0, má sdílet odpovědnosti MapReduce a starat se o úlohu správy clusterů. To umožňuje MapReduce provádět pouze zpracování dat, a proto proces zefektivnit.

YARN přináší koncept centrálního řízení zdrojů. To umožňuje spuštění více aplikací na Hadoopu, sdílení společné správy prostředků.

Některé z hlavních součástí rámce YARN jsou:

• ResourceManager - Komponenta ResourceManager je vyjednávač v klastru pro všechny zdroje přítomné v tomto klastru. Tato součást je dále klasifikována do správce aplikací, který odpovídá za správu uživatelských úloh. Z Hadoop 2.0 bude jakákoli úloha MapReduce považována za aplikaci.
• ApplicationMaster - Tato součást je místem, kde existuje úloha nebo aplikace. Spravuje také všechny úlohy MapReduce a je dokončena po dokončení zpracování úlohy.
• NodeManager - komponenta správce uzlů slouží jako server pro historii úloh. Je zodpovědný za zabezpečení informací o dokončených úlohách. Sleduje také úlohy uživatelů a jejich pracovní postup pro konkrétní uzel.

S ohledem na to, že rámec YARN má různé komponenty pro správu různých úkolů, uvidíme, jak to počítá s omezeními Hadoop 1.0.

• Lepší využití zdrojů - rámec YARN nemá žádné pevné sloty pro úkoly. Poskytuje centrální správce prostředků, který vám umožňuje sdílet více aplikací prostřednictvím společného zdroje.
• Spouštění aplikací jiných než MapReduce - V YARN jsou funkce plánování a správy prostředků odděleny od komponenty zpracování dat. To umožňuje společnosti Hadoop spouštět různé typy aplikací, které neodpovídají programování rámce Hadoop. Klastry Hadoop jsou nyní schopny provozovat nezávislé interaktivní dotazy a provádět lepší analýzu v reálném čase.
• Zpětná kompatibilita - YARN přichází jako zpětně kompatibilní framework, což znamená, že jakoukoli existující úlohu MapReduce lze provést v Hadoop 2.0.
• JobTracker již neexistuje - Dvě hlavní role JobTracker byly správa prostředků a plánování úloh. Se zavedením rámce YARN jsou nyní rozděleny do dvou samostatných složek, jmenovitě:
  • NodeManager
  • Správce zdrojů

Závěr

Zavedení rámce YARN usnadnilo vytváření aplikací pro vývojáře Hadoop. Nyní již není nutné implementovat aplikace pomocí nástrojů třetích stran. YARN je obrovská změna, která uživatelům umožní zvážit Hadoop 2.0 pro vytváření aplikací a efektivnější manipulaci s daty. Postupem času dojde k dalšímu vývoji ke zvýšení použitelnosti Hadoopu. Prozatím bude rámec YARN hrát klíčovou roli při řešení stávajících problémů a vytváření bezproblémového prostředí, které je univerzálnější než dřívější verze modelu MapReduce.