JobTracker

Autor: Roger Morrison
Datum Vytvoření: 19 Září 2021
Datum Aktualizace: 21 Červen 2024
Anonim
019 MapReduce Daemons JobTracker and TaskTracker Explained
Video: 019 MapReduce Daemons JobTracker and TaskTracker Explained

Obsah

Definice - Co znamená JobTracker?

JobTracker je démon, který běží na Apache Hadoops MapReduce engine. JobTracker je základní služba, která obdělává všechny úlohy MapReduce do různých uzlů v klastru, ideálně k uzlům, které již obsahují data, nebo přinejmenším jsou umístěny ve stejném stojanu jako uzly obsahující data.


Úvod do Microsoft Azure a Microsoft Cloud | V této příručce se dozvíte, o čem cloud computing je a jak vám může Microsoft Azure pomoci migrovat a řídit podnikání z cloudu.

Techopedia vysvětluje JobTracker

JobTracker je služba v rámci společnosti Hadoop, která je zodpovědná za přijímání požadavků klientů. Přiřadí je TaskTrackers na DataNodes, kde jsou požadovaná data lokálně přítomna. Pokud to není možné, JobTracker se pokusí přiřadit úkoly TaskTrackersům ve stejném stojanu, kde jsou data lokálně přítomna. Pokud se to z nějakého důvodu také nezdaří, JobTracker přiřadí úlohu TaskTracker, kde existuje replika dat. V Hadoopu jsou datové bloky replikovány napříč DataNodes, aby byla zajištěna redundance, takže pokud jeden uzel v klastru selže, úloha také selže.


Proces JobTracker:

  1. JobTracker přijímá žádosti o zaměstnání z klientských aplikací,
  2. JobTracker konzultuje NameNode, aby určil umístění požadovaných dat.
  3. JobTracker vyhledá uzly TaskTracker, které obsahují data nebo jsou alespoň blízko dat.
  4. Úloha je odeslána do vybrané TaskTracker.
  5. TaskTracker plní své úkoly, zatímco je JobTracker pečlivě sledován. Pokud úloha selže, JobTracker jednoduše úlohu znovu odešle na jiný TaskTracker. Samotný JobTracker je však jediným bodem selhání, což znamená, že pokud selže, celý systém spadne.
  6. JobTracker aktualizuje svůj stav po dokončení úlohy.
  7. Klientský žadatel nyní může dotazovat informace z JobTracker.