Obsah
- Definice - Co znamená Spider?
- Úvod do Microsoft Azure a Microsoft Cloud | V této příručce se dozvíte, o čem cloud computing je a jak vám může Microsoft Azure pomoci migrovat a řídit podnikání z cloudu.
- Techopedia vysvětluje Spider
Definice - Co znamená Spider?
V internetovém prostředí je pavouk specializovaný software určený k systematickému procházení a procházení webu, obvykle za účelem indexování webových stránek, aby je poskytoval jako výsledky vyhledávání pro vyhledávací dotazy uživatelů. Nejslavnější z těchto pavouků je Googlebot, hlavní prohledávač Googles, který pomáhá zajistit, aby byly pro vyhledávací dotazy vráceny relevantní výsledky.
Pavouci jsou také známí jako webové prohledávače, vyhledávací roboti nebo jednoduše roboti.
Úvod do Microsoft Azure a Microsoft Cloud | V této příručce se dozvíte, o čem cloud computing je a jak vám může Microsoft Azure pomoci migrovat a řídit podnikání z cloudu.
Techopedia vysvětluje Spider
Pavouk je v podstatě program používaný ke sběru informací z webu. Prochází stránkami webových stránek, které extrahují informace a indexují je pro pozdější použití, obvykle pro výsledky vyhledávačů. Pavouk navštěvuje webové stránky a jejich stránky prostřednictvím různých odkazů na stránky a ze stránek, takže stránka bez jediného odkazu na ni bude obtížné indexovat a na stránce s výsledky vyhledávání může být hodnocena opravdu nízko. A pokud na stránku odkazuje mnoho odkazů, znamenalo by to, že je stránka populární a ve výsledcích vyhledávání by se objevila výše.
Kroky zapojené do procházení webu:
- Pavouk najde web a začne procházet jeho stránky.
- Pavouk indexuje slova a obsah webu.
- Pavouk navštíví odkazy nalezené na webu.
Pavouci nebo webcrawlers jsou jen programy a jako takové dodržují systematická pravidla stanovená programátory. Majitelé webových stránek se k tomu také mohou dostat tím, že řeknou pavoukovi, které části webu mají indexovat a které by neměly. To se provádí vytvořením souboru „robots.txt“, který obsahuje pokyny pro pavouka ohledně toho, které části se mají indexovat a odkazy sledovat a které by měly ignorovat. Nejvýznamnější pavouci tam jsou ti, kteří jsou ve vlastnictví hlavních vyhledávačů, jako je Google, Bing a Yahoo, a ti, kteří jsou určeny pro těžbu dat a výzkum, ale existují i škodliví pavouci psaní najít a sbírat pro uživatele k prodeji na reklamu společnosti nebo najít zranitelnosti v zabezpečení webu.