Pavouk

Spider je softwarový program, který cestuje po webu (odtud název „spider“) a vyhledává a indexuje webové stránky pro vyhledávače. Všechny hlavní vyhledávače, jako je Google a Yahoo !, používají k vytváření a aktualizaci svých indexů pavouky. Tyto programy neustále procházejí web a cestují z jednoho hypertextový odkaz jinému.

Například když pavouk navštíví domovskou stránku webu, může na stránce být 30 odkazů. Pavouk bude sledovat každý z odkazů a přidá všechny stránky, které najde, do indexu vyhledávače. Nové stránky, které pavouk najde, mohou samozřejmě obsahovat také odkazy, které pavouk nadále sleduje. Některé z těchto odkazů mohou směřovat na stránky v rámci stejného webu (interní odkazy), zatímco jiné mohou vést na různé stránky (externí odkazy). Externí odkazy způsobí, že pavouk přeskočí na nové weby a indexuje ještě více stránek.

Kvůli propletené povaze odkazů na webové stránky se pavouci často vracejí na webové stránky, které již byly indexovány. To umožňuje vyhledávačům sledovat, kolik externích stránek na každou stránku odkazuje. Čím více příchozích odkazů stránka má, tím vyšší bude obvykle ve výsledcích vyhledávače. Pavouci nejen hledají nové stránky a sledují odkazy, ale také sledují změny na každé stránce a pomáhají indexům vyhledávačů zůstat aktuální.

Pavouci se také nazývají roboti a prohledávače, což může být výhodné pro ty, kteří nemají rádi pavoukovce. Slovo „pavouk“ lze také použít jako sloveso, například „Tento vyhledávač konečně minulý týden spustil můj web.“