Čo je počítačový program pavúkov?

Počítačový program „pavúkov“, bežne známy ako webový prehľadávač alebo Web Spider , je typ robota, ktorý systematicky prehliada celosvetový web, zvyčajne na účely indexovania webových stránok pre vyhľadávací nástroj. Robí to podľa nasledujúcich odkazov zo stránky na stránku.

Tu je zrútenie toho, ako to funguje:

* začína na adrese semennej adresy: Crawler začína zoznamom začínajúcich adries URL (URL „semeno“). Tieto by mohli byť ručne poskytnuté alebo zvolené z databázy známych webových stránok.

* načíta HTML: Crawler sťahuje zdrojový kód HTML každej adresy URL, ktorú navštevuje.

* Parses html: Analyzuje HTML na extrahovanie informácií, napríklad:

* Textový obsah: Slová a vety na stránke.

* odkazy: URL smerujúce na iné webové stránky.

* metadáta: Informácie ako názov, popisy a kľúčové slová.

* indexuje informácie: Extrahované údaje sú uložené v indexe, čo je masívna databáza používaná vyhľadávacími nástrojmi na rýchle načítanie príslušných výsledkov do dopytov používateľov.

* sleduje odkazy: Láčko pridáva novoobjavené odkazy na svoju frontu URL na návštevu. Uprednostňuje niektoré odkazy pred ostatnými na základe rôznych faktorov (ako je autorita stránky prepojenia). Tento proces pokračuje rekurzívne a rozširuje sa smerom von z počiatočných osiva URL.

* rešpektujúc robots.txt: Etické a dobre chované webové prehľadávače rešpektujú súbor `robots.txt` na každej webovej stránke. Tento súbor určuje, ktoré časti stránky je prehľadávač alebo zakázaný prístup.

* POLITIKY SVELENIA: Aby sa predišlo preťaženiu webových stránok, dobré prehľadávače implementujú politiky zdvorilosti, ktoré zahŕňajú obmedzenie sadzby, akou požadujú stránky z jedného servera, a potenciálne oneskorenie ich žiadostí.

Stručne povedané, pavúk je automatizovaný program, ktorý systematicky skúma web, zhromažďuje informácie a robí ich prehľadácím. Je to rozhodujúca súčasť toho, ako fungujú vyhľadávacie nástroje.

• Predchádzajúca strana: Čo Kaind z počítača, ktoré používajú animačné štúdiá Pixar Animation Studios na natáčanie filmov? 
• Ďalšia strana: Ako hráte svoju animáciu na Adobe Flash CS4?