Robots Exclusion Protocol

Roboty , v internetovom kontexte znamená softvérový program , ktorý skenovať webové stránky pre zhromažďovanie informácií . Nejedná sa o vírusy - tam žiadny kód umiestnený na vašom počítači , a ak je robot skončil s vašej webovej stránky , nie je tam žiadny dôkaz , že robot bol tam . Proces zhromažďovania informácií nemusí byť nutne škodlivé - môžete ťažiť z návštevy . Robots Exclusion Protocol ( REP ) vám umožní mať nejakú kontrolu nad procesom . História

REP myšlienka začala v roku 1994 so skupinou robot čítačky ( robots-request@nestor.co.uk ) ako spôsob , ako riadiť roboty na svojich internetových stránkach . Základnou myšlienkou bolo , aby inštalácia krátky súbor so známym menom a umiestnenie pokyn robota , kde hľadať . Tieto pokyny by pravdepodobne ignorovať zlovoľných robotov , ale mohol byť používaný benígnych robotov im ušetriť čas tým , že skúma len niektoré z vašich súborov . Základný protokol bol rozšírený v roku 2008 veľký počet veľkých internetových spoločností , vrátane Yahoo a Google .
Benígna Roboti

Existuje niekoľko robotov vlastne chcete navštíviť vaše webové stránky . Napríklad , vyhľadávače používajú roboty index internet . Od jednej webovej adresy , robot klasifikuje , že webové stránky a udržiava zoznam všetkých odkazov nájdených na webových stránkach . Potom robot ide dole v zozname zozbieraných webových adries . Ako zoznam nových webových stránok vytváraných každý mesiac sú verejne k dispozícii , je nevybavené webových stránok skontrolovať , že udržiava roboty pracujú dňom i nocou . Chceš týchto robotov návštevy , pretože chcete , aby vyhľadávače vedieť , a klasifikovať svoje webové stránky , aby potenciálni zákazníci mohli nájsť pomocou vyhľadávačov .
Zlovoľných robotov

roboti môžu byť taktiež použité pre deštruktívne účely . Napríklad , môžu roboty zostaviť zoznam e - mailových adries indexovaných záujmy . Ak to chcete vykonať , hľadajú niečo , čo má symbol " @ " a vziať reťazec okolo neho , ktorý je viazaný medzerami . To je dôvod , prečo uvidíte niektoré počítačové vedy profesori dať svoju adresu ako Professor.Abc { zavináč } University.edu - to je zmariť zlé roboty . Triediť svoju e - mailovú adresu , podľa záujmu , robot vyzerá v META vyhlásenie , že je časť kódu za každej webovej stránky .
REP Syntax

Roboti . txt súbor je nainštalovaný v adresári . Ak vaše webové stránky je www.widgits.com , bude cesta k súboru robots.txt byť www.widgits.com /robots.txt . Prvý riadok v súbore bude " user - agent : " a ďalší riadok bude " Zakázať " - prvý riadok vyberie populáciu robotov a druhý riadok ukazuje , ktoré sú adresáre tabu . Pomocou " ; " pre označenie zalomenie riadku , " user - id : * , /abc /" sú dva príkazy riadku , ktoré riadia všetky roboty , aby sa zabránilo adresár abc . Ak chcete povoliť SearchBot skúmať všetko, ale zakázať všetky ostatné roboty , kód bude " user - id : SearchBot , zakázať : , užívateľsky id : * , zakázať : /" - * znamená všetky roboty , /znamená , že všetky adresáre a medzera znamená , že žiadne adresáre .

• Predchádzajúca strana: Oneskorené Mouse odpoveď na PC 
• Ďalšia strana: Problémy a príznaky v počítači , ktorý niekedy Boots & mrznúť