Robots , nel contesto di Internet , significa programma software che la scansione di un sito web per raccogliere informazioni . Questi non sono i virus - non ci nessun codice posto sulla vostra macchina , e quando il robot è finito con il vostro sito , non ci sono prove che il robot era lì . Il processo di raccolta delle informazioni non è necessariamente dannoso - si potrebbe beneficiare della visita. Il Robots Exclusion Protocol ( REP) vi permette di avere un certo controllo sul processo . Storia

L'idea REP iniziato nel 1994 con un gruppo lettore di robot ( robots-request@nestor.co.uk ) come un modo per guidare i robot attraverso i siti web . L' idea di base era quella di installare un breve file con nome conosciuto e la posizione indica al robot dove guardare. Queste indicazioni dovrebbero probabilmente essere ignorati da robot malevoli , ma potrebbero essere utilizzati dai robot benigne per risparmiare loro un po ' di tempo , esaminando solo alcuni file . Il protocollo di base è stato arricchito nel 2008 da un gran numero di grandi aziende di Internet tra Yahoo e Google .
Benigna Robot

Ci sono alcuni robot che realmente desidera visitare il tuo sito web . Per esempio , motori di ricerca utilizzano robot di indicizzare Internet. A partire da un unico indirizzo web , il robot classifica quel sito e mantiene una lista di tutti i link presenti sul sito . Poi il robot va giù l'elenco di indirizzi web raccolti. Poiché l'elenco dei nuovi siti web creati ogni mese sono pubblicamente disponibili , vi è un arretrato di siti web per verificare che mantiene i robot lavorando giorno e notte . Vuoi che queste visite robot perché si desidera che i motori di ricerca per conoscere e classificare il vostro sito web in modo i potenziali clienti possono trovare attraverso i motori di ricerca .