robots.txt è un file di molti web designer posto sui loro server per controllare come robot di ricerca " strisciare " del loro sito . Un forte file robots.txt può aiutare siti diretti , come Google e Bing , per il relativo contenuto e bloccare il loro accesso ai dati protetti . Abilitazione robots.txt può prendere un po 'di lavoro , ma la disattivazione è molto più facile . È sempre possibile riattivare in seguito. Istruzioni
1

log nella cartella del server che contiene il file robots.txt .
2

rinominare il file robots.txt qualcos'altro , per esempio " robotsdisabled.txt " o " robotsoff.txt . " In molte configurazioni di accesso al server , è sufficiente fare clic sul nome del file e attendere un paio di secondi per il nome di evidenziare a farlo. Altro che l'ortografia esatta " robots.txt " sarà spegnerlo , mantenendo il file sul server. È possibile riattivarlo in qualsiasi momento modificando il nome nuovo .
3

Salvare le modifiche apportate al server. La prossima volta che un qualsiasi motore di ricerca scansione del tuo sito , ignorerà il file disabile .