Robot

Programma in grado di seguire i collegamenti ipertestuali e di accedere alle pagine Web, senza controllo umano. Ad esempio gli spiders dei motori di ricerca e i programmi "harvesting" che estraggono indirizzi e-mail e altri dati dalle pagine Web.

Robot.txt

È un file di testo memorizzato nella directory di primo livello di un sito al fine di impedire che i robot (spider dei motori di ricerca) accedano a certe pagine o sub-directories del sito. Solo i robot conformi alle regole del "Robots Exclusion Standard" leggeranno e seguiranno i comandi contenuti nel file. I robot leggeranno il file ad ogni visita, in questo modo le pagine, o intere aree di un sito, possono essere rese pubbliche o private in ogni momento semplicemente cambiando il contenuto del file robot.txt prima di sottometterle nuovamente all'attenzione dei motori di ricerca.