Categoria: SEO | Domenica 22 Marzo 2020, Il file robots.txt, dice Google, è utile per stabilire cosa Google stessa, in particolare il suo crawler, possa scaricare oppure no. Esso risiede nella directory principale del sito: pertanto, per il sito www.pippo.it, il file robots.txt risiede all'indirizzo www.pippo.it/robots.txt. Un file robots.txt è formato da una o più regole. Ogni regola blocca (o consente) l'accesso di un determinato crawler a un percorso di file specificato nel sito web in questione.

Perennemente (forse a torto...) al centro dell’attenzione per le attività SEO, il file robots.txt è perlopiù uno strumento che viene utilizzato a sproposito; per combattere la cattiva informazione che ancora oggi spopola sul web, cercheremo di chiarire passo-passo le varie criticità che lo riguardano.