Categoria: SEO | Giovedì 05 Aprile 2018, Sai usare ed impostare in modo corretto il file robots.txt? Chiamato anche protocollo di esclusione robot , si tratta di un file di testo che indica le regole e le restrizioni di scansione da applicare sulle pagine web di un sito. Il file è scritto in chiaro ed è pubblicamente disponibile sulla maggioranza dei siti web, ad esempio per il sito google.it si può trovare aprendo google.it/robots.txt. Generalmente sono interessati al contenuto del file robots.txt gli addetti ai lavori (SEO e webmaster) oltre che i crawler dei motori di ricerca.