Archivio di ottobre 2017

Il file robots.txt

lunedì, 30 ottobre 2017

Questo è uno di quei in cui rischio che qualcuno mi venga a trovare, con una serie di dati statistici in una mano e un bastone nell’altra. Lasciatemi dire che so benissimo che le cose non sono così semplici ma, nella maggior parte dei casi, il contenuto del vostro file robots.txt dovrebbe essere così:

User-agent: *
Disallow:

Cominciamo dal principio: se non lo sapete il file robots.txt è un semplice file di testo che deve essere messo nella radice del sito. Serve ai motori di ricerca e in particolare agli spider, questi leggono il file per capire se avete indicazioni particolari per loro.