Se google non trova il file robots.txt non indicizza il sito

\\ RankFirst : Articolo

19giu

Di Simone Luciani (del 19/06/2008 @ 09:03:44, in Ottimizzazione Google, linkato 2878 volte)

Ha del clamoroso questa notizia, che ho trovato spulciando alcuni blog di Search Marketing americani. Google ha fatto sapere che se il file robots.txt non è raggiungibile dal bot, potrebbe non indicizzare l'intero sito. Per non raggiungibile si intende una risposta del server con un time out durante il passaggio di Googlebot. Ma che assurdità è questa, vi chiederete, e mi sono chiesto prima di approfondire l'argomento.

Un responsabile di Google, John Mueller, ha detto che questa scelta è dovuta ad una politica di "sicurezza". Se Google non può leggere il file che dice a Googlebot cosa non indicizzare, allora il bot escludi per sicurezza l'intero sito. Pensandoci bene il ragionamento non è poi così sbagliato.

Se Google non riesce a leggere cosa è "proibito" indicizzare, non può rischiare di indicizzare file che potrebbero essere esclusi dal passaggio del bot, volutamente dal webmaster.

Come ho specificato all'inizio, per file robots non raggiungibile, Google intende una risposta di time out del server. Se il file robots.txt non è presente e il server risponde con un errore 404 - not found, non ci sono problemi. In poche parole, un sito non deve avere per forza il file robots.txt per essere indicizzato, basta che il server risponda con errore 404.

Il problema è solamente quando Google chiede al server il file robots.txt, e non riceve risposta. Caso abbastanza raro - speriamo.

Simone

Tag: file robots, ottimizzazione google, google bot, robots.txt

Articolo

Storico

Stampa

TrackBack Url: (I TrackBack sono moderati)
http://www.rankfirst.info/dblog/tb.asp?id=348

Leggi anche:

Webmaster Tool di Google migliorato ancora (50%)

Commenti

# 1 Di Seo in Abruzzo (inviato il 19/06/2008 @ 15:00:06)
Secondo me è insensato che un time-out penalizzi, sepperu temporaneamente (sperando che al successivo giro riesca nell'intento ripristinando le cose), un sito.
Sarebbe stato molto più sensato dire se non hai il robots.txt in toto (404) allora ti indicizzo solo la home e il resto via piuttosto che un time-out.
Un time-out dovrebbero gestirlo con un errore temporaneo e quindi ci ripasso tra qualche ora.
Magari quello che accade è quello che descrivo, non ho approfondito l'argomento. Anzi se posti il link della fonte.

# 2 Di rankfirst (inviato il 19/06/2008 @ 17:33:51)
Le fonti sono tante. La più importante è search engine land, ma non c'è nulla da approfondire in realtà, ho scritto tutto quello che dice Google stesso. Comunque cerca qui: http://searchengineland.com/080618-083417.php

# 3 Di Seo in Abruzzo (inviato il 20/06/2008 @ 10:16:05)
Ieri è capitata a fagiolo la chat sul Webmaster Group e ho posto proprio la domanda in questione.
Ebbene, confermano che se manca il robots, il sito non viene indicizzato, se non è raggiungibile però, non è che venga penalizzato nel senso stretto della parola, ma semplicemente ignorato temporaneamente, anche perchè se non è raggiungibile il robot.txt per qualche timeout, probabilmente lo sarà anche il sito.

Eccoi il mio abstract sulla Webmaster Google Chat.

# 4 Di rankfirst (inviato il 20/06/2008 @ 10:23:53)
Non sono assolutamente daccordo. Il problema non è se il file robots manca, ma solo se il server risponde con un timeout alla richiesta del file robots. Le due cose sono ben diverse. Siti senza file robots.txt che hanno una risposta 404 alla richiesta, non hanno e non avranno mai alcun tipo di problema di indicizzazione.

Spero ddi essere stato chiaro, ma anche nell'articolo è scritto anche in grassetto: "Se il file robots.txt non è presente e il server risponde con un errore 404 - not found, non ci sono problemi."

# 5 Di rankfirst (inviato il 20/06/2008 @ 10:26:18)
La precisazione è dovuta non tanto per il commento di "seo in abruzzo" ma perchè molti lettori mi hanno contattato un po' stupiti della cosa, senza probabilmente aver capito la vera questione. Probabilmente non mi sono fatto capire io, scusatemi.

# 6 Di Seo in Abruzzo (inviato il 20/06/2008 @ 16:01:12)
Per quel che mi riguarda eri stato chiaro, semplicemente ho voluto approfondire, suggerendo al team anche una modifica circa la questione, alla quale però non ho ricevuto alcuna risposta.
Mi sarebbe interessato il loro parere in merito. Magari sarà per la prossima volta :D

# 7 Di Maurizio (inviato il 15/05/2009 @ 13:18:35)
Interessante!

Lascia un messaggio

Disclaimer
L'indirizzo IP del mittente viene registrato, in ogni caso si raccomanda la buona educazione. Lo spam sar perseguito in sede civile e penale secondo le leggi vigenti.