il blog informativo italiano sul search marketing
29mar

Ho appena letto sul blog di Yahoo! search che il Crawler Slurp cambierà dominio: da inktomisearch.com a crawl.yahoo.net.
Yahoo! spiega che il vecchio dominio utilizzato era ancora del network acquisito due anni fa: Inktomi.
La user-agent continuerà ad essere Yahoo! Slurp e l'IP non cambierà, quindi non è necessario modificare nulla nel file robot.txt.
Nel caso utilizziate un DNS check per autorizzare o no un robot del motore di ricerca, ricordatevi di autorizzare anche crawl.yahoo.net, altrimenti Yahoo! Slurp non entrerà. Non eliminate inktomisearch.com perché per alcune settimane rimarrà ancora attivo.
Simone
Commenti
Lascia un messaggio