Temat poruszany już wielokrotnie na chociażby Forum Pomocy Google dla Webmasterów. Dzisiaj został zadany w końcu samemu Mattowi …
Jakie rozwiązanie jest najlepsze w takiej sytuacji?
a) pusty plik robots.txt
b) plik robots.txt zawierający User-agent: *Disallow
c) nie zakładać w ogóle pliku
Odpowiedź Matta jest interesująca. Otóż rozwiązanie c) jest … ryzykowne. Jego brak stwarza zagrożenie dla naszej strony ponieważ provider może w takiej sytuacji wstawić nam stronę … błędu 404. Jest to marginalna sytuacja – jak mówi Matt może ona wystąpić jedynie w 1% przypadków – no ale nie wiedziałem o tym 1%. Może dlatego, że staram się nie korzystać z usług „dziwnych providerów”, o darmowych już nie wspominając – moim zdaniem to właśnie tam prawdopodobieństwo wystąpienia jakiegoś błędu jest większe.
Dlatego warto zastosować rozwiązanie a) i b) – wymiennie. Dla Google nie ma znaczenia, które rozwiązanie wybierzemy. Bardziej logicznym jest jednak zastosowanie rozwiązania zawartego w punkcie b) – ponieważ w sposób nie budzący żadnych wątpliwości daje znak robotom, co „mogą zrobić ze stroną”.
[youtube]http://www.youtube.com/watch?v=P7GY1fE5JQQ[/youtube]