Opis problemu
Z ciekawym przypadkiem, który teoretycznie nie powinien był się zdarzyć, spotkałem się niedawno na polskim Forum dla Webmasterów; – analizowana domena nie mogła zostać zaindeksowana w Google.
Mimo, że na pierwszy rzut oka nie widać było żadnych błędów, ponieważ domena:
- przechodziła test mobilny
- miała poprawnie wdrożone tagi kanoniczne
- posiadała brak blokady w robots.txt
- nagłówki HTTP zwracały kod 200
Niestety – mimo, że wyeliminowało się wszystkie możliwe przyczyny braku indeksacji strony w Google, to dalszym ciągu Google Search Console z uporem pokazywała taki komunikat:
Testy pokazywały wprawdzie możliwego winowajcę
ale był jeden, jakże istotny, problem – witryna nie zawierała wspomnianego tagu w metatagu robots.
Co było nie tak?
Wszelkie testy, z wykorzystaniem zewnętrznych narzędzi, wykonywane były z uwzględnieniem mobilnego Googlebota; zmiana user-agenta na desktopowego Googlebota od razu wskazała, że jedna z wersji adresów strony (z www) zwracała kod 403.
Wydawać by się mogło, że to nie może być przyczyną braku indeksacji – główny adres serwisu był ustawiony na wyświetlanie BEZ www- a błąd dotyczył wersji Z www. Jednak sytuacja, w której jedna wersja strony (w naszym przypadku bez www) zwraca kod nagłówka 200, a druga (z www) zgłasza nagłówek 403, nawet w sytuacji, gdy dotyczy to tylko desktopowego Googlebota (przypomnę, że dla Googlebota mobilnego wszystko było w porządku), prowadzi do niejednoznaczności przekazu, ponieważ raz pozwalamy Googlebotowi indeksować stronę, a w innym wariancie nie.
Googlebot lubi jasność przekazu – niejednoznaczności, jak w omawianym przypadku, mogą prowadzić do blokady indeksacji witryny – i tak też się stało.
Rozwiązanie problemu
Po zdiagnozowaniu problemu szybko go naprawiono – po mniej więcej dobie, po prawie dwóch tygodniach strona w końcu pojawiła się w indeksie Google :).
Konkluzja
Nie zawsze komunikat, jaki otrzymujemy od Google, jest precyzyjny – w analizowanym przypadku system informował nas o występowaniu tagu noindex w metatagu robots, którego tam jednak nie było – badając przyczyny braku widoczności witryny w Google warto podejść do tematu szerzej, nie skupiając się tylko na (wydawałoby się) prostej i konkretnej wskazówce od Google.