Poproszono mnie dzisiaj o pomoc w sprawie pewnej domeny, która nagle zniknęła z Google. Znając jej adres – widziałem tę stronę parę tygodni temu – wiedziałem, że jest to młoda witryna, bez żadnej złej przeszłości, od pewnego czasu w indeksie Google – zatem przyjąłem, że zapewne właścicielowi chodzi o spadek w SERPach, związany z tzw. FSB (Fresh Site Bonus). Wiedziałem też, że strona nie bierze udziału w żadnych programach wymiany linków, nie ukrywa tekstu itp. Jakie zatem było moje zdziwienie, gdy okazało się, że polecenie site:domena zwraca … brak wyników. Czyli strony nie ma w indeksie!
Zacząłem szybko sprawdzać możliwe przyczyny – meta robots były OK, ale szybko okazało się, że niespodzianka czekała przy pliku robots.txt, który się po prostu mi nie wyświetlał, pokazując jakąś informację o błędzie (niestety, nie zapisałem jej sobie).
Poprosiłem o dostęp do Narzędzi Google dla Webmasterów – nie było żadnego komunikatu. Pamiętając o „dziwnym” zachowaniu się pliku robots.txt sprawdziłem go przez Narzędzia i okazało się, że zwraca błąd 500!
No i winowajca się znalazł – plik został poprawiony, niedługo strona powinna pojawić się znowu w indeksie.
Warto zapamiętać, że Google nie indeksuje żadnych stron z domen, na których robots.txt ma kod 5xx
Spotkałem się z takim przypadkiem, rozwiązania szukałem przez kilka miesięcy [sic]. Problem był taki, ze strony indeksowały się prawidłowo, ale nie indeksowały się materiały video. Serwis dostępny pod adresem strona.pl a materiały video stanowiące zasadniczy content pod domeną v.strona.pl. Obrazki były serwowane przez serwer multimediów, który jak się okazało dla nierozpoznanych adresów zwracał kod 500. Ja sprawdzałem błedy w GWT dla głównej domeny a nie dla v.strona.pl i tam żadnych błedów oczywiście nie było. Wystawione sitemapy video były pobierane i pisało że GWT pisał że wszystko jest ok.
„niedługo strona powinna pojawić się znowu w indeksie.”
ale gwarancji nie masz to tylko przypuszczenia?
Mam info od osoby, która to testowała, jak ta się pojawi, zaraz napisze 🙂
@mr_zola: strona wróciła do indeksu 🙂