Spis treści
Teoria
Jak przeczytamy w materiałach pomocy Google, Google zawsze przestrzega instrukcji z pliku robots.txt, jednak ta blokada nie działa wtedy, gdy ktoś inny utworzy link do danej strony.
Lata temu, jeżeli chciało się zablokować stronę przed zaindeksowaniem, używano do tego pliku robots.txt. Jednak Google zmieniło podejście i obecnie jedynym sposobem na to, aby jakaś strona, np. wspomnianej polityki prywatności, nie pojawiała się w wynikach wyszukiwania, należy użyć meta tagu noindex w sekcji robots strony – a nie pliku robots.txt
Dlaczego jest to takie ważne?
Plik robots.txt służy do tego, aby panować nad tzw. budżetem crawlowania (crawl budget). Za jego pomocą, ograniczając dostęp robotom indeksującym wyszukiwarek do danych stron/części witryny kierujemy ich uwagę na to, co jest dla nas ważniejsze.
Ale to nie spowoduje, że taka strona nie znajdzie się w indeksie. Wystarczy bowiem, że Google znajdzie do niej odnośnik – w jej obrębie lub na innej stronie, aby pokazać ją w wynikach wyszukiwania.
W dodatku z intrygującym opisem: „Strona zaindeksowana, ale zablokowana przez plik robots.txt” – aż się prosi, aby sprawdzić, co konkurent chciał ukryć, prawda?
Jedynym sposobem na to, aby nie pokazać danej strony w wynikach wyszukiwania, jest dodanie do nagłówka zapisu
<meta name=”robots” content=”noindex>
który będzie informacją dla robotów indeksujących, że dana strona nie powinna się pojawiać w wynikach wyszukiwania.
Search Console
Jeżeli Google wyśle nam powiadomienie z Search Console o tym, że „Strona zindeksowana, ale zablokowana przez plik robots.txt”, to koniecznie musimy się zająć tą kwestią.
Jak to zrobić?
Odszukujemy stronę, a następnie wchodzimy w jej edycję i dodajemy w jej nagłówku
<meta name=”robots” content=”noindex>
Jeżeli posiadamy WordPressa, możemy wykorzystać do tego jedną z wtyczek SEO.
W swojej pracy używam do tego wtyczki Proste Ulepszenia SEO. Po jej zainstalowaniu masz możliwość wykluczenia dowolnej strony z indeksacji: wystarczy wejść w edycję strony i zaznaczyć wskazany checkbox:
Zachęcam Cię do jej stosowania – w przeciwieństwie do popularnych na polskim rynku rozwiązań, jak np. Yoast, charakteryzuje się niskim obciążeniem bazy danych plus zawiera to, co powinna zawierać, bez zbędnych „wodotrysków”.
Sitemapa
Na koniec koniecznie sprawdź, czy ta strona nie znajduje się w sitemapie. Jest to bardzo ważne, ponieważ sitemapa służy do tego, aby wskazywać robotom strony, na których indeksacji nam zależy. Dlatego jeżeli w sitemapie jest dodana strona, która nie powinna być w indeksie, należy ją niezwłocznie usunąć.