Search Console – URL zawiera tag „noindex”

Jak przeczytamy w materiałach pomocy Google

Przy próbie zindeksowania tej strony wyszukiwarka Google napotkała dyrektywę „noindex” i nie wykonała tego działania. Jeśli nie chcesz, aby strona była indeksowana, udało Ci się. Jeśli chcesz, aby strona została zindeksowana, usuń dyrektywę „noindex”.

Czym jest noindex?

Jak podaje Google „noindex to reguła ustawiona za pomocą tagu <meta> lub nagłówka odpowiedzi HTTP, która służy do zapobiegania indeksowaniu treści przez wyszukiwarki, które obsługują regułę noindex (np. Google). Kiedy podczas indeksowania Googlebot wyodrębni ten tag lub nagłówek, całkowicie wyeliminuje stronę z wyników wyszukiwania Google niezależnie od tego, czy w innych witrynach znajdują się prowadzące do niej linki.”

Kiedy Google generuje komunikat

Spotykamy się z takim komunikatem najczęściej w sytuacji, w której w sitemapie dodamy stronę zawierająca tagi tag.

Jeżeli Google odwiedzi sitemapę i spróbuje zaindeksować taką stronę, to dostanie „czerwone światło” i poinformuje nas komunikatem wygenerowanym za pośrednictwem Search Console o zaistnieniu takiej sytuacji. Zaistnieje bowiem sprzeczność ponieważ stanem faktycznym (blokada przed indeksowaniem) a zamiarem użytkownika (chęć zaindeksowania wskazanej strony).

Jeżeli nie umieścisz strony z tagiem noindex w sitemapie, to Google to też wychwyci, ale pokaże już w domyślnym widoku danych w sekcji Indeksowanie – „Wszystkie przesłane strony”.

Inna możliwość, to użycie przez pomyłkę tego tagu (rzadko się zdarza, ale takie sytuacje też mają miejsce).

Zdarza się także, że webmaster zapomni usunąć meta tag noindex po migracji strony na nowy serwer lub po zmianie layoutu.

Zdarzyło mi się też spotkać z sytuacją, w której firma SEO po rozwiązaniu umowy na pozycjonowanie celowo ustawiła w meta tagach wszystkich stron noindex (głupota to mało powiedziane na określenie takiej sytuacji).

Jak potwierdzić fakt istnienia tagu noindex

Należy podjąć próbę zaktualizowania informacji o adresie url za pomocą Search Console – podczas jej wykonywania zostanie wyświetlony stosowny komunikat:

Jak pozwolić na indeksację strony?

Należy usunąć tag lub nagłówek HTTP noindex, a następnie zaprosić robota Google na stronę, wklejając jej adres w Search Console w sekcji.

Jeżeli wszystkie wskazane strony zostały błędnie przez nas ustawione, to poprawiamy je, a następnie klikamy w „Sprawdź szczegóły”:

I cierpliwie czekamy, aż Google zapozna się ze zmianami (może to trwać nawet i ponad miesiąc czasu).

Czy można zablokować konkretnego robota?

Tak.

O ile stosując zapis

<meta name=”robots” content=”noindex”>

blokujemy indeksację danej strony w każdej wyszukiwarce, o tyle zamieniając robots na nazwę danego robota indeksującego, np.

<meta name=”googlebot” content=”noindex”>

zablokujemy tylko jego, pozwalając, aby taka strona była indeksowana przez wszystkie inne roboty indeksujące.

Ważna informacja

Aby reguła noindex zadziałała poprawnie, nie możesz blokować strony lub zasobu w pliku robots.txt ani w żaden inny sposób uniemożliwiać robotowi dostępu do strony lub zasobu.

Jeśli bowiem zablokujesz stronę w pliku robots.txt lub będzie ona niedostępna dla Googlebota, to nie odnajdzie on reguły noindex i możliwe, że strona będzie się w dalszym ciągu wyświetlać w wynikach wyszukiwania, np. gdy linki do niej będą występowały na innych stronach.

Jest to o tyle ważne, że nadal wiele osób próbuje blokować indeksowanie danej strony nie poprzez sekcję meta robots, a plik robots.txt. Wynika to z faktu, że kiedyś można było zamiennie używać dwóch sposobów, aby usunąć stronę z wyników wyszukiwania.

Jednak obecnie jedyną skuteczną metodą jest meta tag/nagłówek noindex, więc pamiętaj o tym, jeżeli chcesz, aby Google Cię posłuchało.

Czy każda informacja jest błędem?

Nie.

Pewnych stron się nie indeksuje, ponieważ nie powinny być indeksowane (strona logowania do panelu, strona polityki prywatności, strona regulaminu itp.).

To od Ciebie zależy, co powinno się zaindeksować, jeżeli chodzi o kluczowe zasoby twojej strony.

Dlatego raz na jakiś czas warto wejść do Search Console i zobaczyć, czego Google nie może zaindeksować z powodu tagu noindex.