Kiedy występuje omawiana sytuacja
Komunikat, o którym mowa, występuje bardzo rzadko.
W praktyce jego pojawienie się oznacza, że Googlebot wszedł na stronę, jednak nie mógł się zapoznać z jej zawartością, ponieważ twórca strony uzależnił to od podania hasła.
Robot indeksujący takiego hasła nie poda, ponieważ go nie zna i poprzez kod błędu 401 informuje webmastera, że należy przyjrzeć się danej sytuacji, ponieważ dana strona generuje sprzeczne sygnały – z jednej zapraszamy na nią roboty indeksujące, aby ją zaindeksowały, ale z drugiej chowamy przed nimi znajdujące się na takiej stronie treści.
Dlatego jeżeli pojawi się taka sytuacja, należy sprawdzić koniecznie stronę, na której mamy z nią do czynienia. Najczęściej zaistniała sytuacja spowodowana jest błędem leżącym po stronie webmastera, który zapomniał o postawieniu „szlabanu” robotom indeksującym – jeżeli bowiem chronimy dostęp do pewnych treści hasłem, to nie chcemy informować świata o tym fakcie, a co za tym idzie nie chcemy, aby Googlebot poinformował innych o tym, że taka strona istnieje
Jak rozwiązać błąd 401
Na szczęście jest to bardzo proste.
Aby usunąć komunikat o zablokowaniu strony z powodu nieautoryzowanego żądania 401, należy zablokować robotom indeksującym dostęp do danej strony, dodając w sekcji meta tafi “noindex” oraz “nofollow” (albo w postaci nagłówków odpowiedzi HTTP).
Warto również oznaczyć wszystkie odnośniki w obrębie witryny, kierujące do takiej strony, oznaczyć jako ” nofollow”.
Sitemapa
Komunikat o zablokowaniu strony z powodu nieautoryzowanego żądania 401 najczęściej występuje dla stron, które nie zostały zgłoszone do mapy witryny.
Jeżeli jednak okaże się, że stronę, która generuje błąd 401 dodano do sitemapy, wówczas należy ją koniecznie usunąć z mapy witryny. Inaczej Google będzie dostawał sprzeczne sygnały – z jednej strony będzie widział, poprzez zapisy w meta robots, że nie chcemy, aby taka strona była odwiedzana (nofollow) oraz indeksowana (noindex), ale z drugiej, poprzez istnienie w sitemapie, zobaczy, że … chcemy czegoś odwrotnego. I dlatego będziemy informowani poprzez odpowiedni komunikat w Search Console o problemie indeksacji strony zgłoszonej do sitemapy – i dopóki nie usuniemy jej z mapy witryny, system będzie nas informował o problemie.
Po usunięciu strony z sitemapy należy poinformować Google o tym fakcie, zgłaszając odpowiednią poprawkę i po pewnym czasie problematyczna strona przestanie być widoczna we wszystkich przesłanych stronach.
Pomyłka
Może się zdarzyć, że strona, dla której komunikat o zablokowaniu strony z powodu nieautoryzowanego żądania 401 , nie powinna zablokowana przed odwiedzaniem jej przez zarówno roboty indeksujące, jak i ludzi. Jeżeli będziemy mieli do czynienia z taką sytuacją, wówczas należy usunąć ochronę hasłem, aby Googlebot uzyskał możliwość dotarcia do znajdujących się na takiej stronie treści i ich zaindeksowania.