Blokowanie strony przed robotami indeksującymi
Na wstępie należy podkreślić, że czym innym jest zablokowanie strony przed odwiedzeniem jej przez roboty indeksujące, a czym innym wyświetlanie informacji o tej stronie w wynikach wyszukiwania. Do blokowania strony przed robotami indeksującymi służy komenda disallow w pliku robots txt xd. Jej użycie informuje robota, że nie chcemy, aby podążał on za tym adresem, ale nie oznacza to, że taka strona nie pojawi się w wynikach wyszukiwania. Jeżeli gdzieś w sieci, albo też w obrębie danego serwisu znajdzie się odnośnik do takiej strony (prawdopodobieństwo, że taki odnośnik na przykład do polityki prywatności się znajdzie, jest duży) to oznacza, że użycie disallow w pliku robots txt w połączeniu z odnośnikiem prowadzącym do takiej strony spowoduje wystąpienie sytuacji, w której dana strona pojawi się w wynikach wyszukiwania z zachęcającym do kliknięcia napisem: opis tego wyniku jest niedostępny z powodu robots txt. Musisz przyznać, że gdybyś zobaczył coś takiego w Google, to z zaciekawieniem kliknąłbyś taki link, aby sprawdzić, co też właściciel tej strony chciał przed Tobą ukryć, prawda?
Jeżeli chcesz uniknąć wystąpienia takiej sytuacji, to powinieneś w sekcji meta robots użyć zapisu: nowy indeks i jeżeli robot indeksujący wejdzie na adres, który w pliku robots txt xd jest oznaczony jako disallow, to wchodząc na taką stronę – sprawdzi, czy posiada ona nową indeks sekcji meta i jeżeli ten zapis się tam znajdzie to taka strona nie pojawia się w wynikach wyszukiwania z informacją, że opis tego wyniku jest niedostępny z powodu robots.
No indeks możesz zaimplementować także z poziomu serwera, aczkolwiek wymaga to już większej wiedzy technicznej. Jest to o tyle istotne, że dzisiaj w dobie bardzo dużej popularności na przykład WordPress, masz do dyspozycji wiele wtyczek dodatków, na przykład w PrestaShop, za pomocą których możesz oznaczyć daną stronę jako stronę, która nie powinna się indeksować w wynikach wyszukiwania. Jedyne co musisz zrobić, to na przykład posiadając stronę postawioną na WordPressie, zainstalować jedną z wielu wtyczek do pozycjonowania na przykład taką, którą sam używam. Proste ulepszenia SEO, w której wchodząc w edycję strony czy wpisu, zaznaczy checkbox nowy indeks dla strony, która nie powinna znaleźć się w wynikach wyszukiwania.
Sprawdzanie Search Console
Zachęcam Cię też w tym miejscu do cyklicznego odwiedzania Search Console, aby sprawdzać, czy Google przez przypadek nie zainteresowały jakieś wrażliwej strony, ponieważ mimo że posiadać możesz sitemapy, to jednak czasami coś może pójść nie tak i do tej sitemapy zostanie dodana strona, która nie powinna być zainteresowana albo też sitemapa nie będzie zawierała wszystkich stron i wyłapiesz te zaindeksowane dopiero podczas analizy danych Search Console.
Informacja o takich stronach znajdziesz w sekcji: indeksowanie, gdzie sprawdzasz, czy znajduje się jakaś grupa stron z opisem: strona zainteresowana, ale zablokowana przez plik robots text. Jeżeli znajdziesz taką sekcję, wejdź koniecznie tam i sprawdź każdy adres URL, jaki się w niej znajduje. Jeżeli uznasz, że dane adres powinien jednak być zaindeksowany – usuń blokadę w pliku robots txt, jeżeli uznasz, że adres nie powinien w ogóle znajdować się w indeksie, czyli że blokada ustawiona w robots.txt jest właściwa.