O tym, czy witryna, czy wręcz jej poszczególna strona znalazła się w indeksie, decydują linki. Link prowadzący do strony/witryny to sygnał dla Google, swoistego rodzaju „głos wyborczy”, który mówi, że dana strona/witryna jest „super” i powinna znaleźć się w indeksie.
Nie zawsze jednak tak się dzieje, że do strony musi prowadzić link, aby znalazła się ona w indeksie. Czasami pojawiają się w SERPach strony, do których nie prowadzą żadne odnośniki. Jak to w ogóle jest możliwe?
Związane jest to z dwiema sytuacjami.
Po pierwsze – bardzo często nie zdajemy sobie sprawy, że w sieci istnieje jakiś odnośnik do naszej strony/witryny (sprawdzając np. w Google, nie mówiąc już o Yahoo nie zobaczymy go … – ale Google o nim WIE i dlatego dana strona będzie w stanie się pojawić – pomimo faktu, że według nas nie prowadzi do niej ani jeden link).
Po drugie – wewnętrzna wyszukiwarka znajdująca się na naszej stronie. W niektórych sytuacjach Google będzie „próbować indeksować zapytania” – dotyczy to sytuacji, gdzie formularz wyszukiwania nie jest za bardzo skomplikowany i będzie składał się z 2/3 elementów. W takiej sytuacji Google będzie próbować „użyć” naszego formularza wyszukiwania, aby sprawdzić, czy można w ten sposób znaleźć jaką nową, unikalną treść. Oczywiście, jeżeli nie chcemy, aby taka sytuacja miała miejsce, wówczas należy użyć robots.txt (disallow), w celu uniemożliwienia robotowi Google indeksowania wyników wyszukiwania.