Robots.txt a meta robots
Nie w każdym przypadku chcemy, aby w wynikach wyszukiwania pojawiała się jakaś strona. Dotyczy to na przykład takich zasobów jak polityka prywatności, regulamin czy strona logowania do konta. Dziś dowiesz się, w jaki sposób zapobiegać indeksowaniu o takich stron. Blokowanie strony przed robotami indeksującymi Na wstępie należy podkreślić, że czym innym jest zablokowanie strony przed odwiedzeniem jej przez roboty indeksujące, a czym innym wyświetlanie informacji o tej stronie w wynikach wyszukiwania. Do blokowania strony […]