Czy Google stosuje się do reguły crawl-delay
Niektórzy webmasterzy stosują zapis crawl-delay w pliku robots.txt – Google zaś wysyła przez Search Console informację, że to nie ma sensu – dlaczego? Kiedy wprowadzano crawl-delay serwery nie były tak szybkie jak kiedyś – wyszukiwarki zatem webmasterom ustawianie w pliku robot.txt czasu, po którym roboty mogły odwiedzać po raz kolejny stronę. Dzisiaj używanie Google automatycznie dostosowuje indeksowanie do szybkości działania serwera – i jeżeli serwer jest wolny to Googlebot nie będzie […]