Niedawno Google usunęło sporą część grafiki ze swojego indeksu, która to grafika …. została zaindeksowana wcześniej przez Binga.
Temat został przybliżony przez Barry’ego Schwartza, który przybliżył sytuację opisaną w wątku na zagranicznym forum Google, gdzie użytkownik znalazł ponad 8 milionów grafik zaindeksowanych przez Google, które to grafiki wcześniej … zaindeksował Bing.
Dlaczego tak się stało?
Ani Bing, ani właściciele tych witryn nie blokowali tych grafik przez Google, zatem … system je zaindeksował.
Jednak po pewnym czasie … grafiki zniknły z indeksu.
Rzecznik Google zinterpretował to tak:
Like other search engines, we regularly crawl the web and index pages, images and other content unless it’s blocked by the industry standard robots.txt file. A user discovered that Bing had failed to block some image thumbnails using robots.txt, so these thumbnails were automatically indexed during our usual crawl process. In our webmaster guidelines we ask site owners to use robots.txt to prevent crawling of auto-generated pages that don’t add much value for users coming from search engines, so we’ve taken action to remove these thumbnails from our index, consistent with that policy.
Wniosek?
Zawinił Bing, ponieważ nie zablokował w robots.txt indeksowania przechowywanych w danym folderze grafik. Pytanie tylko, dlaczego usunięto je z indeksu Google – mimo, że Bing nie zmienił nić w robots.txt? 🙂 Myślę, że jest to pokłosie małej wojny z Bingiem o „podkradanie sobie” wyników wyszukiwania. I Google nie chciało, aby Bing wykorzystał to w drugą stronę 🙂