Kwestia poruszona tutaj dotyczyła sytuacji, w której np. w celu zablokowanie indeksacji części serwisu, wyłączamy ją z Google, aby po kilku dniach wrócić do status quo (moim zdaniem to trochę bez sensu, no ale zobaczmy co Matt na to).
Hm…. Już raz było podobne pytanie i odpowiedź, jak i teraz brzmiała: NIEEEEEEEEEEEEEEEE !!!! 🙂
Plik robots.txt nie służy do czasowego wyłączanie dostępu do strony/sekcji/witryny w obrębie danego serwisu. Wprowadzenie takiej opcji spowodowałoby „dziwne zachowania” (można przypuszczać, że związane byłyby one z indeksowywaniem/zaindeksowywaniem tych części serwisu). Po co tak kombinować? Zasada numer 1 Google: twórz stronę przyjazną i użyteczną dla użytkowników moim zdaniem sprawia, ze takie praktyki są nieodpowiednie. Przecież, jak prowadzimy jakieś prace na stronie, w wielu przypadkach nie wiemy, czy skończą się one za tydzień, czy za 10 dni. Załóżmy, że skończą się za … 3 dni. No i co dalej? Robot był wczoraj i wróci tutaj za tydzień. A my chcemy zaindeksować stronę JUŻ, ponieważ … za tydzień będzie po Mikołaju, mamy sklep internetowy z zabawkami, a ustawienia o tygodniowej „abstynencji od Google” nasz informatyk wpisał przez przypadek…
Poza tym, to nie jest zadanie dla tego pliku. Jeżeli chcemy np. 10 naszych stron było odwiedzanych regularnie przez Goglebota, wystarczy, że umieścimy do nich odnośniki na naszej stronie głównej. W ten sposób „powiemy” robotowi, że (jak mamy sklep) specjalna promocja w tym tygodniu dotyczy tych konkretnych produktów, a nie innych. I już mamy zapewnione większe „zainteresowanie” przez robotami stronami, na których nam najbardziej zależy.
Powód? Jeżeli cały PageRank trafi na naszą stronę główną (co ma miejsce najczęściej, ponieważ ludzie linkują najczęściej do strony głównej, a nie innych podstron serwisu), to umieszczenie odnośników do stron w naszym serwisie, na których nam najbardziej zależy, sprawi, że PageRank strony popłynie do nich (a nie do innych stron, do których nie ma odnośnika na stronie, lub które są dostępne od strony głównej w kilku klikach).
Jeżeli zatem chcemy coś wyróżnić, bardziej zaakcentować, zróbmy to poprzez odpowiednią strukturę strony, np. w przypadku sklepu internetowego można wyróżnić najczęściej kupowane produkty, nowości itp. Nie „kombinujmy” za bardzo z robots.txt w kontekście wykluczania i za chwile przywracania danych sekcji witryny. Jak ujął to Matt, robot może „powiedzieć”: „Wiesz co, nie wiem o co Ci chodzi i nie zamierzam indeksować Twojej strony, skoro nie możesz się zdecydować, czy mam to robić, czy nie” 🙂
[youtube]http://www.youtube.com/watch?v=I2giR-WKUfY[/youtube]