Хех. По поводу robots.txt могут сказать две вещи: 1. Файл robots.txt относится к содержимому сайта клиента! Хостер в сайт клиента лазить не должен! 2. Далеко не все боты читают robots.txt и используют его директивы в деле касающемся скорости и частоты индексации. Например, директива Crawl-delay: понимается только Яндексом, а остальные на неё кладут.
Далее, лично мне неизвестны директивы, которые позволяют задать разное поведение индексирующего робота в зависимости от времени суток. Может известны вам? :)
1 октября 2010 г. 12:06 пользователь Andrey N. Oktyabrski <ano@xxxxxxxxx> написал:
On 10/01/10 11:13, Виктор Вислобоков wrote:
Да, можно найти обходной путь, написать скрипт, подменять конфиги,
перезагружать nginx, но возможно есть более удобный способ?
Чего только люди не придумают, лишь бы не рисовать robots.txt :-)
