Re: Можно ли огранивать limit_rate по времени? Если нет, может переменную завести?

[Sergey Shepelev]

2010/10/1 Виктор Вислобоков <corochoone at gmail.com>:
> Хех. По поводу robots.txt могут сказать две вещи:
> 1. Файл robots.txt относится к содержимому сайта клиента! Хостер в сайт
> клиента лазить не должен!
> 2. Далеко не все боты читают robots.txt и используют его директивы в деле
> касающемся скорости и частоты индексации. Например, директива Crawl-delay:
> понимается только Яндексом, а остальные на неё кладут.
>
> Далее, лично мне неизвестны директивы, которые позволяют задать разное
> поведение индексирующего робота в зависимости от времени суток. Может
> известны вам? :)
>

http://en.wikipedia.org/wiki/Robots_exclusion_standard #Extended standard
http://www.conman.org/people/spc/robots2.html
...
Request-rate: 1/5          # maximum rate is one page every 5 seconds
Visit-time: 0600-0845     # only visit between 06:00 and 08:45 UTC (GMT)

Но, разумеется, практически никто этого не поддерживает.