Re: Можно ли огранивать limit_rate по времени? Если нет, может переменную завести?

[Виктор Вислобоков]

Хех. По поводу robots.txt могут сказать две вещи:
1. Файл robots.txt относится к содержимому сайта клиента! Хостер в сайт
клиента лазить не должен!
2. Далеко не все боты читают robots.txt и используют его директивы в деле
касающемся скорости и частоты индексации. Например, директива Crawl-delay:
понимается только Яндексом, а остальные на неё кладут.

Далее, лично мне неизвестны директивы, которые позволяют задать разное
поведение индексирующего робота в зависимости от времени суток. Может
известны вам? :)

1 октября 2010 г. 12:06 пользователь Andrey N. Oktyabrski
<ano at bestmx.ru>написал:

> On 10/01/10 11:13, Виктор Вислобоков wrote:
>
>> Да, можно найти обходной путь, написать скрипт, подменять конфиги,
>> перезагружать nginx, но возможно есть более удобный способ?
>>
> Чего только люди не придумают, лишь бы не рисовать robots.txt :-)
>
> _______________________________________________
> nginx-ru mailing list
> nginx-ru at nginx.org
> http://nginx.org/mailman/listinfo/nginx-ru
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://nginx.org/pipermail/nginx-ru/attachments/20101001/ea5f2bc9/attachment.html>