Как сделать задержку при передаче соединения бакэнду
Anton Yuzhaninov
citrin at citrin.ru
Mon Sep 1 19:40:29 MSD 2008
On 01.09.2008 18:14, Виктор Вислобоков wrote:
> Собственно сабж?
>
> Для чего это нужно?
> Например, для того, что всякие внешние индексаторы черезмерно не
> загружали сервер. Т.е. мы индексатору отдаём конечно странички, но
> скажем с задержечкой секунд так на 5-10. Т.е. задержка нужна не на
> всё, а желательной с возможностью задавать её для внешних IP.
Для многих роботов можно ограничить скорость через Crawl-delay в robots.txt:
http://help.yandex.ru/webmaster/?id=996567#1022359
http://help.yahoo.com/l/us/yahoo/search/webcrawler/slurp-03.html
--
Anton Yuzhaninov
More information about the nginx-ru
mailing list