Как сделать задержку при передаче соединения бакэнду

Anton Yuzhaninov citrin at citrin.ru
Mon Sep 1 19:40:29 MSD 2008


On 01.09.2008 18:14, Виктор Вислобоков wrote:
> Собственно сабж?
> 
> Для чего это нужно?
> Например, для того, что всякие внешние индексаторы черезмерно не
> загружали сервер. Т.е. мы индексатору отдаём конечно странички, но
> скажем с задержечкой секунд так на 5-10. Т.е. задержка нужна не на
> всё, а желательной с возможностью задавать её для внешних IP.

Для многих роботов можно ограничить скорость через Crawl-delay в robots.txt:
http://help.yandex.ru/webmaster/?id=996567#1022359
http://help.yahoo.com/l/us/yahoo/search/webcrawler/slurp-03.html

-- 
  Anton Yuzhaninov





More information about the nginx-ru mailing list