Re: Как сделать задержку при передаче соединения бакэнду

Виктор Вислобоков corochoone at gmail.com
Mon Sep 1 20:11:46 MSD 2008


> Для многих роботов можно ограничить скорость через Crawl-delay в robots.txt:

Проблема в том, что robots.txt - это территория сайта, а мы рулим
сервером вообще-то :)

> От адекватных ботов, вроде ботов популярных поисковиков, limit_rate
> отлично подходит для снижения нагрузки на сайт.

Если бы все боты были адекватными, я бы не полез задавать этот вопрос.
Индексируют и в несколько потоков и с разных адресов.


More information about the nginx-ru mailing list