Re: Как сделать задержку при передаче соединения бакэнду

[Виктор Вислобоков]

> Для многих роботов можно ограничить скорость через Crawl-delay в robots.txt:

Проблема в том, что robots.txt - это территория сайта, а мы рулим
сервером вообще-то :)

> От адекватных ботов, вроде ботов популярных поисковиков, limit_rate
> отлично подходит для снижения нагрузки на сайт.

Если бы все боты были адекватными, я бы не полез задавать этот вопрос.
Индексируют и в несколько потоков и с разных адресов.