Re: Дайджест списка рассылки nginx-ru; том 18, выпуск 55

[m.ponomarchuk на gmail.com]

4/20/11 1:10 PM, nginx-ru-request на nginx.org пишет:
> Тема:
> Re: Подскажите - как бороться с парсерами
> От:
> Igor Sysoev <igor на sysoev.ru>
> Дата:
> Wed, 20 Apr 2011 14:03:05 +0400
>
> Кому:
> nginx-ru на nginx.org
>
>
> On Wed, Apr 20, 2011 at 01:54:33PM +0400, Sergey Shepelev wrote:
>> >  2011/4/20 maxim<maxim на della.ua>:
>>> >  >  У нас портал. На нем обьявления.
>>> >  >  И возникает ситуация когда конкуренты начинают парсить скриптами сайт и
>>> >  >  копипастить обьявления.
>>> >  >  поставил в настройках nginx
>>> >  >
>>> >  >  http {
>>> >  >  .....
>>> >  >    limit_req_zone $binary_remote_addr zone=one:5m rate=25r/s;
>>> >  >    limit_zone two $binary_remote_addr  1m;
>>> >  >  .....
>>> >  >
>>> >  >  server {
>>> >  >           listen 80;
>>> >  >  ......
>>> >  >  limit_req zone=one burst=35 nodelay;
>>> >  >  limit_conn   two  5;
>>> >  >
>>> >  >  Но не помогло. Вчера была такая картина
>>> >  >  Айпи                 Время                         Хиты
>>> >  >  93.126.72.176   20:28:07 - 20:28:07 1
>>> >  >  93.126.72.176   20:28:06 - 20:28:06 1
>>> >  >  93.126.72.176   20:28:05 - 20:28:05 1
>>> >  >  93.126.72.176   20:28:05 - 20:28:05 1
>>> >  >  93.126.72.176   20:28:04 - 20:28:04 1
>>> >  >  93.126.72.176   20:28:04 - 20:28:04 1
>>> >  >  93.126.72.176   20:28:04 - 20:28:04 1
>>> >  >  93.126.72.176   20:28:03 - 20:28:03 1
>>> >  >  93.126.72.176   20:28:02 - 20:28:02 1
>>> >  >  ....
>>> >  >  93.126.72.176   20:26:52 - 20:26:52 1
>>> >  >  93.126.72.176   20:26:51 - 20:26:51 1
>>> >  >  93.126.72.176   20:26:51 - 20:26:51 1
>>> >  >  93.126.72.176   20:26:51 - 20:26:51 1
>>> >  >
>>> >  >  Тоесть с этого айпи каждую секунду происходит одно соединение.
>>> >  >  Понятно что это не человек.
>>> >  >  Подскажите как с таким боротся? Возможно я неверно  указал настройки? Или
>>> >  >  это не силами nginx делается?
>>> >  >
>> >  
>> >  Кажется, limit_req и limit_conn вместе не работают.
> Работает. Только один запрос в секунду вполне вписывается в 25r/s.
>
> Поставить 1r/s ?
> -- Igor Sysoev
----------- следущая часть -----------
Вложение в формате HTML было извлечено&hellip;
URL: <http://nginx.org/pipermail/nginx-ru/attachments/20110420/9645e263/attachment.html>