Подскажите - как бороться с парсерами
    maxim 
    maxim на della.ua
       
    Ср Апр 20 13:20:55 MSD 2011
    
    
  
У нас портал. На нем обьявления.
И возникает ситуация когда конкуренты начинают парсить скриптами сайт и 
копипастить обьявления.
поставил в настройках nginx
http {
.....
  limit_req_zone $binary_remote_addr zone=one:5m rate=25r/s;
  limit_zone two $binary_remote_addr  1m;
.....
server {
         listen 80;
......
limit_req zone=one burst=35 nodelay;
limit_conn   two  5;
Но не помогло. Вчера была такая картина
Айпи                 Время                         Хиты
93.126.72.176 20:28:07 - 20:28:07 
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#> 
1
93.126.72.176 20:28:06 - 20:28:06 
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#> 
1
93.126.72.176 20:28:05 - 20:28:05 
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#> 
1
93.126.72.176 20:28:05 - 20:28:05 
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#> 
1
93.126.72.176 20:28:04 - 20:28:04 
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#> 
1
93.126.72.176 20:28:04 - 20:28:04 
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#> 
1
93.126.72.176 20:28:04 - 20:28:04 
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#> 
1
93.126.72.176 20:28:03 - 20:28:03 
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#> 
1
93.126.72.176 20:28:02 - 20:28:02 
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#> 
1
....
93.126.72.176 20:26:52 - 20:26:52 
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#> 
1
93.126.72.176 20:26:51 - 20:26:51 
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#> 
1
93.126.72.176 20:26:51 - 20:26:51 
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#> 
1
93.126.72.176 20:26:51 - 20:26:51 
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#> 
1
Тоесть с этого айпи каждую секунду происходит одно соединение.
Понятно что это не человек.
Подскажите как с таким боротся? Возможно я неверно  указал настройки? 
Или это не силами nginx делается?
----------- следущая часть -----------
Вложение в формате HTML было извлечено…
URL: <http://nginx.org/pipermail/nginx-ru/attachments/20110420/f46d90de/attachment.html>
    
    
Подробная информация о списке рассылки nginx-ru