Подскажите - как бороться с парсерами
maxim
maxim на della.ua
Ср Апр 20 13:20:55 MSD 2011
У нас портал. На нем обьявления.
И возникает ситуация когда конкуренты начинают парсить скриптами сайт и
копипастить обьявления.
поставил в настройках nginx
http {
.....
limit_req_zone $binary_remote_addr zone=one:5m rate=25r/s;
limit_zone two $binary_remote_addr 1m;
.....
server {
listen 80;
......
limit_req zone=one burst=35 nodelay;
limit_conn two 5;
Но не помогло. Вчера была такая картина
Айпи Время Хиты
93.126.72.176 20:28:07 - 20:28:07
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>
1
93.126.72.176 20:28:06 - 20:28:06
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>
1
93.126.72.176 20:28:05 - 20:28:05
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>
1
93.126.72.176 20:28:05 - 20:28:05
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>
1
93.126.72.176 20:28:04 - 20:28:04
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>
1
93.126.72.176 20:28:04 - 20:28:04
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>
1
93.126.72.176 20:28:04 - 20:28:04
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>
1
93.126.72.176 20:28:03 - 20:28:03
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>
1
93.126.72.176 20:28:02 - 20:28:02
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>
1
....
93.126.72.176 20:26:52 - 20:26:52
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>
1
93.126.72.176 20:26:51 - 20:26:51
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>
1
93.126.72.176 20:26:51 - 20:26:51
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>
1
93.126.72.176 20:26:51 - 20:26:51
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>
1
Тоесть с этого айпи каждую секунду происходит одно соединение.
Понятно что это не человек.
Подскажите как с таким боротся? Возможно я неверно указал настройки?
Или это не силами nginx делается?
----------- следущая часть -----------
Вложение в формате HTML было извлечено…
URL: <http://nginx.org/pipermail/nginx-ru/attachments/20110420/f46d90de/attachment.html>
Подробная информация о списке рассылки nginx-ru