Re: Подскажите - как бороться с парсерами

[Anton Kuznetsov]

Одним нжинксом тут не отделаешься, он поможет если парсят в 100 потоков, а
так... в любом случае парсер будет приспосабливаться.  Пишите анализатор
логов и баньте по айпи. Пока это однопотоковый скрипт на одном адресе -
ничего сложного. ;)



2011/4/20 maxim <maxim at della.ua>

>  У нас портал. На нем обьявления.
> И возникает ситуация когда конкуренты начинают парсить скриптами сайт и
> копипастить обьявления.
> поставил в настройках nginx
>
> http {
> .....
>  limit_req_zone $binary_remote_addr zone=one:5m rate=25r/s;
>  limit_zone two $binary_remote_addr  1m;
> .....
>
> server {
>         listen 80;
> ......
> limit_req zone=one burst=35 nodelay;
> limit_conn   two  5;
>
> Но не помогло. Вчера была такая картина
> Айпи                 Время                         Хиты
> 93.126.72.176   20:28:07 - 20:28:07<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>1
> 93.126.72.176   20:28:06 - 20:28:06<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>1
> 93.126.72.176   20:28:05 - 20:28:05<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>1
> 93.126.72.176   20:28:05 - 20:28:05<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>1
> 93.126.72.176   20:28:04 - 20:28:04<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>1
> 93.126.72.176   20:28:04 - 20:28:04<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>1
> 93.126.72.176   20:28:04 - 20:28:04<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>1
> 93.126.72.176   20:28:03 - 20:28:03<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>1
> 93.126.72.176   20:28:02 - 20:28:02<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>1
> ....
> 93.126.72.176   20:26:52 - 20:26:52<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>1
> 93.126.72.176   20:26:51 - 20:26:51<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>1
> 93.126.72.176   20:26:51 - 20:26:51<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>1
> 93.126.72.176   20:26:51 - 20:26:51<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>1
>
> Тоесть с этого айпи каждую секунду происходит одно соединение.
> Понятно что это не человек.
> Подскажите как с таким боротся? Возможно я неверно  указал настройки? Или
> это не силами nginx делается?
>
>
> _______________________________________________
> nginx-ru mailing list
> nginx-ru at nginx.org
> http://nginx.org/mailman/listinfo/nginx-ru
>
>


-- 
Best regards,
Anton Kuznetsov.
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://nginx.org/pipermail/nginx-ru/attachments/20110426/4078cc2e/attachment.html>