Как отбиться от 80legs.com ?
Gaidamak
nginx-forum at nginx.us
Tue Oct 29 14:40:10 UTC 2013
Повадилась такая вот напасть.
http://www.80legs.com/webcrawler.html
Как ее грамотно выпилить?
В логах много такого:
109.166.134.39 - - [29/Oct/2013:18:34:09 +0400] site.domain.com "GET
/page/url/ HTTP/1.1" 502 107 "-" "Mozilla/5.0 (compatible; 008/0.85;
http://www.80legs.com/webcrawler.html) Gecko/2008032620" 0.000
Posted at Nginx Forum: http://forum.nginx.org/read.php?21,244236,244236#msg-244236
Подробная информация о списке рассылки nginx-ru