Как прикрыться от ненужных ботов?
Михаил Монашёв
postmaster at softsearch.ru
Sat Feb 24 01:50:47 MSK 2007
Здравствуйте nginx-ru,
Ранее составлял список ботов, которые много качали и заносил их в
чёрный список по юзер-агенту. Я его тут как-то публиковал ранее.
if ($http_user_agent ~ "libwww|BlogSearch|Moreoverbot| ... |Wget"){
set $limit_rate 100;
}
Но их всё больше и больше. Кроме того, есть боты, которые пишут в
юзер-агента полную чушь. Возникла идея ввести белый список ботов. Их
собственно не много: Гугл, Яндекс, Рамблер, Яха, Аск и MSN. Плюс
браузеры: Опера, FireFox и IE. Но как-то некрасиво это выглядит.
Кроме того, Яха и Гугл запускают иногда новые сервисы с новыми ботами
и из новых подсетей.
Может есть какие-то ещё способы борьбы с ботами? Избавиться от всех
ботов задачи не стоит. Хочется минимизировать нагрузку и трафик от
них, так, чтобы не пострадали обычные юзеры и вышеописанные
поисковики.
С уважением,
Михаил Монашёв, SoftSearch.ru
Member of Independent Software Developers Forum (ISDEF)
mailto:postmaster at softsearch.ru
ICQ# 166233339
http://softsearch.ru/
Без бэкапа по жизни.
More information about the nginx-ru
mailing list