Проверить наличие куки

Sergey Serov mpa at corg.net
Wed Sep 27 09:05:35 MSD 2006


On Wednesday 27 September 2006 01:48, Дугин Сергей wrote:
> > Проще таких фильтровать либо через robots.txt либо особо наглых отрубать
> > целыми подсетями на файерволле.
> > У webmasterworld.com хороший список нежелательных ботов
> > http://www.webmasterworld.com/robots3
>
> Разве для ботов строки:
>
> User-agent: имя бота
> Disallow: /
>
> является 100% гарантией, что бот не будет его игнорить и качать?

Нет конечно, но большая часть перестает качать.
Для остальных поможет только deny на firewall'е.






More information about the nginx-ru mailing list