Re[2]: Проверить наличие куки
Дугин Сергей
drug at qwarta.ru
Wed Sep 27 01:48:31 MSD 2006
> Проще таких фильтровать либо через robots.txt либо особо наглых отрубать
> целыми подсетями на файерволле.
> У webmasterworld.com хороший список нежелательных ботов
> http://www.webmasterworld.com/robots3
Разве для ботов строки:
User-agent: имя бота
Disallow: /
является 100% гарантией, что бот не будет его игнорить и качать?
--
С уважением,
Дугин Сергей mailto:drug at qwarta.ru
QWARTA
More information about the nginx-ru
mailing list