Re[2]: Ошибки 400 Bad Request

[Михаил Монашёв]

Здравствуйте Дмитрий,

Этого бота можно смело блокировать. Они там уже пару лет разрабатывают
мега-поисковик,  который краулит сайты. Но сам поиск пока не запущен и
трафика на сайты не даёт.

D> За день, проходит много таких.

D> Вот пример:


D> 38.99.13.122 - - [23/Apr/2008:00:53:17 -0400] "-" 400 0 "-" "-"
D> 38.99.13.122 - - [23/Apr/2008:01:21:02 -0400] "GET /robots.txt HTTP/1.0"
D> 404 169 "-" "Mozilla/5.0 (Twiceler-0.9 
D> http://www.cuill.com/twiceler/robot.html)"
D> 38.99.13.122 - - [23/Apr/2008:01:41:39 -0400] "-" 400 0 "-" "-"



  

--

С уважением,
Михаил Монашёв, SoftSearch.ru
mailto:postmaster at softsearch.ru
ICQ# 166233339
http://michael.mindmix.ru/
Без бэкапа по жизни.