Re: Помогите разобраться откуда берутся левые get-запросы

[valet]

>>>Как вы установили, что их нигде нет?
Ну а где они могут быть? Если бы это
совсем левые страницы, я бы еще может и
подумал, что если не внутри сайта есть
ссылки на них, то конкуренты
постарались, а то же нет - на нескольких
сайтах появляются get-запросы
конкретных страниц другого сайта.
То есть например имеем на сервере 3
сайта: site1.ru, site2.ru, site3.ru
На первых двух идут get-запросы урл-ов
3-го сайта.

То есть например на сайте site3.ru имеются
страницы:
site3.ru/1-stranica.html
site3.ru/2-stranica.html
...
site3.ru/n-stranica.html
вот именно эти страницы регулярно
запрашиваются на сайтах site2.ru и site1.ru.
То есть в логах этих хостов нахожу
запросы этих страницы, например в логе
site1.ru.access.log каждый день с завидной
регулярностью и частотностью
появляются записи типа:
... "GET /1-stranica.html..."
...
... "GET /5-stranica.html..."
...
... "GET /n-stranica.html..."
...
Ну то есть все как обычно, только вот
страницы не этого сайта. Масла в огонь
добавляет тот факт, что движок (это DLE)
генерит такие страницы с кодом 200
(естественно не для всех страниц,
иногда получается 404), просто они
получаются пустыми (только боковые
менюшки), соответственно они
благополучно индексируются.
Я четко знаю структуру урл-ов всех
размещенных сайтов на сервере, так как
все мои собственные. И я четко вижу эту
картину, которую могу только объяснить
ошибкой в конфигах.

Речь не идет о двух-трех страницах, речь
идет о целой пачке страниц, о
регулярном процессе (это происходит
уже более двух месяцев каждый день), о
всех ботах, начиная от GoogleBot, Yandexbot и
заканчивая bing.

Posted at Nginx Forum: http://forum.nginx.org/read.php?21,218912,218965#msg-218965