Re: запрет фальшивых Googlebot

[Andrey Kopeyko]

On Sat, 10 Oct 2015, Илья Шипицин wrote:

> говорят, что поисковики таким образом могут находить поисковый спам (т.е.
> ситуацию, когда контент, отдаваемый роботу, отличается от
> пользовательского).
> возможно, это сам гугл и был

Так и есть - большие поисковики регулярно "перепроверяют" проиндексированные 
сайты, заходя из не-своих сетей. Но при этом они строго играют в "тайного 
покупателя" - т.е. полностью отдают все присущие данному UA заголовки и 
никакими специфическими заголовками себя не выдают ;-)



-- 
Best regards,
Andrey Kopeyko <andrey at kopeyko.ru>