<div dir="ltr"><div>говорят, что поисковики таким образом могут находить поисковый спам (т.е. ситуацию, когда контент, отдаваемый роботу, отличается от пользовательского).<br></div>возможно, это сам гугл и был<br></div><div class="gmail_extra"><br><div class="gmail_quote">9 октября 2015 г., 15:36 пользователь Autopilot <span dir="ltr"><<a href="mailto:nginx-forum@nginx.us" target="_blank">nginx-forum@nginx.us</a>></span> написал:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Недавно подопечные сервера начали перегружаться по DDoS, как правило, с<br>
одного ip из примерно 3000 шел один запрос на произвольную страницу одного<br>
из сайтов сервера с user agent Googlebot. IP не принадлежал сетям Google.<br>
Появилась идея опознать бота и разрешить доступ только для сетей google.<br>
Конструкция вида if ($http_user_agent ~* googlebot ) { deny all; allow<br>
GOOGLENETS;} не разрешается. На основе ветки<br>
<a href="http://forum.nginx.org/read.php?2,202715,202715#msg-202715" rel="noreferrer" target="_blank">http://forum.nginx.org/read.php?2,202715,202715#msg-202715</a> и статьи хабра<br>
был составлен рецепт<br>
<br>
http {<br>
#...<br>
geo $bot_ip {<br>
default 0;<br>
<a href="http://216.239.32.0/19" rel="noreferrer" target="_blank">216.239.32.0/19</a> 1;<br>
<a href="http://64.233.160.0/19" rel="noreferrer" target="_blank">64.233.160.0/19</a> 1;<br>
<a href="http://66.249.80.0/20" rel="noreferrer" target="_blank">66.249.80.0/20</a> 1;<br>
<a href="http://66.249.64.0/19" rel="noreferrer" target="_blank">66.249.64.0/19</a> 1;<br>
<a href="http://72.14.192.0/18" rel="noreferrer" target="_blank">72.14.192.0/18</a> 1;<br>
<a href="http://209.85.128.0/17" rel="noreferrer" target="_blank">209.85.128.0/17</a> 1;<br>
<a href="http://66.102.0.0/20" rel="noreferrer" target="_blank">66.102.0.0/20</a> 1;<br>
<a href="http://74.125.0.0/16" rel="noreferrer" target="_blank">74.125.0.0/16</a> 1;<br>
<a href="http://64.18.0.0/20" rel="noreferrer" target="_blank">64.18.0.0/20</a> 1;<br>
<a href="http://207.126.144.0/20" rel="noreferrer" target="_blank">207.126.144.0/20</a> 1;<br>
<a href="http://173.194.0.0/16" rel="noreferrer" target="_blank">173.194.0.0/16</a> 1;<br>
}<br>
<br>
map $http_user_agent $is_bot {<br>
default 0;<br>
~Googlebot 1;<br>
}<br>
<br>
map "$is_bot:$bot_ip" $fake_bot {<br>
default 0;<br>
"1:0" 1;<br>
}<br>
# ...<br>
server {<br>
#...<br>
if ($fake_bot) {<br>
return 418;<br>
}<br>
#...<br>
}<br>
#...<br>
}<br>
<br>
Код ошибки выбран для парсинга логов на предмет новых ip гугла.<br>
<br>
Привел тут как пример решения задачи и для поиска более оптимальных решений<br>
<br>
Posted at Nginx Forum: <a href="http://forum.nginx.org/read.php?21,262080,262080#msg-262080" rel="noreferrer" target="_blank">http://forum.nginx.org/read.php?21,262080,262080#msg-262080</a><br>
<br>
_______________________________________________<br>
nginx-ru mailing list<br>
<a href="mailto:nginx-ru@nginx.org">nginx-ru@nginx.org</a><br>
<a href="http://mailman.nginx.org/mailman/listinfo/nginx-ru" rel="noreferrer" target="_blank">http://mailman.nginx.org/mailman/listinfo/nginx-ru</a></blockquote></div><br></div>