Помогите разобраться откуда берутся левые get-запросы

valet nginx-forum на nginx.us
Чт Ноя 24 04:58:03 UTC 2011


Выделенный сервер на Debian, на котором
много сайтов (bind9, nginx+php-fpm).
Столкнулся с очень странной проблемой.
В логах nginx отдельных хостов с завидной
регулярностью замечаю get-запросы
страниц другого сайта.
То есть например в логе первого сайта
site1.ru.access.log Googlebot/2.1 и другие боты
запрашивают страницы второго сайта
...
..."GET /stranica-site2-1.html HTTP/1.1"...
...
..."GET /stranica-site2-n.html HTTP/1.1"...
... 
На самом деле это урл-ы сайта site2.ru и
ссылок естественно таких на site1.ru нигде
нет, поэтому то, что они запрашиваются
тем боле поисковыми ботами, может
означать только одно - ошибка где-то в
конфигах. Я в первую очередь подумал,
что дело в кешировании fast-cgi-запросов на
nginx и убрал его - но это на мое удивление
не решило проблему.
Я не могу понять почему такое может
происходить и куда копать дальше.
Тому, кто даст правильную наводку в
решении вопроса, готов заплатить 10
баксов за помощь (если проблема
окажется серьезная, готов обсудить
решение за вашу цену).

Вот конфиги:
общий nginx.conf 
user www-data;
worker_processes 8;

# Уменьшает число системных вызовов
gettimeofday(), что приводит к увеличению
производительности
timer_resolution 100ms;

# Изменяет ограничение на число
используемых файлов RLIMIT_NOFILE для
рабочего процесса.
worker_rlimit_nofile 8192;

# Директива задаёт приоритет рабочих
процессов от -20 до 20 (отрицательное
число означает более высокий
приоритет).
worker_priority -5;

events {
    #worker_connections  1024;
    worker_connections  16384;
    use epoll;
    multi_accept off;
}


pid /var/run/nginx.pid;


http {

	##
	# Basic Settings
	##

include blockips.conf;

	sendfile on;
	tcp_nopush on;
	tcp_nodelay on;
	#keepalive_timeout 65;
	keepalive_timeout 5;
	types_hash_max_size 2048;
	# server_tokens off;

	# server_names_hash_bucket_size 64;
	# server_name_in_redirect off;

	include /etc/nginx/mime.types;
	default_type application/octet-stream;

	##
	# Logging Settings
	##

	access_log /var/log/nginx/access.log;
	error_log /var/log/nginx/error.log;

	##
	# Gzip Settings
	##

	gzip on;
	gzip_disable "msie6";

	# gzip_vary on;
	# gzip_proxied any;
	# gzip_comp_level 6;
	# gzip_buffers 16 8k;
	# gzip_http_version 1.1;
	# gzip_types text/plain text/css application/json
application/x-javascript text/xml application/xml application/xml+rss
text/javascript;

#    gzip_min_length  1100;
    gzip_buffers     64 8k;
    gzip_comp_level 8;
    gzip_types text/plain application/xml application/x-javascript
text/css;
    gzip_proxied any;

#кеширование
#fastcgi_cache_path /tmp/nginx/ levels=1:2 keys_zone=fastcgi_cache:16m
max_size=256m inactive=1d;

	##
	# Virtual Host Configs
	##


# default virtual host
server {
listen 80 default;
server_name localhost;
deny all;
}


	include /etc/nginx/conf.d/*.conf;
	include /etc/nginx/sites-enabled/*;
}

конфиг хоста:
server {
    listen  80;
    server_name site.ru;
    access_log  /var/log/nginx/site.ru.access.log;
    error_log  /var/log/nginx/site.ru.error.log;

    gzip_static on;

if ($http_user_agent ~ ZmEu) {
return 503;
}

##не принимать от клиентов запросы
длиной более 1 Мб
client_max_body_size 1m;

root   /var/www/site.ru;

## Default location
    location / {
        index index.php index.html index.htm;
        include /var/www/site.ru/.htaccess;
}

location ^~ /uploads/ {
	access_log off;
	expires max;
}

location ^~ /templates/ {
}

location /robots.txt {
alias /var/www/site.ru/robots_$host.txt;
}

location /sitemap.xml {
alias /var/www/site.ru/uploads/sitemap_$host.xml;
}

## Images and static content is treated different
    location ~* ^.+.(jpg|jpeg|gif|png|js|ico)$ {
      access_log        off;
      expires           max;
    }

location /index.php {
	return 301 /;
}

## Parse all .php file in the /var/www/site.ru directory
    location ~ \.php$ {
	try_files $uri =404;
        fastcgi_split_path_info ^(.+\.php)(.*)$;
        #fastcgi_pass   127.0.0.1:9000;
        fastcgi_pass   unix:/tmp/php-fpm.sock;
        fastcgi_index  index.php;
        fastcgi_param  SCRIPT_FILENAME 
/var/www/site.ru$fastcgi_script_name;
        include fastcgi_params;
        fastcgi_param  QUERY_STRING     $query_string;
        fastcgi_param  REQUEST_METHOD   $request_method;
        fastcgi_param  CONTENT_TYPE     $content_type;
        fastcgi_param  CONTENT_LENGTH   $content_length;
        fastcgi_intercept_errors        on;
        fastcgi_ignore_client_abort     off;
        fastcgi_connect_timeout 60;
        fastcgi_send_timeout 180;
        fastcgi_read_timeout 180;
        fastcgi_buffer_size 128k;
        fastcgi_buffers 4 256k;
        fastcgi_busy_buffers_size 256k;
        fastcgi_temp_file_write_size 256k;
#кеширование FastCGI-запросов
#fastcgi_pass_header "Set-Cookie"; # Необходимо для
передачи cookie в соответствующие
переменные, например cookie с именем phpsessid
будет находится в переменной $cookie_phpsessid
#
#            #fastcgi_ignore_headers Cache-Control Expires Set-Cookie; #
Игнорируем заголовки, относящиеся к
кешированию, полученные от
FastCGI-сервера
#            fastcgi_cache_key
"$server_addr:$server_port$request_uri|$cookie_phpsessid"; #
Формируем уникальный ключ; в данном
случае различаем пользователей с
помощью $cookie_phpsessid
#            fastcgi_cache fastcgi_cache; # Говорим о том,
что использовать надо вышеобъявленную
кеш-зону fastcgi_cache
#            fastcgi_temp_path  /tmp/nginx/temp 1 2; #
Указываем папку для хранения временных
файлов
#            fastcgi_cache_use_stale updating error timeout
invalid_header http_500; # Используем вариант из
кеша (даже если он устарел) в случае
ошибки
#fastcgi_cache_valid  200 302 10m;
#fastcgi_cache_valid  301 1h;
#fastcgi_cache_valid  any 1m;
    }

## Disable viewing .htaccess & .htpassword
    location ~ /\.ht {
        deny  all;
    }

}

server {
    listen       80;
    server_name www.site.ru;
    rewrite   ^  http://site.ru$request_uri?;
}

Подскажите, где косяк?

Posted at Nginx Forum: http://forum.nginx.org/read.php?21,218912,218912#msg-218912



Подробная информация о списке рассылки nginx-ru