Помогите разобраться откуда берутся левые get-запросы
valet
nginx-forum на nginx.us
Чт Ноя 24 04:58:03 UTC 2011
Выделенный сервер на Debian, на котором
много сайтов (bind9, nginx+php-fpm).
Столкнулся с очень странной проблемой.
В логах nginx отдельных хостов с завидной
регулярностью замечаю get-запросы
страниц другого сайта.
То есть например в логе первого сайта
site1.ru.access.log Googlebot/2.1 и другие боты
запрашивают страницы второго сайта
...
..."GET /stranica-site2-1.html HTTP/1.1"...
...
..."GET /stranica-site2-n.html HTTP/1.1"...
...
На самом деле это урл-ы сайта site2.ru и
ссылок естественно таких на site1.ru нигде
нет, поэтому то, что они запрашиваются
тем боле поисковыми ботами, может
означать только одно - ошибка где-то в
конфигах. Я в первую очередь подумал,
что дело в кешировании fast-cgi-запросов на
nginx и убрал его - но это на мое удивление
не решило проблему.
Я не могу понять почему такое может
происходить и куда копать дальше.
Тому, кто даст правильную наводку в
решении вопроса, готов заплатить 10
баксов за помощь (если проблема
окажется серьезная, готов обсудить
решение за вашу цену).
Вот конфиги:
общий nginx.conf
user www-data;
worker_processes 8;
# Уменьшает число системных вызовов
gettimeofday(), что приводит к увеличению
производительности
timer_resolution 100ms;
# Изменяет ограничение на число
используемых файлов RLIMIT_NOFILE для
рабочего процесса.
worker_rlimit_nofile 8192;
# Директива задаёт приоритет рабочих
процессов от -20 до 20 (отрицательное
число означает более высокий
приоритет).
worker_priority -5;
events {
#worker_connections 1024;
worker_connections 16384;
use epoll;
multi_accept off;
}
pid /var/run/nginx.pid;
http {
##
# Basic Settings
##
include blockips.conf;
sendfile on;
tcp_nopush on;
tcp_nodelay on;
#keepalive_timeout 65;
keepalive_timeout 5;
types_hash_max_size 2048;
# server_tokens off;
# server_names_hash_bucket_size 64;
# server_name_in_redirect off;
include /etc/nginx/mime.types;
default_type application/octet-stream;
##
# Logging Settings
##
access_log /var/log/nginx/access.log;
error_log /var/log/nginx/error.log;
##
# Gzip Settings
##
gzip on;
gzip_disable "msie6";
# gzip_vary on;
# gzip_proxied any;
# gzip_comp_level 6;
# gzip_buffers 16 8k;
# gzip_http_version 1.1;
# gzip_types text/plain text/css application/json
application/x-javascript text/xml application/xml application/xml+rss
text/javascript;
# gzip_min_length 1100;
gzip_buffers 64 8k;
gzip_comp_level 8;
gzip_types text/plain application/xml application/x-javascript
text/css;
gzip_proxied any;
#кеширование
#fastcgi_cache_path /tmp/nginx/ levels=1:2 keys_zone=fastcgi_cache:16m
max_size=256m inactive=1d;
##
# Virtual Host Configs
##
# default virtual host
server {
listen 80 default;
server_name localhost;
deny all;
}
include /etc/nginx/conf.d/*.conf;
include /etc/nginx/sites-enabled/*;
}
конфиг хоста:
server {
listen 80;
server_name site.ru;
access_log /var/log/nginx/site.ru.access.log;
error_log /var/log/nginx/site.ru.error.log;
gzip_static on;
if ($http_user_agent ~ ZmEu) {
return 503;
}
##не принимать от клиентов запросы
длиной более 1 Мб
client_max_body_size 1m;
root /var/www/site.ru;
## Default location
location / {
index index.php index.html index.htm;
include /var/www/site.ru/.htaccess;
}
location ^~ /uploads/ {
access_log off;
expires max;
}
location ^~ /templates/ {
}
location /robots.txt {
alias /var/www/site.ru/robots_$host.txt;
}
location /sitemap.xml {
alias /var/www/site.ru/uploads/sitemap_$host.xml;
}
## Images and static content is treated different
location ~* ^.+.(jpg|jpeg|gif|png|js|ico)$ {
access_log off;
expires max;
}
location /index.php {
return 301 /;
}
## Parse all .php file in the /var/www/site.ru directory
location ~ \.php$ {
try_files $uri =404;
fastcgi_split_path_info ^(.+\.php)(.*)$;
#fastcgi_pass 127.0.0.1:9000;
fastcgi_pass unix:/tmp/php-fpm.sock;
fastcgi_index index.php;
fastcgi_param SCRIPT_FILENAME
/var/www/site.ru$fastcgi_script_name;
include fastcgi_params;
fastcgi_param QUERY_STRING $query_string;
fastcgi_param REQUEST_METHOD $request_method;
fastcgi_param CONTENT_TYPE $content_type;
fastcgi_param CONTENT_LENGTH $content_length;
fastcgi_intercept_errors on;
fastcgi_ignore_client_abort off;
fastcgi_connect_timeout 60;
fastcgi_send_timeout 180;
fastcgi_read_timeout 180;
fastcgi_buffer_size 128k;
fastcgi_buffers 4 256k;
fastcgi_busy_buffers_size 256k;
fastcgi_temp_file_write_size 256k;
#кеширование FastCGI-запросов
#fastcgi_pass_header "Set-Cookie"; # Необходимо для
передачи cookie в соответствующие
переменные, например cookie с именем phpsessid
будет находится в переменной $cookie_phpsessid
#
# #fastcgi_ignore_headers Cache-Control Expires Set-Cookie; #
Игнорируем заголовки, относящиеся к
кешированию, полученные от
FastCGI-сервера
# fastcgi_cache_key
"$server_addr:$server_port$request_uri|$cookie_phpsessid"; #
Формируем уникальный ключ; в данном
случае различаем пользователей с
помощью $cookie_phpsessid
# fastcgi_cache fastcgi_cache; # Говорим о том,
что использовать надо вышеобъявленную
кеш-зону fastcgi_cache
# fastcgi_temp_path /tmp/nginx/temp 1 2; #
Указываем папку для хранения временных
файлов
# fastcgi_cache_use_stale updating error timeout
invalid_header http_500; # Используем вариант из
кеша (даже если он устарел) в случае
ошибки
#fastcgi_cache_valid 200 302 10m;
#fastcgi_cache_valid 301 1h;
#fastcgi_cache_valid any 1m;
}
## Disable viewing .htaccess & .htpassword
location ~ /\.ht {
deny all;
}
}
server {
listen 80;
server_name www.site.ru;
rewrite ^ http://site.ru$request_uri?;
}
Подскажите, где косяк?
Posted at Nginx Forum: http://forum.nginx.org/read.php?21,218912,218912#msg-218912
Подробная информация о списке рассылки nginx-ru