Нет ответа от сервера c nginx на некоторые syn

[Алексей Малов]

Добрый день.
Столкнулся со следующей ситуацией.
Есть сервер с Debian Squeeze, на нём установлен nginx 0.7.67 (из
репозитория).
В принципе, всё работает без проблем, но заметили, что иногда не получается
приконнектиться к порту. SYN приходит, ответа нет.
Пробовал включить syncookies, это несколько помогло (в логах вылезли ошибки
про «possible SYN flooding on port 80. Sending cookies.»). Но всё равно
были проблемы с коннектом. Синфлуда при этом нет, это просто много
легального трафика.
После этого, увеличил следующие параметры:

net.core.somaxconn = 128000
net.core.netdev_max_backlog = 10000
net.ipv4.tcp_max_syn_backlog = 128000

'
У нжинкса увеличил listen backlog до 65536.

Сообщения про «possible SYN flooding» исчезли, однако всё равно
периодически не приконнектиться к серверу. Проверял простеньким скриптом,
который поднимает 20 тредов и открывает и закрывает сокеты к 80-му порту в
каждом треде.
Из 1000 попыток открыть сокет около 30-50 отваливаются по таймауту (2
секунды), остальные при этом коннектятся практически мгновенно.

При всём этом в dmesg пусто, в error.log нжинкса тоже пусто.

Кусок конфига нжинкса:

user                    www-data;
worker_processes        2;
worker_rlimit_nofile    65535;
error_log               /var/log/nginx/error.log;
pid                     /var/run/nginx.pid;

events {
        worker_connections              65535;
        use                             epoll;
}
server {
    listen 80 default backlog=65536;
.....
}



На сервере 2 ядра, LoadAverage держится меньше единицы.

В netstat'e примерно такая картина:

# netstat -ant | grep tcp | tr -s ' ' ' ' | awk '{print $6}' | sort | uniq -c
     22 CLOSING
   3729 ESTABLISHED
    815 FIN_WAIT1
   3807 FIN_WAIT2
    138 LAST_ACK
      5 LISTEN
    167 SYN_RECV
     37 SYN_SENT
   1104 TIME_WAIT



В stub_status'e нжинкса:

Active connections: 5985
server accepts handled requests
 35200 35200 34437
Reading: 341 Writing: 223 Waiting: 5421


На всякий случай — SYNы до сервера точно доходят, снимал tcpdump, в нём они
видны.

Подскажите, пожалуйста, что смотреть, куда копать, кто сталкивался?
(у меня есть большие подозрения, что проблема не в самом nginx, но где-то в
настройках системы, поэтому заранее прошу прощения за возможный оффтоп).

P.s. Задавал этот вопрос на хабре и рассылке debian-ru, извините, если
кому-то намозолил глаза. Но ответа пока не нашёл.

-- 
Alexey Malov
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://mailman.nginx.org/pipermail/nginx-ru/attachments/20130117/8720e5ea/attachment.html>