залипший сокет между nginx и fastcgi ?

Alexandre Snarskii snar на snar.spb.ru
Пт Дек 17 15:57:49 MSK 2010


Hi!

Дано: Linux (RHEL 5.4, 2.6.18-164.el5), nginx/0.8.53 "без посторонних
добавок", простенькая fcgi на базе обычного fastcgi devel kit 2.4.0,
основная fcgi - считать запрос, обработать, выдать x-accel-redirect
для проксирования на правильный target server. 
Общение nginx и fcgi - tcp на 127.0.0.1. 

Вроде бы все просто, хорошо и должно работать - nginx в любом
случае принимает запрос полностью и только потом отдает его 
на fastcgi_pass, так что на уровне fcgi можно верить что "медленных
клиентов не бывает" и использовать блокирующий интерфейс FCGX, 
но...

В некоторых случаях accept возвращает "нечитаемый" сокет, и fcgi 
тормозится на этапе: 

(gdb) where
#0  0x004db402 in __kernel_vsyscall ()
#1  0x006c38db in read () from /lib/libc.so.6
#2  0x00dd3feb in OS_Read (fd=54, buf=0x8c44118 "@Et", len=8192)
    at os_unix.c:460
#3  0x00dd12a0 in FillBuffProc (stream=0x8c36600) at fcgiapp.c:1636
#4  0x00dd1b82 in FCGX_Accept_r (reqDataPtr=0xb391f318) at fcgiapp.c:2208
#5  0x0804a119 in run (arg=0x8c2e3bc) at main.cc:91
#6  0x007545ab in start_thread () from /lib/libpthread.so.0
#7  0x006d2cfe in clone () from /lib/libc.so.6

и способна висеть в такой позе до рестарта, даже несмотря на 
то, что с другой стороны nginx уже давно сокет закрыл (connection
state CLOSE_WAIT). 

Вопрос вполне обычный - кто виноват и что делать ? :) 
Сменить OS/библиотеку/полностью переписать на scgi ? 

PS: внутри fastcgi есть такой интересный коммент, который
вроде бы полностью описывает данное поведение, но он относится 
a) к linux 2.0 б) к unix domain sockets: 

/**********************************************************************
 * This works around a problem on Linux 2.0.x and SCO Unixware (maybe
 * others?).  When a connect() is made to a Unix Domain socket, but its
 * not accept()ed before the web server gets impatient and close()s, an
 * accept() results in a valid file descriptor, but no data to read.
 * This causes a block on the first read() - which never returns!
-- 
In theory, there is no difference between theory and practice. 
But, in practice, there is. 



Подробная информация о списке рассылки nginx-ru