БАГ... где собака порылась?

[Igor Sysoev]

On Wed, 8 Mar 2006, AleXXX V. NovikoFF wrote:

> Tue, 7 Mar 2006 17:11:51 +0300 (MSK)
> Igor Sysoev <is at rambler-co.ru> писал(а):
>
>> On Tue, 7 Mar 2006, AleXXX V. NovikoFF wrote:
>>
>>>
>>> Mon, 6 Mar 2006 23:29:19 +0300 (MSK)
>>> Igor Sysoev <is at rambler-co.ru> писал(а):
>>>
>>>> On Tue, 7 Mar 2006, AleXXX V. NovikoFF wrote:
>>>>
>>>>>
>>>>> Mon, 6 Mar 2006 22:48:37 +0300 (MSK)
>>>>> Igor Sysoev <is at rambler-co.ru> писал(а):
>>>>>
>>>>>> On Tue, 7 Mar 2006, AleXXX V. NovikoFF wrote:
>>>>>>
>>>>>>>> On Sat, 25 Feb 2006, AleXXX V. NovikoFF wrote:
>>>>>>>>
>>>>>>>>> Вот в очередной раз у меня бага....
>>>>>>>>> Скрин: http://alexxx.ru/tmp/bug.gif
>>>>>>>>>
>>>>>>>>> Как такое происходит... в логах пусто (ошибок нет),
>>>>>>>>> процессы не рестартовали, память не кушают, процессор тоже...
>>>>>>>>> на сайте в этот момент постоянная ошибка 500...
>>>>>>>>> помог только рестарт nginx...
>>>>>>>>
>>>>>>>> Какая OS ?
>>>>>>>> Если выдаётся 500, то в error_log должно быть что-то хотя бы на уровне
>>>>>>>> crit.
>>>>>>>
>
> вот только что ошибка повторяется, заметил особенность, она происходит в
> 17-38 :) в прошлые 2 раза (не 2 раза подряд) в тоже время...
> такое ощущение, что кто-то досит сайт..... однакож нетстат молчит...
>
> в еррор_логе:
>
> 2006/03/08 19:08:04 [alert] 1955#0: accept() failed (24: Too many open files) while accepting new connection on
> 195.208.234.158:80
> 2006/03/08 19:08:05 [alert] 1955#0: accept() failed (24: Too many open files) while accepting new connection on
> 195.208.234.158:80
>
> и т.д.
>
> ошибка вылетает не всегда, т.е. если пообновлять страницу - можно что-то
> увидеть, кстати, она выдается нативная, а не та, которая определена в
> конфиге (не 500.html)
>
> в данный момент показывает 4к коннектов, а нетстат только 400 (всего!)
> воркер разросся до 100 метров (изначально был 7-8 метров)
> процессор не кушает, нагрузки не дает, т.е. у 30% посетителей сайт
> работает как обычно
>
> в конфиге:
>
> worker_rlimit_nofile 8192;
> worker_rlimit_sigpending 32768;
>
> ulimit -n = 10240
>
> десять тысяч файлов он теоретически даже открыть не мог бы, максимум
> одновременно бывает 300 потоков, один нгинкс обслуживает ровно один сайт
>
> в netstat -n
> очень много висит в таком состоянии: (не 4 тыщи, но порядочно)
>
> tcp        0      0 127.0.0.1:80            127.0.0.1:46748         TIME_WAIT
> tcp        0      0 127.0.0.1:80            127.0.0.1:47004         TIME_WAIT
> tcp        0      0 127.0.0.1:80            127.0.0.1:45724         TIME_WAIT
>
> можно ли как то от этого избавиться?
> На бэкэнде работает апач 1.3.33
>
> вот:
>
> lsof|grep nginx |wc -l
> 8224
> воркер у меня один, смотрю lsof|grep nginx

worker_rlimit_nofile перебивает ulimit -n. Нужно увеличивать
worker_rlimit_nofile и, возможно, в ядре.


Игорь Сысоев
http://sysoev.ru