Re: Проблема при >1500 одновременных коннектов.

[ArjLover]

упс, был не прав - я же написал, я использую эту настройку, но так как это
было написано здесь:
http://lists.lexa.ru/nginx-ru/msg19497.html

> IS> В общем, научили мы sendfile читать по 2M:
> IS> #sysctl kern.ipc.sfreadahead
> IS> kern.ipc.sfreadahead: 2097152

Это разные патчи или возникла путаница? Что означает данный параметр, кол-во
блоков по 64к или кол-во байт в чистом виде?

Позволю себе усомниться в диагнозе, странно если это сата. 1500 соединений -
отдаем 400 мегабит и все диски 50%, 1600 - все идет прахом. Как-то
ненатрульно, не нахожу обьяснений.

P.S. Похоже у меня другой патч. Нет у меня такой строчки в
sys/kern/uipc_syscalls.c

int readahead = sfreadahead * MAXBSIZE;

Стоит перепатчиться?


9 февраля 2009 г. 16:18 пользователь Igor Sysoev <is at rambler-co.ru> написал:

> On Mon, Feb 09, 2009 at 03:22:18PM +0100, ArjLover wrote:
>
> > Диски никак не организованы. Все одиночные, скази, они и маленькие
> конечно
> > относительно сата, загружены всегда на 10%, в пиках до 30-40%, но это
> когда
> > сата давно в 100% уперлись. На графиках дисков показан результат "iostat
> -c
> > 2 -w 1 -x ad8" - берется последняя цифра в процентах. На gstat как-то
> забыл
> > посмотреть во время проблемы. Когда нормально, то сата-диски по версии
> gstat
> > отдают 13-18МБ/c, кол-во операций 60-90, т.е. ровно бьется с выставленным
> > kern.ipc.sfreadahead=524288. Ранее упомянутый iostat при этом показывает
> > ~30%
> > Судя по новому для меня слову "sfreadahead" - использую первый патч, там
> про
> > это ничего не было. Пойду сейчас искать последний.
>
> sfreadahead - это kern.ipc.sfreadahead. Послдений патч здесь:
> http://www.lexa.ru/nginx-ru/msg20575.html
>
> > MAXPHYS конечно увеличен, а в чем тогда смысл патча без него?
> > define MAXPHYS         (1024 * 1024)
> >
> > по прежнему подозреваю что заканчивается что-то мне неизвестное.
>
> Я думаю, что заканичвается sata.
>
> > 8 февраля 2009 г. 16:33 пользователь Igor Sysoev <is at rambler-co.ru>
> написал:
> >
> > > On Sun, Feb 08, 2009 at 03:56:17PM +0100, ArjLover wrote:
> > >
> > > > Добрый день!
> > > >
> > > > Жил-жил, пять лет плавно росла популярность, плавно тюнился и тут
> бац..
> > > > Какой-то непонятный предел в развитии? Подозреваю что серверу не
> хватает
> > > > каких-то ресурсов, но не могу понять каких. По ссылке
> > > > http://multiki.arjlover.net/problem/  можно посмотреть на снимки
> mrtg с
> > > > моими комментариями о происходящем. Если вкратце, то при неком
> абсолютно
> > > > четком кол-ве посетителей сервер начинает резко обваливаться - падает
> > > траф,
> > > > а нагрузку на диски зашкаливает в потолок (обратнозависмые
> показатели!!!)
> > > и
> > > > так продолжается пока в полночь народ чуток не уйдет. Может конечно
> диски
> > > и
> > > > уходят в запарку, но как-то невероятно резко. 1400 коннектов - отдаем
> 400
> > > > мегабит, 1500 - бац! 100 мегабит и сервер еле живой. Подскажите какие
> > > > параметры надо проверить?
> > > > Freebsd 6.3
> > > > 4GB
> > > > SCSI+SATA
> > >
> > > Как организованы диски ?
> > >
> > > > sysoev patch
> > > > kern.ipc.sfreadahead=524288
> > > > kern.ipc.sfrefer=1
> > >
> > > Какой вариант патча используется ? В последнем варианте нужно в
> > > sfreadahead указывать число блоков по 64K.
> > >
> > > А sfrefer для больших файлов скорее вреден, чем полезен.
> > >
> > > Увеличивался ли MAXPHYS ?
> > >
> > > > nginx 7.0.30
> > > > sendfile       on;
> > > > use kqueue;
> > > >
> > > > P.S. Интересный факт забыл, не знаю к какому месту прилепить - если
> > > убрать
> > > > лимит с канала и посетителей не 1500, т.е. сервер нормально "дышит",
> то
> > > траф
> > > > на сервере возрастает 440 мегабит и там прилипает в ровную полку,
> хотя и
> > > > канал есть и все ресурсы которые я мониторю - тоже не в пределе,
> спрос на
> > > > трафик - многократно бОльший, но не отдает! Кажется между этими двумя
> > > > ситуациями есть связь. Какая-то моща у него кончается. Какая???
> > > >
> > > > --
> > > > Best regards,
> > > > Anton Kuznetsov.
> > >
> > > --
> > > Игорь Сысоев
> > > http://sysoev.ru
> > >
> > >
> >
> >
> > --
> > Best regards,
> > Anton Kuznetsov.
>
> --
> Игорь Сысоев
> http://sysoev.ru
>
>


-- 
Best regards,
Anton Kuznetsov.
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://nginx.org/pipermail/nginx-ru/attachments/20090209/b0c6c411/attachment.html>