Re: Меня опять терзают смутные сомнения... (с)

Vladimir Romanov vromanov на gmail.com
Вс Янв 17 09:32:33 MSK 2010


Если используется iptables то вот такая уличная магия может помочь

#fix for bug in linux kernel
echo 1 > /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_be_liberal

Вкратце - в ядре линукса есть бажок, который приводит к тому что не
все TCP пакеты правильно обрабатываются. Одним из таких пакетов
явлется SACK и пакет с изменнеием размера окна. При некоторых условиях
модуль contrack получив такой пакет сильно удивляется и закрывает
соединение. Т.е. есть два варианта решения проблемы
1) Отключить работу с такими пакетами а это
net.ipv4.tcp_sack = 0
net.ipv4.tcp_window_scaling = 0
2) Использовать то что вверху.
Эти пакеты используются в основном на плохих каналах..
Мои исследования показали, что вероятность такой проблемы в некоторых
случаях приближается к 90%. А так обычно около 1%.
Вот тут описание похожего бага -
https://bugzilla.redhat.com/show_bug.cgi?id=191336
Но там пофикшено не все, часть осталась недофикшенной.
PS. В свое время убил неделю на эту проблему..

2010/1/17 Anton Kuznetsov <maybe at arjlover.net>:
>
> Я уже не раз писал о проблемах с частым обрывом коннектов при раздаче
> большой статики. И вот у меня на форуме появился человек который пожаловался
> со своей стороны на то, что мне так не нравилось в логах. И кажется мы
> нащупали в чем дело.
> Проблема в логах выглядит так:
>
> 217.118.79.28 - - [01/Dec/2009:00:07:57 +0300] 31.386 GET
> /multiki/rovno.v.3-15.avi HTTP/1.1  206 132988
> 85.202.188.196 - - [01/Dec/2009:00:08:01 +0300] 31.762 GET
> /filmiki/gostja.iz.buduschego.1.avi HTTP/1.0  206 132255
> 195.158.228.210 - - [01/Dec/2009:00:08:02 +0300] 30.284 GET
> /filmiki/voskresene.polovina.shestogo.2.avi HTTP/1.1  206 123537
>
> За 30 секунд ( send_timeout  30s;) скачивается некий тоже весьма одинаковый
> кусок (sndbuf=64k; 2 раза?) и разрыв.
>
> Пользователь отписал что у него 128кбит adsl и с других моих серверов, где
> фрюха и sendfile on; все качается без разрывов.
> Проблемный сервер под линуксом, sendfile off и output_buffers   2 1024k;
>
> Я поставил
> send_timeout  120s;
> output_buffers   2 512k;
>
> И всем сразу полегчало. Я правильно догадываюсь, что если юзер очень
> медленный и если он не успел за время send_timeout скачать весь
> output_buffers и попросить новый, то nginx думает что передача встала и
> принудительно рвет коннект??? Качание из буфера за активность не
> считается???
>
> Тут возникает дилема. У меня дома интернет 10мбит - ровно в 100 раз быстрее
> и мне кажется таких сейчас больше чем  128кбит, по логам сервера, средняя
> скорость - 1мбит. При output_buffers   2 512k; диски заметно поднапреглись -
> этот сервер раздает гигабит в полку и диски у меня всегда были проблемным
> местом. :(
> Как сделать поумнее, если я вообще правильно распутываю проблему? задирать
> send_timeout в бесконечность не хотелось бы, при ограничении на количество
> потоков = 1 - это выйдет боком при тех же разрывах. :(
>
> Так же интересен алгоритм обработки send_timeout при sendfile on; там где
> kern.ipc.sfreadahead=8
>
> --
> Best regards,
> Anton Kuznetsov.
>
> _______________________________________________
> nginx-ru mailing list
> nginx-ru at nginx.org
> http://nginx.org/mailman/listinfo/nginx-ru
>
>



-- 
Vladimir Romanov


Подробная информация о списке рассылки nginx-ru