Re[2]: Проблема со скоростью отдачи файла

[Aleksej Novikov]

Hello Alex,

Monday, April 7, 2008, 4:43:15 PM, you wrote:

> Aleksej Novikov пишет:
>> Hello Alex,
>> 
>> Sunday, April 6, 2008, 8:51:25 PM, you wrote:
>> 
>>> Aleksej Novikov пишет:
>>>> Hello Aleksej,
>>>>
>>>>
>>>> Совсем забыл отметить, что отдельный nginx (на другом порту на
>>>> этом-же IP) отдаёт всё быстро и без проблем.
>>>>
>>> Что в stub_status основного nginx?
>> Не знал про этот модуль, только  что поставил.
>> Вот данные за 15 минут
>> 
>> Active connections: 354
>> server accepts handled requests
>>  1995 1995 2734 
>> Reading: 1 Writing: 281 Waiting: 72
>> 
> сколько воркеров?

worker_processes  100;
Пробывал от 1 до 200 - результат примерно один.

>>> При включенном sendfile с sendfile_max_chunk пробовали играться?
>> Да, пробывал с разными значениями, сейчас sendfile включен
>> sendfile_max_chunk 128k; - пробывал до 512к значения - ничего не
>> меняется.
>> 
> а уменьшать?

Исходил из логики - больше значит лучше, потестирую с уменьшением.


>> 
>>> Какой наиболее частый статус у воркеров nginx?
>> Непонял, это где смотреть ?
> top
Если имеется ввиду поле Process Status то  - S

>>> sndbuf пробовали увеличить при включенном sendfile?
>> Сейчас такой.
>> listen  хх.хх.ххх.хх:80 default rcvbuf=8192 sndbuf=256000 backlog=128000 deferred;
>> 
> backlog=4096 хватит в большинстве случаев, и то надо тюнить 
> /proc/sys/net/core/somaxconn чтобы рельно работало.
ok, помучаю google на эту тему.

>> 
>>> Покажите показаний 5-6 iostat -kdx /dev/sdx /dev/sdy 5 для дисков, с которых
>>> отдаются данные.
>> Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
>> md0               0.00     0.00   17.11  210.34   902.92   841.35    15.34     0.00    0.00   0.00   0.00
>> md1               0.00     0.00   15.49  202.93   839.42   811.72    15.12     0.00    0.00   0.00   0.00
>> md2               0.00     0.00    9.75  118.91   528.45   475.64    15.61     0.00    0.00   0.00   0.00
>> md4               0.00     0.00   29.04  396.33   602.85   641.00     5.85     0.00    0.00   0.00   0.00
>> etherd/e0.0       0.00     0.00   14.49  176.88   733.34   707.51    15.06     0.00    2.99   2.99  57.28
>> etherd/e1.1       0.00     0.00   13.35  173.03   701.94   692.13    14.96     0.00    1.77   1.77  32.93
>> etherd/e2.2       0.00     0.00   15.68  175.73   708.87   702.92    14.75     0.00    1.17   1.17  22.43
>> etherd/e3.3       0.00     0.00   27.50  293.20   225.85   228.45     2.83     0.00    3.58   3.58 114.74
> откуда столько записи(а на etherd/e3.3 ещё и мелкой)?
Систему можно сравнивать с прокси для больших файлов. Тоесть
отдаваемые файлы сами скачиваются. Ниодин файд не хранится на
дисковой подсистеме более недели. В сутки новых данных приходит
порядка 800 Гигов. И столько же стирается,  и отдаётся прочентов на
5% больше. Файлы скачаются curlom на диски, получается curl получил
данные и сбросил на диск.

> iostat -kdx etherd/e0.0 etherd/e1.1 etherd/e2.2 etherd/e3.3 5
> лучше так, а то единичный вывод обычно врёт.


Первый средний, второй текуший.

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
etherd/e2.2       0.00     0.00   15.78  175.83   710.91   703.32    14.76     0.00    1.47   1.47  28.16
etherd/e1.1       0.00     0.00   13.34  172.99   702.81   691.95    14.97     0.00    2.38   2.38  44.32
etherd/e3.3       0.00     0.00   27.75  293.06   233.44   232.69     2.91     0.00    5.21   5.21 167.00
etherd/e0.0       0.00     0.00   14.47  176.66   733.62   706.65    15.07     0.00    3.39   3.39  64.76

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
etherd/e2.2       0.00     0.00   65.60  355.60  1408.00  1422.40    13.44     0.00   34.82  34.82 1466.80
etherd/e1.1       0.00     0.00   18.20  212.60  1306.40   850.40    18.69     0.00   58.16  58.16 1342.40
etherd/e3.3       0.00     0.00  119.20  494.80  3509.60  1979.20    17.88     0.00   42.34  42.34 2599.52
etherd/e0.0       0.00     0.00   14.60  173.80  1000.00   695.20    18.00     0.00   15.16  15.16 285.68




Спасибо, коллега, за отзывчивость !

-- 
Best regards,
Aleksej             
ICQ:    293-686-24
GSM:371-293-686-24