<html><head><meta http-equiv="Content-Type" content="text/html charset=koi8-r"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; "><div><div>17 дек. 2012, в 08:40, Вадим Лазовский написал(а):</div><blockquote type="cite"><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin: 0px 0px 0px 0.8ex; border-left-width: 1px; border-left-color: rgb(204, 204, 204); border-left-style: solid; padding-left: 1ex; position: static; z-index: auto; ">nginx/1.2.3 стримит видео, упираемся в 1.5 Гб/c (две 1Гб сетевухи в bond) и nginx начинает с задержкой в начале (несколько секунд, иногда до минуты) отдавать файлы, при этом iowait 20-30%, si ~ 20%.</blockquote><div>moov-атом точно перенесен в начала файла? Во всех файлах?</div></div></div></blockquote>Точно.</div><div><br></div><div><blockquote type="cite"><div class="gmail_extra"><div class="gmail_quote">20-30 и 20% это пики на ядре или среднее по 4 ядрам?</div></div></blockquote>среднее по 4м</div><div><br><blockquote type="cite"><div class="gmail_extra"><div class="gmail_quote"><div> </div><blockquote class="gmail_quote" style="margin: 0px 0px 0px 0.8ex; border-left-width: 1px; border-left-color: rgb(204, 204, 204); border-left-style: solid; padding-left: 1ex; position: static; z-index: auto; ">Популярные файлы лежат на ssd, остальное на hdd.</blockquote><div>Сколько всего ssd и обычных дисках. И не в массивах ли они часом?</div></div></div></blockquote>1 ssd и 6 hdd в software raid5.</div><div><br><blockquote type="cite"><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin: 0px 0px 0px 0.8ex; border-left-width: 1px; border-left-color: rgb(204, 204, 204); border-left-style: solid; padding-left: 1ex; position: static; z-index: auto; ">На сервере 4 физических процессора, имеет смысл поднимать кол-во worker_processes?<br></blockquote><div>4 это мало. Я бы поднял штук до 20. Не повредит уж точно.</div></div></div></blockquote><div>Поднял вчера, посмотрю сегодня в пик изменится-ли что нибудь. </div><div><br></div><blockquote type="cite"><div class="gmail_extra"><div class="gmail_quote">Без aio отдаем 4 Гбит.</div></div></blockquote></div><div>С включенным sendfile? directio для очень больших файлов включен? output_buffers тюнили?</div><div><div><br></div><blockquote type="cite"><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin: 0px 0px 0px 0.8ex; border-left-width: 1px; border-left-color: rgb(204, 204, 204); border-left-style: solid; padding-left: 1ex; position: static; z-index: auto; ">Имеет-ли смысл включать AIO? linux 2.6.38 SMP x86_64<br></blockquote></div></div></blockquote>Пробовал включить aio. Совсем плохо стало. iowait то упал до 0, но user задрался, la сильно расти начал, и стримил при этом не больше 100Мбит.</div><div><br><blockquote type="cite"><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin: 0px 0px 0px 0.8ex; border-left-width: 1px; border-left-color: rgb(204, 204, 204); border-left-style: solid; padding-left: 1ex; position: static; z-index: auto; ">Или может упираемся в сетевухи? Cетевые прерывания распределены по ядрам равномерно. И когда стояла одна сетевуха - она на 1Гб стримила нормально.<br>00:19.0 Ethernet controller: Intel Corporation 82578DM Gigabit Network Connection (rev 05)<br>04:00.0 Ethernet controller: Intel Corporation 82574L Gigabit Network Connection<br></blockquote><div>ЕМНИП, обе e1000. Не умеют очереди.</div></div></div></blockquote>Одна умеет, но мало :)</div><div><div><br></div><div> 48: 1852018402 1851886313 1851907204 1851967041 PCI-MSI-edge eth1</div><div> 49: 3301989410 3301930314 3301981994 3302369693 PCI-MSI-edge eth0-rx-0</div><div> 50: 2482755925 2482702187 2482712776 2482293121 PCI-MSI-edge eth0-tx-0</div><div> 51: 401 407 405 424 PCI-MSI-edge eth0</div><div><br></div><blockquote type="cite"><div class="gmail_extra"><div class="gmail_quote"><div>Если есть возможность поставьте ту, которая на igb. 4 очереди, каждую на свое ядро.</div><div>Либо включите RPS+RFS: <a href="http://code.google.com/p/kernel/wiki/NetScalingGuide">http://code.google.com/p/kernel/wiki/NetScalingGuide</a></div></div></div></blockquote>Спасибо. Посмотрю в эту сторону.<br><br><blockquote type="cite"><div class="gmail_extra"><div class="gmail_quote">В каком состоянии находятся воркеры в часы максимальной нагрузки?</div></div></blockquote>По памяти не скажу, пик вечером будет, гляну.</div><div><br><blockquote type="cite"><div class="gmail_extra"><div class="gmail_quote">Сколько пик wa и si на каждом ядре в часы максимальной нагрузки?</div></div></blockquote>Распределяется равномерно +- проценты.</div><div><br><blockquote type="cite"><div class="gmail_extra"><div class="gmail_quote">Кто в топе "iostat -mdx 1 /dev/sd?" ?</div></div></blockquote>Процентов на 60-70 чтение идет с ssd (160Gb), остальное с массива (там почти 1Тб).</div><div>Дело в том, что в пик пробовал с помощью dd тестить скорость отдачи фалов с винтов. Отдаваться начинает очень быстро, а nginx тупит от 5 до 40 секунд перед началом отдачи файла.</div><div><br><blockquote type="cite"><div class="gmail_extra"><div class="gmail_quote">Как сконфигурирован bond?</div></div></blockquote>Все по-умолчанию. balance-rr.</div><div><br><blockquote type="cite"><div class="gmail_extra"><div class="gmail_quote">Мб воткнуть третий линк и добавить памяти?.</div></div></blockquote>А зачем третий линк, если два не утилизируются полностью? Память, к сожалению, не добавить.</div></body></html>