Тест nginx -- сколько сообщений в log syslog без потерь?

[Evgeniy Berdnikov]

On Thu, Jan 18, 2024 at 10:10:14PM +0300, Anatoliy Melnik via nginx-ru wrote:
> > Чем гадать, что "вероятнее всего", возьмите исходники nginx, вставьте
> > счётчик передач в syslog, смотрите его и сравнивайте с количеством пакетов,
> > пришедших в syslog. Так можно исключить потери в сети.
> 
> Вроде при записи в unixSocket сеть отсутствует.

 Это "внутренняя" сеть, только с address family = AF_UNIX, а не AF_INET.
 И несколько другими алгоритмами, в частности, исключены потери пакетов
 как для SOCK_STREAM, так и для SOCK_DGRAM. Что, конечно, не мешает
 приложениям дропать пакеты при переполнениях ядерных буферов, приводящим
 к ошибкам на уровне send(), как тут ведёт себя nginx -- не знаю.
 Однако попытаться увеличить всякие буферы однозначно полезно.

> В любом варианте ваш совет трудно реализовать -- моя квалификация как программиста для подобной задачи не достаточна.

 Тогда шансы достичь просветления уменьшаются. :) Ну, попробуйте просто
 измерить пропускную способность syslog-ов каким-либо генератором записей,
 например, сделайте файлик с 10К уникальных сообщений, подобных nginx,
 и скармливайте его в цикле утилите logger. Посмотрите сколько запишется
 на диск и с какой скоростью, не будет ли там пропусков.

 Что касается использования памяти в сокетах, для линукса есть командочка
 "ss -m", она покажет socket memory usage. Расшифровка выдачи в man ss,
 посмотреть выдачу можно как по inet-сокетам, так и по unix-сокетам.
 Для других ОС есть другие погремушки, наверное... Квалификация тут нужна
 сисадминская, а не по части программирования, но по мне так правка кода
 nginx проще.
 
> Пока создается впечатление, что либо у меня что-то не так, либо никому не приходило в голову сравнить эти данные.

 Простой вопрос: зачем писать на диск 100 тыс/с логов, что потом с ними
 предполагается делать? Ведь логи пишутся не просто так, а чтобы их потом
 как-то обрабатывать... Что именно будет нужно из из этого океана байтов?
-- 
 Eugene Berdnikov