Re: Тест nginx -- сколько сообщений в log syslog без потерь?

[Pavel Yakovlev]

В конфиг сислога добавлено вот это ?

$SystemLogRateLimitInterval 0
$SystemLogRateLimitBurst 0

Всё точно идёт сразу в  syslog/rsyslog напрямую, а не через 
systemd-journal ?


18.01.2024 19:13, Anatoliy Melnik via nginx-ru пишет:
> Фиксировал разными средствами.
> Этот "порог" наблюдается и на rsyslog, и на syslog-ng
> Сливал с 2-х nginx в один syslog -- получилось, расхождения в статистике 
> пошли с 100тыс/сек, т.е. вероятнее всего nginx теряет на этапе генерации 
> сообщения, а не на этапе транспортировки или приема rsyslog-ом.
> 
> Результат не зависит от того, идет ли передача по udp или в unixSocket.
> Если сделать 2 записи аccess_log
> access_log 
> syslog:server=unix:/tmp/syslog01,nohostname,facility=local5,severity=debug,tag=nginx_sts02 st01 if=$var0;
> access_log 
> syslog:server=unix:/tmp/syslog02,nohostname,facility=local5,severity=debug,tag=nginx_sts02 st01 if=$var1;
> 
> С условием "if" так, что бы половина уходила в один syslog, а половина в 
> другой (2 независимых rsyslog-а на одном сервере, слив хоть по UDP, хоть 
> по unix:socket в любой комбинации)
> Все равно примерно на уровне 50тыс/сек начинается расхождение в количестве.
> 
> ------------------------------------------------------------------------
> *От: *"Илья Шипицин" <chipitsine на gmail.com>
> *Кому: *"nginx-ru" <nginx-ru на nginx.org>
> *Отправленные: *Среда, 17 Январь 2024 г 15:31:49
> *Тема: *Re: Тест nginx -- сколько сообщений в log syslog без потерь?
> 
> 
> 
> ср, 17 янв. 2024 г. в 12:49, Anatoliy Melnik via nginx-ru 
> <nginx-ru на nginx.org <mailto:nginx-ru на nginx.org>>:
> 
>     Здравствуйте.
>     Есть nginx-ы, несколько разных версий. Проксируют запросы к бекэндам.
>     Логи льются в syslog (слив в файлы напрямую из nginx не желателен).
>     По косвенным методам контроля вылезла проблема:
>     До примерно 50 тыс/сек сообщений статистика прокси и бекэндов
>     сходится, а вот начиная примерно с 50тыс/сек начинаются расхождения.
>     nginx->syslog фиксирует меньше событий, чем сумма по бекэндам.
>     Чем выше интенсивность запросов, тем больше расходятся данные.
>     Сначала грешил на syslog, но детальные разборы полетов говорят, что
>     скорее всего проблема в nginx.
> 
> 
> а можно раскрыть, что имеется в виду под "детальные разборы полетов 
> говорят" ?
> по идее, проведя детальное расследование, которое что-то скажет, вы уже 
> получили ответ
> 
>     У кого-то что-то такое наблюдалось или нет?
>     При сливе логов с 2-х nginx-ов в один syslog все хорошо до примерно
>     100тыс/сек, т.е. скорее всего syslog не виноват.
>     Кто-то с таким сталкивался?
>     _______________________________________________
>     nginx-ru mailing list
>     nginx-ru на nginx.org <mailto:nginx-ru на nginx.org>
>     https://mailman.nginx.org/mailman/listinfo/nginx-ru
>     <https://mailman.nginx.org/mailman/listinfo/nginx-ru>
> 
> 
> 
> _______________________________________________
> nginx-ru mailing list
> nginx-ru на nginx.org
> https://mailman.nginx.org/mailman/listinfo/nginx-ru

-- 
Павел