Re: nginx перестает следить за размером каталога proxy cache patch
Владислав Толмачев
tolmachev.vlad на gmail.com
Пн Май 8 09:33:36 UTC 2017
ps -ef | grep nginx
root 11230 1 0 Apr28 ? 00:00:00 nginx: master process
/usr/sbin/nginx -c /etc/nginx/nginx.conf
www-data 11231 11230 0 Apr28 ? 00:38:30 nginx: worker process
www-data 11232 11230 0 Apr28 ? 00:44:51 nginx: worker process
www-data 11233 11230 0 Apr28 ? 00:39:12 nginx: worker process
www-data 11234 11230 0 Apr28 ? 00:49:42 nginx: worker process
www-data 11235 11230 0 Apr28 ? 00:41:25 nginx: worker process
www-data 11236 11230 0 Apr28 ? 00:51:03 nginx: worker process
www-data 11237 11230 0 Apr28 ? 00:47:59 nginx: worker process
www-data 11239 11230 0 Apr28 ? 00:49:39 nginx: worker process
www-data 11240 11230 0 Apr28 ? 00:48:36 nginx: worker process
www-data 11241 11230 0 Apr28 ? 00:48:42 nginx: worker process
www-data 11242 11230 0 Apr28 ? 02:01:53 nginx: worker process
www-data 11243 11230 0 Apr28 ? 00:52:11 nginx: worker process
www-data 11245 11230 1 Apr28 ? 03:08:09 nginx: worker process
www-data 11246 11230 0 Apr28 ? 02:10:26 nginx: worker process
www-data 11247 11230 0 Apr28 ? 00:35:46 nginx: worker process
www-data 11248 11230 0 Apr28 ? 01:30:40 nginx: worker process
www-data 11249 11230 0 Apr28 ? 00:55:12 nginx: worker process
www-data 11250 11230 0 Apr28 ? 01:20:24 nginx: worker process
www-data 11252 11230 1 Apr28 ? 03:19:38 nginx: worker process
www-data 11253 11230 18 Apr28 ? 1-20:04:38 nginx: worker process
www-data 11254 11230 1 Apr28 ? 02:29:02 nginx: worker process
www-data 11255 11230 0 Apr28 ? 00:47:30 nginx: worker process
www-data 11256 11230 1 Apr28 ? 02:48:07 nginx: worker process
www-data 11257 11230 26 Apr28 ? 2-15:40:24 nginx: worker process
www-data 11258 11230 0 Apr28 ? 01:49:24 nginx: worker process
www-data 11260 11230 1 Apr28 ? 02:57:51 nginx: worker process
www-data 11261 11230 4 Apr28 ? 10:51:18 nginx: worker process
www-data 11262 11230 1 Apr28 ? 04:15:18 nginx: worker process
www-data 11263 11230 2 Apr28 ? 05:09:28 nginx: worker process
www-data 11264 11230 11 Apr28 ? 1-03:54:22 nginx: worker process
www-data 11265 11230 0 Apr28 ? 02:21:51 nginx: worker process
www-data 11266 11230 0 Apr28 ? 00:52:16 nginx: worker process
www-data 11267 11230 1 Apr28 ? 02:39:07 nginx: worker process
www-data 11268 11230 2 Apr28 ? 07:12:13 nginx: worker process
www-data 11269 11230 0 Apr28 ? 00:58:03 nginx: worker process
www-data 11270 11230 1 Apr28 ? 03:39:01 nginx: worker process
www-data 11271 11230 0 Apr28 ? 01:06:36 nginx: worker process
www-data 11272 11230 0 Apr28 ? 01:39:46 nginx: worker process
www-data 11273 11230 0 Apr28 ? 01:00:59 nginx: worker process
www-data 11274 11230 0 Apr28 ? 01:24:51 nginx: worker process
www-data 11275 11230 0 Apr28 ? 01:11:12 nginx: worker process
www-data 11276 11230 0 Apr28 ? 01:54:16 nginx: worker process
www-data 11277 11230 0 Apr28 ? 01:04:58 nginx: worker process
www-data 11278 11230 0 Apr28 ? 01:16:25 nginx: worker process
www-data 11279 11230 34 Apr28 ? 3-13:33:26 nginx: worker process
www-data 11280 11230 0 Apr28 ? 00:49:31 nginx: worker process
www-data 11281 11230 6 Apr28 ? 16:59:39 nginx: worker process
www-data 11282 11230 42 Apr28 ? 4-08:58:05 nginx: worker process
www-data 11283 11230 0 Apr28 ? 00:50:54 nginx: worker process
www-data 11284 11230 14 Apr28 ? 1-11:39:26 nginx: worker process
www-data 11285 11230 0 Apr28 ? 00:39:16 nginx: cache manager process
root 16612 16593 0 12:17 pts/0 00:00:00 grep nginx
все процессы в момент засирания папки кэша старые, iotop показывает, что io
диска на 0,01% занято, это не пик, трафика мало.
Такое ощущение, что nginx: cache manager process просто перестает видеть
файлы в кэше и не трогает их для удаления
в логах error_log нет ничего интересного и похожего на кэш запросы
2017/05/08 12:18:37 [alert] 11263#11263: *110026886 open socket #109 left
in connection 148
2017/05/08 12:18:37 [alert] 11263#11263: aborting
2017/05/08 12:18:37 [alert] 11252#11252: *142106454 open socket #76 left in
connection 6
2017/05/08 12:18:37 [alert] 11252#11252: aborting
2017/05/08 12:18:37 [alert] 11261#11261: *6376207 open socket #63 left in
connection 24
2017/05/08 12:18:37 [alert] 11261#11261: *69762352 open socket #136 left in
connection 484
2017/05/08 12:18:37 [alert] 11261#11261: aborting
2017/05/08 12:18:39 [alert] 11270#11270: *41410475 open socket #117 left in
connection 28
2017/05/08 12:18:39 [alert] 11270#11270: aborting
2017/05/08 12:18:40 [alert] 11262#11262: *79682996 open socket #5 left in
connection 155
2017/05/08 12:18:40 [alert] 11262#11262: aborting
2017/05/08 12:18:41 [alert] 11267#11267: *139231732 open socket #62 left in
connection 90
2017/05/08 12:18:41 [alert] 11267#11267: aborting
2017/05/08 12:18:42 [alert] 11268#11268: *140895163 open socket #87 left in
connection 127
2017/05/08 12:18:42 [alert] 11268#11268: aborting
2017/05/08 12:19:14 [alert] 11264#11264: *141842028 open socket #457 left
in connection 36
2017/05/08 12:19:14 [alert] 11264#11264: *59804808 open socket #113 left in
connection 605
2017/05/08 12:19:14 [alert] 11264#11264: aborting
2017/05/08 12:20:33 [alert] 11253#11253: *9766808 open socket #793 left in
connection 6
2017/05/08 12:20:33 [alert] 11253#11253: *2126581 open socket #233 left in
connection 73
2017/05/08 12:20:33 [alert] 11253#11253: *119203640 open socket #108 left
in connection 138
2017/05/08 12:20:33 [alert] 11253#11253: *25842753 open socket #988 left in
connection 217
2017/05/08 12:20:33 [alert] 11253#11253: *106856882 open socket #184 left
in connection 218
2017/05/08 12:20:33 [alert] 11253#11253: *22117720 open socket #658 left in
connection 356
2017/05/08 12:20:33 [alert] 11253#11253: *55550949 open socket #92 left in
connection 396
2017/05/08 12:20:33 [alert] 11253#11253: *142165136 open socket #692 left
in connection 525
2017/05/08 12:20:33 [alert] 11253#11253: *20058006 open socket #130 left in
connection 642
2017/05/08 12:20:33 [alert] 11253#11253: *16505597 open socket #243 left in
connection 719
2017/05/08 12:20:33 [alert] 11253#11253: *107135866 open socket #511 left
in connection 1069
2017/05/08 12:20:33 [alert] 11253#11253: *107687125 open socket #286 left
in connection 1095
С уважением Толмачев Владислав.
tolmachev.vlad на gmail.com
skype: vladislaviki
icq: 274888266
8 мая 2017 г., 2:22 пользователь ngnx8810773a83 <nginx-forum на forum.nginx.org
> написал:
> Владислав, посмотрите в момент когда проблема с пухнущим кешом уже есть
> вывод ps axu
> все ли воркеры запущены в одно и тоже время ? Штатно они все запускаются
> или
> при старте или при применении изменений одновременно и все висят или до
> стопа или нового применения конифга. Но иногда бывет не так. У нас были
> ситуации, что из за некторых проблем воркеры убивались по 11 сигналу
> (мастер
> его перезапускал после смерти, т.е. появлялся новый воркер в замен
> умершего,
> в выводе ps у него свежее время старта) и тут все открытые в кеше в данный
> момент умершим воркером элементы оставались залоченными до смерти мастер
> процесса. Вообще 11 сигналы видны в логах сервера. У меня проявлялось в
> залипании в кеше файла, и отдачи его из кеша до посинения. до распухания
> кеша не доходило, раньше начинались жалобы-разборки с необновлением
> инофрмации. по некоторым путям
>
> (у меня умирание воркера возникало, например в моменты когда все апстримы
> (в
> количестве proxy_next_upstream_tries) обламывались в соединении, ну сеть
> там
> могрнула или еще что, и 50х ошибка пыталась получться с того же апстрима
> (скорее всего попадала в / локешн), я в первый раз до дебага даже добрел,
> там запрос уходит в закрытый сокет кажется, но это было лет 4-5 назад, не
> очень уже помню). Правка конфигов, чтобы ошибки (то, что указано в
> error_page, наверное критично толко для 5хх, но обычно и 404 так делаю)
> всегда оставались локальными у меня проблему снимало. Наверное есть другие
> варианты, когда воркеры начинают трапаться, но я по этим граблям уже 2 раза
> ходил именно в таком виде.
>
> Posted at Nginx Forum: https://forum.nginx.org/read.
> php?21,273918,274096#msg-274096
>
> _______________________________________________
> nginx-ru mailing list
> nginx-ru на nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru
----------- следущая часть -----------
Вложение в формате HTML было извлечено…
URL: <http://mailman.nginx.org/pipermail/nginx-ru/attachments/20170508/bba212ef/attachment-0001.html>
Подробная информация о списке рассылки nginx-ru