<div dir="ltr"><div><div><div><div>nginx -V<br>nginx version: nginx/1.13.0<br>built by gcc 4.9.2 (Debian 4.9.2-10)<br>built with OpenSSL 1.0.2h  3 May 2016<br>TLS SNI support enabled<br>configure arguments: --prefix=/etc/nginx --sbin-path=/usr/sbin/nginx --modules-path=/usr/lib/nginx/<wbr>modules --conf-path=/etc/nginx/nginx.<wbr>conf --error-log-path=/var/log/<wbr>nginx/error.log --http-log-path=/var/log/<wbr>nginx/access.log --pid-path=/var/run/nginx.pid --lock-path=/var/run/nginx.<wbr>lock --http-client-body-temp-path=/<wbr>var/cache/nginx/client_temp --http-proxy-temp-path=/var/<wbr>cache/nginx/proxy_temp --http-fastcgi-temp-path=/var/<wbr>cache/nginx/fastcgi_temp --http-uwsgi-temp-path=/var/<wbr>cache/nginx/uwsgi_temp --http-scgi-temp-path=/var/<wbr>cache/nginx/scgi_temp --user=nginx --group=nginx --with-compat --with-file-aio --with-threads --with-http_addition_module --with-http_auth_request_<wbr>module --with-http_dav_module --with-http_flv_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_mp4_module --with-http_random_index_<wbr>module --with-http_realip_module --with-http_secure_link_module --with-http_slice_module --with-http_ssl_module --with-http_stub_status_module --with-http_sub_module --with-http_v2_module --with-mail --with-mail_ssl_module --with-stream --with-stream_realip_module --with-stream_ssl_module --with-stream_ssl_preread_<wbr>module --with-openssl=/root/openssl-<wbr>1.0.2h<br><br></div>nginx.conf:<br><br>user www-data www-data;<br>worker_processes 50;<br>worker_cpu_affinity auto;<br>timer_resolution 100ms;<br>worker_rlimit_nofile 65535;<br><br>    proxy_cache_path   /var/www/nginx/nginx_proxy_<wbr>cache  levels=1:1 keys_zone=two:1536m  inactive=1y max_size=2350G loader_files=1000 loader_sleep=10ms loader_threshold=8000ms manager_files=500 manager_threshold=1000ms manager_sleep=50ms use_temp_path=off;<br><br>  server {<br>            proxy_cache_min_uses 2;<br>            proxy_cache_revalidate on;<br>            proxy_cache two;<br>            proxy_cache_lock on;<br>            proxy_cache_lock_age 90s;<br>            proxy_cache_lock_timeout 90s;<br>            proxy_cache_use_stale  error timeout invalid_header updating http_500 http_502 http_503 http_504 http_404;<br>            proxy_cache_key    "$proxy_host$uri";<br>            proxy_read_timeout 180s;<br>            proxy_connect_timeout 180s;<br>            proxy_send_timeout 180s;<br>            proxy_ignore_headers X-Accel-Limit-Rate X-Accel-Expires Expires Cache-Control Set-Cookie Vary;<br>            proxy_max_temp_file_size 0;<br>            proxy_read_timeout 70s;<br>            proxy_connect_timeout 70s;<br>            proxy_send_timeout 70s;<br>            proxy_buffers 32 384k;<br>            proxy_force_ranges on;<br><br>            output_buffers  32 384k;<br>            send_timeout 180s;<br>            sendfile on;<br>            sendfile_max_chunk 512k;<br><br><br></div>location / {<br>            proxy_pass <a href="http://backend" target="_blank">http://backend</a>;<br>}<br>}<br><br></div>Диск состоит из raid0 12 SSD по 240Gb, линк 10Gbps в мир, при пике выдает около 8-9Gbps iotop показывает, что в пик диск не занят на 100%<br><br></div>Проблема с тем, что nginx перестает чистить папку proxy_cache_path может случиться в любой момент (не обязательно в пик посещаемости) например в 5 утра, когда трафик почти на нуле, помогает только рестарт nginx<br><div> <br></div></div><div class="gmail_extra"><br clear="all"><div><div class="gmail_signature" data-smartmail="gmail_signature"><br>С уважением Толмачев Владислав.<br><a href="mailto:tolmachev.vlad@gmail.com" target="_blank">tolmachev.vlad@gmail.com</a><br>skype: vladislaviki<br>icq: 274888266<br></div></div>
<br><div class="gmail_quote">2 мая 2017 г., 17:31 пользователь Maxim Dounin <span dir="ltr"><<a href="mailto:mdounin@mdounin.ru" target="_blank">mdounin@mdounin.ru</a>></span> написал:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hello!<br>
<br>
On Tue, May 02, 2017 at 12:35:55PM +0000, Владислав Толмачев wrote:<br>
<br>
> Максим, нельзя ли как-то пофиксить это, я искал в гугле и нашел кучу<br>
> проблем аналогичного характера и ни одного решения. У меня nginx занимается<br>
> только проксированием, он без модулей и прочего, абсолютно чистый. Ок не<br>
> смог он удалить 20 этих элементов, возможно там их тормоз качет (хотя если<br>
> их сейчас качают то это уже не самый старый элемент), пусть пробует дальше<br>
> и вернется к ним позже, если в кэше около 2 000 000 элементов. Никаких<br>
> Sigterm и Sigkill перед переполнением точно нет, сервер никтотне трогает в<br>
> это время. В логах critical пусто.<br>
<br>
"Тормоз качает" - не должно быть причиной, nginx складывает в кеш<br>
ответ сразу, как получает его от бекенда, и от клиента тут ничего<br>
не зависит.  Причиной может быть бекенд - если он кешируемый ответ<br>
возвращает очень долго.  В старых версиях (до 1.11.6) та же<br>
проблема могла возникать, если при включённом кеше использовалось<br>
проксирование без буферизации и/или проксирование вебсокетов -<br>
элемент кеша оставался залоченным до окончания соединения.<br>
<br>
Получить более подробную информацию о происходящем можно, уменьшив<br>
inactive и добившись очистки по нему, в этом случае в аналогичной<br>
ситуации будет alert про "ignore long locked inactive cache<br>
entry".  По идентификатору можно будет узнать, что за ресурс<br>
вызвал проблему, и проанализировать возможные причины.<br>
<span class="HOEnZb"><font color="#888888"><br>
--<br>
Maxim Dounin<br>
<a href="http://nginx.org/" rel="noreferrer" target="_blank">http://nginx.org/</a><br>
______________________________<wbr>_________________<br>
nginx-ru mailing list<br>
<a href="mailto:nginx-ru@nginx.org">nginx-ru@nginx.org</a><br>
<a href="http://mailman.nginx.org/mailman/listinfo/nginx-ru" rel="noreferrer" target="_blank">http://mailman.nginx.org/<wbr>mailman/listinfo/nginx-ru</a></font></span></blockquote></div><br></div>