slice module + thread pools

Roman Arutyunyan arut на nginx.com
Ср Фев 24 11:33:24 UTC 2016


Здравствуйте Вадим,

On Tue, Feb 23, 2016 at 11:22:45AM +0300, Vadim Lazovskiy wrote:
> Здравствуйте.
> 
> Возникает проблема с отдачей данных из кэша при использовании связки slice
> module + aio treads.
> 
> Проблема 1 (aio выключено, slice включен):
> Если запустить скачивание файла через прокси, прервать на середине, а потом
> запустить заново, закешированная часть отдается медленно (5-8
> мегабайт/сек). Ежели докачать файл через прокси до конца, последующие
> запросы к нему происходят на максимальной скорости (1Gbps в тесте).

Зскешированная часть должна отдаваться быстро.  Убедитесь, что она действительно
закеширована и попробуйте скачать только закешированные слайсы при помощи
Range-запросов.

> С чем может быть связана медленная отдача закешированных слайсов?
> 
> Проблема 2 (aio включено slice включен):
> Если запустить  скачивание файла через прокси, скорость очень низкая,
> соединение постоянно разрывается. В логах при этом:
> 2016/02/23 10:36:11 [alert] 11124#11124: task #1 already active
> 2016/02/23 10:36:12 [alert] 11124#11124: task #4 already active
> 2016/02/23 10:36:14 [alert] 11124#11124: task #7 already active
> 2016/02/23 10:36:17 [alert] 11124#11124: task #10 already active
> 2016/02/23 10:37:59 [alert] 11124#11124: task #23 already active
> 2016/02/23 10:38:07 [alert] 11124#11124: task #35 already active
> 2016/02/23 10:38:17 [alert] 11124#11124: task #37 already active
> 
> Если отключить slice module, все становится хорошо.
> 
> С чем могут быть связаны данные проблемы?
> 
> Спасибо.
> 
> 
> Конфиг:
> 
> thread_pool pool_ssd01 threads=16;
> 
> proxy_cache_path /disks/ssd01 levels=1:2 keys_zone=cache_ssd01:4m
> use_temp_path=off inactive=7d max_size=230G;
> 
> split_clients $request_uri $disk {
>         100% ssd01;
> }
> 
>         location /streams/ {
>                 location ~
> ^/streams/(?<upstream_hostname>[^/]+)/(?<upstream_uri>.*)$ {
>                         if ($allowed = 0) {
>                                 return 403;
>                         }
> 
>                         slice 10m;
> 
>                         aio threads=pool_$disk;
> 
>                         proxy_pass http://
> $upstream_hostname/$upstream_uri$is_args$args;
>                         proxy_set_header Host $upstream_hostname;
>                         proxy_set_header Range $slice_range;
>                         proxy_ignore_client_abort on;
> 
>                         proxy_cache cache_$disk;
>                         proxy_cache_key
> $upstream_hostname$upstream_uri$slice_range;
>                         proxy_cache_revalidate on;
> 
>                         proxy_cache_bypass $arg_start;
>                         proxy_no_cache $arg_start;
> 
>                         proxy_cache_lock on;
>                         proxy_cache_lock_age 60s;
> 
>                         proxy_cache_use_stale error timeout invalid_header
> updating http_500 http_502 http_503 http_504 http_403;
>                 }
>         }
> 
> 
> # uname -a
> Linux localhost.localdomain 3.16.0-4-amd64 #1 SMP Debian
> 3.16.7-ckt20-1+deb8u3 (2016-01-17) x86_64 GNU/Linux
> 
> # /usr/sbin/nginx -V
> nginx version: nginx/1.9.11
> built by gcc 4.9.2 (Debian 4.9.2-10)
> built with OpenSSL 1.0.1k 8 Jan 2015
> TLS SNI support enabled
> configure arguments: --prefix=/etc/nginx --sbin-path=/usr/sbin/nginx
> --modules-path=%{_libdir}/nginx/modules --conf-path=/etc/nginx/nginx.conf
> --error-log-path=/var/log/nginx/error.log
> --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx.pid
> --lock-path=/var/run/nginx.lock
> --http-client-body-temp-path=/var/cache/nginx/client_temp
> --http-proxy-temp-path=/var/cache/nginx/proxy_temp
> --http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp
> --http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp
> --http-scgi-temp-path=/var/cache/nginx/scgi_temp --user=nginx --group=nginx
> --with-http_ssl_module --with-http_realip_module
> --with-http_addition_module --with-http_sub_module --with-http_dav_module
> --with-http_flv_module --with-http_mp4_module --with-http_gunzip_module
> --with-http_gzip_static_module --with-http_random_index_module
> --with-http_secure_link_module --with-http_stub_status_module
> --with-http_auth_request_module --with-threads --with-stream
> --with-stream_ssl_module --with-http_slice_module --with-mail
> --with-mail_ssl_module --with-file-aio --with-http_v2_module
> --with-cc-opt='-g -O2 -fstack-protector-strong -Wformat
> -Werror=format-security -Wp,-D_FORTIFY_SOURCE=2'
> --with-ld-opt='-Wl,-z,relro -Wl,--as-needed' --with-ipv6
> 
> 
> -- 
> WBR,
> Vadim Lazovskiy

> _______________________________________________
> nginx-ru mailing list
> nginx-ru на nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru


-- 
Roman Arutyunyan



Подробная информация о списке рассылки nginx-ru