upstream c keepalive и периодически 502 ошибка
waster
nginx-forum на forum.nginx.org
Пн Окт 17 23:42:31 UTC 2016
Доброго времени суток,
Для раздачи HLS настроена схема из двух серверов cache-origin, где ts-чанки
отдаются cache, а все запросы на m3u8-плейлисты проксируются на origin. На
cache настроено проксирование с keepalive. Для примера приведу
соотвествующие куски конфига cache:
--------------------------------------------------------------------------------------------------
upstream hls01 {
server X.X.X.X:80 fail_timeout=10 max_fails=3;
keepalive 500;
}
proxy_cache_path /var/cache/nginx/edge_video levels=1:2 keys_zone=e_v:10m
inactive=1m max_size=1g;
proxy_http_version 1.1;
location ~* \.m3u8$ {
include /etc/nginx/proxy/proxy_headers.conf;
proxy_set_header Host "hls01.XXXXXXX.ru";
proxy_set_header X-Cache-Host $host;
proxy_cache off;
expires -1;
proxy_pass http://hls01;
include /etc/nginx/cors.conf;
}
location ~* \.ts$ {
include /etc/nginx/proxy/proxy_headers.conf;
include /etc/nginx/cors.conf;
proxy_set_header Host "hls01.XXXXXXXX.ru";
proxy_buffer_size 16k;
proxy_buffers 32 16k;
proxy_ignore_headers "Cache-Control" "Expires";
proxy_cache e_v;
proxy_cache_key $host$uri$is_args$args;
proxy_cache_valid any 1m;
proxy_cache_use_stale updating;
proxy_cache_lock on;
proxy_pass http://hls01;
add_header X-Proxy-Cache $upstream_cache_status;
}
...
proxy_headers.conf:
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header Connection "";
...
--------------------------------------------------------------------------------------------------
Сам cache имеет 10G интерфейс, sysctl поднастроен. В пике исходящий трафик
на cache достигает 2Gbps (~6K handled_requests/sec), но на origin по
понятной причине входящий трафик падает в пике до 25Mbps (~2.7К
handled_requests/sec).
В большинстве случаев все запросы к upstream обрабатываются быстро и без
проблем, но в логах периодически появляется ошибка 502 "upstream prematurely
closed connection while reading response header from upstream". Я включал
логирование $upstream_status и видно, что в этот момент возвращается 502.
Также снимал дамп трафика, в этот момент видно, что шлется RST-пакет. Эта
проблема очень похожа на ту, которая описана тут:
https://github.com/h2o/h2o/issues/281
В чем может быть причина, и можно ли как-то избавиться от 502 на cache?
Для примера я также включал логирование различных времен ответов на запросы
к upstream (request_time, upstream_response_time и др.) и в периоды большой
нагрузки на cache, периодически наблюдаются задержки с ответами, т.е.
upstream_connect_time, upstream_header_time, например от 1 до 5 сек. Хотя на
origin трафик и нагрузка небольшие (см. выше). Пинг между origin и cache
~8ms.
С уважением, Андрей.
Posted at Nginx Forum: https://forum.nginx.org/read.php?21,270342,270342#msg-270342
Подробная информация о списке рассылки nginx-ru