Непонимание как работает fail timeout на самом деле

[Vadim Osipov]

Здравствуйте
Столкнулся с такой ситуацией, что, видимо, не понимаю в каком случае
срабатывает fail_timeout, max_fails.
Как я это понимаю при моей конфигурации:
например, я делаю 1 запрос http://localhost:80/mem/key10, вычисляется хэш,
ему ставится в соответствие сервер из upstream - это 172.16.11.46:11211 (в
моем случае), и если сервер завис, не отвечает или произошла ошибка
соединения с сервером (машина выключена/не существует), то в течение 30
секунд запросы на эту машину/сервер не идут.
Однако, что получается в действительности - после того, как не удалось
соединиться, начинает ретрансмит через 1 секунду, затем 2, потом (т.к. тут
уже вступает в игру memcached_connect_timeout и ретрансмита между последней
попыткой и новой не будет, т.к. тогда будет разница в 4 сек.) nginx
рехэширует запрос/ключ, и он попадает на работающий сервер, делает запрос и
отдает то, что есть в другом сервере (в моем случае, это 127.0.0.1:11211).

Так какой же вопрос ?
Почему последующий запрос http://localhost:80/mem/key10 не идет сразу на
127.0.0.1:11211, а продолжает те же самые попытки - достучаться до
172.16.11.46:11211 ?

Как проверяли ? 
С помощью tcpdump. 
tcpdump -i any -s 0 -vvv -w /tmp/dump_240_46.pcup

Конфигурация:
upstream  memcached_cluster  {
    server 127.0.0.1:11211 fail_timeout=30s max_fails=1;
    server 172.16.11.46:11211 fail_timeout=30s max_fails=1;     # <---- is
not working now

    hash $uri/3.6;		#    nginx_upstream_hash
    hash_again 1000;	#    nginx_upstream_hash
    keepalive 512;
}

memcached_connect_timeout 5s;

location /mem {
    set $memcached_key "$uri/3.6";
    memcached_pass memcached_cluster;
}

Окружение:
nginx version: nginx/1.4.2
built by gcc 4.4.7 20120313 (Red Hat 4.4.7-3) (GCC) 
TLS SNI support enabled
configure arguments: --user=nginx --group=nginx --prefix=/usr/share/nginx
--sbin-path=/usr/sbin/nginx --conf-path=/etc/nginx/nginx.conf
--error-log-path=/var/log/nginx/error.log
--http-log-path=/var/log/nginx/access.log
--http-client-body-temp-path=/var/lib/nginx/tmp/client_body
--http-proxy-temp-path=/var/lib/nginx/tmp/proxy
--http-fastcgi-temp-path=/var/lib/nginx/tmp/fastcgi
--pid-path=/var/run/nginx.pid --lock-path=/var/lock/subsys/nginx
--with-http_secure_link_module --with-http_random_index_module
--with-http_ssl_module --with-http_realip_module --with-http_addition_module
--with-http_sub_module --with-http_dav_module --with-http_flv_module
--with-http_gzip_static_module --with-http_stub_status_module
--with-http_perl_module --with-http_xslt_module --with-debug --with-mail
--with-mail_ssl_module --with-cc-opt='-O2 -g -pipe -Wall
-Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector
--param=ssp-buffer-size=4 -m64 -mtune=generic' --with-ipv6
--add-module=/root/rpmbuild/BUILD/nginx-1.4.2/nginx-push-stream-module
--add-module=/root/rpmbuild/BUILD/nginx-1.4.2/nginx_upstream_hash
--add-module=/root/rpmbuild/BUILD/nginx-1.4.2/nginx-memcached-hash-pass

OS: CentOS release 6.6 (Final)
Kernel: Linux tve-lab-240 2.6.32-504.12.2.el6.x86_64 #1 SMP Wed Mar 11
22:03:14 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux

Документация по стороннему модулю:
https://github.com/evanmiller/nginx_upstream_hash
http://hb.321key.org/hb/nginx-1.3.8/03A6EA3ED31C437BB3DF5902E32F2E68/4B83DA8DC7.htm

Posted at Nginx Forum: https://forum.nginx.org/read.php?21,267237,267237#msg-267237