Для upstream прописывал keepalive. Видимо моя проблема, не дождался применения нового конфига. Posted at Nginx Forum: https://forum.nginx.org/read.php?21,283095,283100#msg-283100