<div dir="ltr"><div>So in this case NGINX is terminating SSL, and the upstream is HAPROXY running the same server. HAProxy applies routing rules and distributes requests to a pool of ~500 servers in round robin fashion. In this case we're most interested in keeping the connections between NGINX to HAPROXY alive. The NGINX server receives 3000 requests per second around the clock, roughly 250 requests per worker per second. How many are active simultaneously over the course of a second I can only guess - for the sake of argument we could guess that if each request cook 250ms to complete, then maybe 64 would be active simultaneously at any point.</div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Nov 5, 2015 at 8:19 AM, Maxim Dounin <span dir="ltr"><<a href="mailto:mdounin@mdounin.ru" target="_blank">mdounin@mdounin.ru</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hello!<br>
<div><div class="h5"><br>
On Thu, Nov 05, 2015 at 12:55:36AM -0500, CJ Ess wrote:<br>
<br>
> So I'm looking for some advice on determining an appropriate number for the<br>
> keepalive parameter within an upstream stanza.<br>
><br>
> They server processes ~3000 requests per second, and haproxy is the single<br>
> upstream destination. Dividing by the request rate by the number of<br>
> processors (workers) I'm thinking that maybe 256 is a good starting number<br>
> for the max keepalives.<br>
><br>
> Is that realistic? Or should I be looking at a fraction of that number?<br>
<br>
</div></div>Number of requests per second processed is mostly irrelevant.  Two<br>
important numbers are:<br>
<br>
- How many connections your upstream servers can handle.  It's a good<br>
  idea to don't exhaust all available connections with keepalive<br>
  ones.<br>
<br>
- How many connections are used under normal load and/or during<br>
  load spikes.  That is, how many simultaneous requests are<br>
  executed on upstream servers.  It make sense to keep comparable<br>
  number of connections alive to handle load fluctuations.<br>
<span class="HOEnZb"><font color="#888888"><br>
--<br>
Maxim Dounin<br>
<a href="http://nginx.org/" rel="noreferrer" target="_blank">http://nginx.org/</a><br>
<br>
_______________________________________________<br>
nginx mailing list<br>
<a href="mailto:nginx@nginx.org">nginx@nginx.org</a><br>
<a href="http://mailman.nginx.org/mailman/listinfo/nginx" rel="noreferrer" target="_blank">http://mailman.nginx.org/mailman/listinfo/nginx</a><br>
</font></span></blockquote></div><br></div>