<font color="#000000"><font size="2"><font face="trebuchet ms,sans-serif">Thanks for the help Maxim!  We disabled our limit_req and that seemed to have fixed the problem.  Looking at the logs it seems that only 1/3 of the requests are correctly getting the new IP assigned via the realIP module, the remainder are still logging the load balancer IP.  This probably is more of an issue with the amazon load balancer but do you have any idea on what may be going on?</font></font></font><div>
<font class="Apple-style-span" face="'trebuchet ms', sans-serif"><br></font></div><div><font class="Apple-style-span" face="'trebuchet ms', sans-serif">Also, where would you recommend as a place to start tracking and fixing the other issue?</font></div>
<div><font class="Apple-style-span" face="'trebuchet ms', sans-serif"><br></font></div><div><font class="Apple-style-span" face="'trebuchet ms', sans-serif"><br></font><div><font color="#000000"><font size="2"><font face="trebuchet ms,sans-serif"><br>
</font></font></font></div><div><font color="#000000"><font size="2"><font face="trebuchet ms,sans-serif"><br></font></font></font><br><div class="gmail_quote">On Fri, Nov 25, 2011 at 12:14 PM, Maxim Dounin <span dir="ltr"><<a href="mailto:mdounin@mdounin.ru">mdounin@mdounin.ru</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">Hello!<br>
<div class="im"><br>
On Fri, Nov 25, 2011 at 09:54:14AM -0500, Rami Essaid wrote:<br>
<br>
> Hi Maxim,<br>
><br>
> We implemented to module and still had some trouble.  A lot of the<br>
> connections would return " 503 Service Temporarily Unavailable".  Our<br>
> configuration works fine without the load balancer but then gives these 503<br>
> errors behind the load balancer.<br>
<br>
</div>nginx itself will only return 503 if it hits either limit_conn or<br>
limit_req.<br>
<br>
If you see this returned by nginx, and it only happens with load<br>
balancer, this may indicate you've not configured realip module<br>
properly (or your load balancer doesn't provide appropriate<br>
headers) and you are hitting per-ip limits configured due to all<br>
requests appear to be from load balancer.<br>
<br>
Check if client's ip logged is really client's one, not an ip of<br>
your load balancer.<br>
<div class="im"><br>
> Looking into the error logs I notice a lot of these errors both with and<br>
> without the load balancer "connect() failed (111: Connection refused) while<br>
> connecting to upstream".  Could this be the reason that we are having<br>
> issues?<br>
<br>
</div>Unlikely, but It's a good idea to track and fix this in any case.<br>
<span class="HOEnZb"><font color="#888888"><br>
Maxim Dounin<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
><br>
> Thanks!<br>
> Rami<br>
><br>
><br>
> On Mon, Nov 21, 2011 at 7:46 AM, Maxim Dounin <<a href="mailto:mdounin@mdounin.ru">mdounin@mdounin.ru</a>> wrote:<br>
><br>
> > Hello!<br>
> ><br>
> > On Mon, Nov 21, 2011 at 07:40:49AM -0500, Rami Essaid wrote:<br>
> ><br>
> > > Thanks Maxim,<br>
> > ><br>
> > > This looks like exactly what we need.  In your experience does this<br>
> > resolve<br>
> > > most issues behind a load balancer?<br>
> ><br>
> > Yes.<br>
> ><br>
> > Maxim Dounin<br>
> ><br>
> > > On Mon, Nov 21, 2011 at 7:38 AM, Maxim Dounin <<a href="mailto:mdounin@mdounin.ru">mdounin@mdounin.ru</a>><br>
> > wrote:<br>
> > ><br>
> > > > Hello!<br>
> > > ><br>
> > > > On Mon, Nov 21, 2011 at 07:25:39AM -0500, Rami Essaid wrote:<br>
> > > ><br>
> > > > > Hi Guys,<br>
> > > > ><br>
> > > > > This weekend for scalability we tried putting our nginx servers<br>
> > behind<br>
> > > > > amazon's elastic load balancers and came across a road block: it<br>
> > does not<br>
> > > > > transparently pass the user IP and header information to nginx. This<br>
> > > > caused<br>
> > > > > issues with several pieces of nginx we use including the IP allow /<br>
> > deny<br>
> > > > > rules, the limit_req module, and the limit_con module.  Has anyone<br>
> > > > > successfully put nginx behind a load balancer?  Any ideas on how to<br>
> > make<br>
> > > > > this work?<br>
> > > ><br>
> > > > <a href="http://wiki.nginx.org/HttpRealIpModule" target="_blank">http://wiki.nginx.org/HttpRealIpModule</a><br>
> > > ><br>
> > > > Maxim Dounin<br>
> > > ><br>
> > > > _______________________________________________<br>
> > > > nginx mailing list<br>
> > > > <a href="mailto:nginx@nginx.org">nginx@nginx.org</a><br>
> > > > <a href="http://mailman.nginx.org/mailman/listinfo/nginx" target="_blank">http://mailman.nginx.org/mailman/listinfo/nginx</a><br>
> > > ><br>
> ><br>
> > > _______________________________________________<br>
> > > nginx mailing list<br>
> > > <a href="mailto:nginx@nginx.org">nginx@nginx.org</a><br>
> > > <a href="http://mailman.nginx.org/mailman/listinfo/nginx" target="_blank">http://mailman.nginx.org/mailman/listinfo/nginx</a><br>
> ><br>
> > _______________________________________________<br>
> > nginx mailing list<br>
> > <a href="mailto:nginx@nginx.org">nginx@nginx.org</a><br>
> > <a href="http://mailman.nginx.org/mailman/listinfo/nginx" target="_blank">http://mailman.nginx.org/mailman/listinfo/nginx</a><br>
> ><br>
<br>
> _______________________________________________<br>
> nginx mailing list<br>
> <a href="mailto:nginx@nginx.org">nginx@nginx.org</a><br>
> <a href="http://mailman.nginx.org/mailman/listinfo/nginx" target="_blank">http://mailman.nginx.org/mailman/listinfo/nginx</a><br>
<br>
_______________________________________________<br>
nginx mailing list<br>
<a href="mailto:nginx@nginx.org">nginx@nginx.org</a><br>
<a href="http://mailman.nginx.org/mailman/listinfo/nginx" target="_blank">http://mailman.nginx.org/mailman/listinfo/nginx</a><br>
</div></div></blockquote></div><br></div></div>