<font color="#000000"><font size="2"><font face="trebuchet ms,sans-serif">Hi Max,<br></font></font></font><div><font class="Apple-style-span" face="'trebuchet ms', sans-serif"><br></font></div><div><font class="Apple-style-span" face="'trebuchet ms', sans-serif">In my opinion you dont want to rely on nginx to do the analytics simply to log suspicious activity but rather need to look at a better log analyzing solution.  Have you checked out splunk?  It is a very powerful log analyzer that will allow you to more intelligently parse the logs and has a free licence.  <br>
</font></div><div><font class="Apple-style-span" face="'trebuchet ms', sans-serif"><br></font></div><div><font class="Apple-style-span" face="'trebuchet ms', sans-serif">Rami</font></div><div><div class="gmail_quote">
<br></div><div class="gmail_quote">On Tue, Aug 9, 2011 at 5:17 PM, Maxime Ducharme <span dir="ltr"><<a href="mailto:max@techboom.com">max@techboom.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
Hi guys<br>
<br>
We are looking for a way to detect suspicious activity on high-traffic<br>
websites. Parsing log files is not good option here, our current nginx<br>
config generates around 90G of logs for around 412K http requests each<br>
days.<br>
<br>
We are looking to use nginx to detect suspicious activity and generate<br>
precise log when it happens for post-processing.<br>
<br>
Some tools we are looking for would be something like<br>
<br>
- Detect IPs which accessed /uri1/ X times without accessing other URI<br>
in a period of time Y.<br>
<br>
- Detect IPs that are indexing our site by accessing sequential uris<br>
like /uri123, /uri124, /uri125, ...<br>
<br>
We are using load balancing services (haproxy), we enabled realip module<br>
in nginx, we need something that can work with it.<br>
<br>
If you have any pointers / ideas / module names that could help us,<br>
please let me know.<br>
<br>
Have a good day<br>
<br>
Max<br>
<br>
<br>
<br>
<br>
<br>_______________________________________________<br>
nginx mailing list<br>
<a href="mailto:nginx@nginx.org">nginx@nginx.org</a><br>
<a href="http://mailman.nginx.org/mailman/listinfo/nginx" target="_blank">http://mailman.nginx.org/mailman/listinfo/nginx</a><br>
<br></blockquote></div><br><br clear="all"><br>-- <br><font face="'trebuchet ms', sans-serif">Cheers,</font><div><font face="'trebuchet ms', sans-serif">Rami</font></div><br>
</div>