I cobbled something like this together with open source tools and have been using it on hundreds of servers.. pls contact me offline if you'd like a copy :)<br><br>-Harold<br><br><div class="gmail_quote">On Mon, Aug 1, 2011 at 2:57 PM, Dennis Jacobfeuerborn <span dir="ltr"><<a href="mailto:dennisml@conversis.de">dennisml@conversis.de</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">An alternative is to tail -F (aka. "--follow=name --retry") the log file and pipe the output into a script. This allows you to parse the entries as they come in and rotate the log file as often as you want independently of the parsing script.<br>

<br>
Regards,<br>
  Dennis<br>
<br>
On 08/01/2011 04:57 PM, Randy Parker wrote:<br>
<blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
My app has a request that opens the log file, fseeks to the end, backs up<br>
as many bytes as it takes to get to the size the log file was on the last<br>
similar request by that user, and runs a regex over the novel part to get<br>
interesting metrics before closing the file.  Since this happens less than<br>
once per minute, I have not done anything fancy to optimize.<br>
<br>
- Randy<br>
<br>
On Mon, Aug 1, 2011 at 10:39 AM, Reinis Rozitis <<a href="mailto:r@roze.lv" target="_blank">r@roze.lv</a><br>
<mailto:<a href="mailto:r@roze.lv" target="_blank">r@roze.lv</a>>> wrote:<br>
<br>
        I'm looking for a near real-time script to parse log files and<br>
        insert interesting data into a db.<br>
        Does anyone know of an existing script to do this?<br>
<br>
<br>
    You can check/try <a href="http://www.splunk.com" target="_blank">http://www.splunk.com</a><br>
<br>
    rr<br>
<br>
<br>
    ______________________________<u></u>___________________<br>
    nginx mailing list<br>
    <a href="mailto:nginx@nginx.org" target="_blank">nginx@nginx.org</a> <mailto:<a href="mailto:nginx@nginx.org" target="_blank">nginx@nginx.org</a>><br>
    <a href="http://mailman.nginx.org/__mailman/listinfo/nginx" target="_blank">http://mailman.nginx.org/__<u></u>mailman/listinfo/nginx</a><br>
    <<a href="http://mailman.nginx.org/mailman/listinfo/nginx" target="_blank">http://mailman.nginx.org/<u></u>mailman/listinfo/nginx</a>><br>
<br>
<br>
<br>
<br>
--<br>
<a href="http://mobiledyne.com" target="_blank">http://mobiledyne.com</a><br>
<br>
<br>
______________________________<u></u>_________________<br>
nginx mailing list<br>
<a href="mailto:nginx@nginx.org" target="_blank">nginx@nginx.org</a><br>
<a href="http://mailman.nginx.org/mailman/listinfo/nginx" target="_blank">http://mailman.nginx.org/<u></u>mailman/listinfo/nginx</a><br>
</blockquote>
<br>
______________________________<u></u>_________________<br>
nginx mailing list<br>
<a href="mailto:nginx@nginx.org" target="_blank">nginx@nginx.org</a><br>
<a href="http://mailman.nginx.org/mailman/listinfo/nginx" target="_blank">http://mailman.nginx.org/<u></u>mailman/listinfo/nginx</a><br>
</blockquote></div><br>