piped logging from Nginx to MySQL

[Alexandre Kalendarev]

-----Original Message-----
From: Anton Yuzhaninov <citrin at citrin.ru>
To: nginx-ru at nginx.org
Date: Wed, 16 Dec 2009 12:20:31 +0300
Subject: Re: piped logging from Nginx to MySQL

> Ihalainen Nickolay wrote:
> 
> > Вариант с tail конешно хорош, но зачем эти бешенные гигабайты писать на диск?
> > gzip поможет с этой проблемой, однако, он будет дважды использовать
> > cpu: для записи на диск и для чтения с него.
> 
> Запись логов из nginx на диск линейная, и в таком режиме можно писать много
> создавая небольшую нагрузку на диск.
> 
> А вот mysql на каждую строчку которую в него insert-ят будет делать кучу сиков и
> создаст на диск нагрузку гораздо больше.
> 

вот по этому я и предлагал, парсить лог по крону раз в 2-5 мин
вставлять не по одному insert на запись, а группировать по 100-1000 записей на один insert