Не могу не поделиться результатами, это какой очень success story или все гениальное просто!<br><br>Писать таки пришлось в рамдиск, ибо диск конечно рвет на части, в час получается около 0.5М файлов. Входящий траф 25мегабит - это праздники, будет наверно 35. И сейчас это примерно 1.2M запросов в час. Все это стоит примерно... 5% ЦПУ двух старых E5410. ))<br>
Простой скрипт все это разгребает раз в 10 минут и кладет в много. И сразу агрегирует все что необходимо. Все очень быстро и имеем целую гору статистики!<br><br>Это ЦПУ недельный, в середине - это я 4 дня пытался на php ловить на ходу и складывать в мемкеш для дальнейшей обработки. И это была 1/10 всего трафа - дальше все загибалось! <br>
<a href="http://my.jetscreenshot.com/2419/20121225-n76e-40kb.jpg">http://my.jetscreenshot.com/2419/20121225-n76e-40kb.jpg</a> <br><br>nginx:<br><a href="http://my.jetscreenshot.com/2419/20121225-z1ze-38kb.jpg">http://my.jetscreenshot.com/2419/20121225-z1ze-38kb.jpg</a> <br>
<br>траф:<br><a href="http://my.jetscreenshot.com/2419/20121225-dysu-34kb.jpg">http://my.jetscreenshot.com/2419/20121225-dysu-34kb.jpg</a> <br><br><br><div class="gmail_quote">2012/12/22 Anton Kuznetsov <span dir="ltr"><<a href="mailto:maybe@arjlover.net" target="_blank">maybe@arjlover.net</a>></span><br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Я понимаю что при прочих равных писать в кучу файлов и без буферизации намного хуже чем в один и с буфером. Но если это будет работать, то получится весь поток сразу разобрать на сессии, что сильно облегчит обработку, под такое и рамдиск даже не жалко сделать.<div class="HOEnZb">
<div class="h5"><br>
<br><div class="gmail_quote">2012/12/22 Валентин Бартенев <span dir="ltr"><<a href="mailto:vbart@nginx.com" target="_blank">vbart@nginx.com</a>></span><br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div>On Saturday 22 December 2012 05:54:17 Anton Kuznetsov wrote:<br>
> Спасибо, коллеги, меня точно заклинило на мемкеше. Прям смешно. :)<br>
> И тут мысль снова начала развиваться... "В пути файла можно использовать<br>
> переменные", а ведь нжинкс уже распарсил всю строчку на переменные? Т.е. я<br>
> могу писать в кучу файлов с именами сессий которые есть в параметрах? Хотя<br>
> что-то мне кажется что диск порвет. :( А так было бы хорошо все<br>
> разложить...<br>
><br>
<br>
</div>Не нужно писать в кучу файлов. Логи, путь к которым известен на этапе чтения<br>
конфигурации, nginx откроет на старте, и будет держать открытыми. Если путь<br>
задан с переменными, то на каждую запись лога нужно открыть файл, записать,<br>
закрыть. Кроме того, с динамическими логами нельзя использовать буферизацию, а<br>
соответственно и нельзя будет использовать gzip-сжатие на лету, поддержка<br>
которого ожидается в ближайшей версии.<br>
<div><div><br>
--<br>
Валентин Бартенев<br>
<a href="http://nginx.com/support.html" target="_blank">http://nginx.com/support.html</a><br>
<a href="http://nginx.org/en/donation.html" target="_blank">http://nginx.org/en/donation.html</a><br>
_______________________________________________<br>
nginx-ru mailing list<br>
<a href="mailto:nginx-ru@nginx.org" target="_blank">nginx-ru@nginx.org</a><br>
<a href="http://mailman.nginx.org/mailman/listinfo/nginx-ru" target="_blank">http://mailman.nginx.org/mailman/listinfo/nginx-ru</a></div></div></blockquote></div><br><br clear="all"><br></div></div><div class="HOEnZb"><div class="h5">
-- <br>Best regards,<br>Anton Kuznetsov.       
</div></div></blockquote></div><br><br clear="all"><br>-- <br>Best regards,<br>Anton Kuznetsov.