Re: Re[2]: Как лучше хранить логи

[serg]

сорр за оффтоп, но если уж спросили...

Изначально, спланк задумывался как
анализатор логов
Но сейчас он вылился в эдакий локальный
поисковик по своим индексам, которые
формируются на основе указанных
источников (в нашем случае - лог-файлов).
Хотя, некотоыре люди парсят им rss-ки,
почту, и вообще, его спектр
использования гораздо шире, чем
парсинг логов. Но я использую его
именно для просмотра и анализа
лог-файлов

Допустим у нас есть логи разных
источников: mysql 10 хостов, nginx 5 хостов,
apache 20 апликейшенов, и т.д.
спланк агрегирует логи и сохраняет их в
своем (своих) поисковых индексах (в
зависимости от настроек) и далее эти
логи можно просматривать либо все
сразу, либо по какому-то срезу
источников (по типу источника, по
перечню источников, по времени...)
можно делать контентный поиск,
сравнивать различные временные
отрезки, делать на основе этих данных
графики и диаграммы и даже строить
презентации реального времени (тут
придется слегка попрограммировать).
Формат каждого лог-файла можно
задавать отдельно, что оч. удобно, если
нам достался кастомизированный формат
лог-файлов.

Нужен нджинкс? ок. выбираем группу
источников nginx (или индекс, если мы
храним нджинксовские логи в отдельном
индексе) и вуаля - вот они все в одной
колбасе. Но смотреть N-мегабайт логов от
5 хостов нам не интересно. Поэтому, либо
сами делаем, либо качаем уже готовые
бесплатные (или платные, если у нас
энтерпрайз) аддоны (фильтры,
анализаторы, репортеры...) Либо, если нас
интересуют вполне конкретные
несложные выборки, можно наделать уже
готовых запросов с контентно-временной
выборкой и в один маусклик выводить их.

Довольно вкусная штука у спланка -
поддержка событий. Например, делаем
фильтр, который следит за, допустим, 500-й
ошибкой в пулле логов nginx-ов. Как только
событие случается, ставим, для примера,
отправку письма на тревожный ящик или
еще что-то...
Еще одна вкусность - им можно рулить (и
конфигурить) как из командной строки,
так и через хост - с помощью
POST-запросов.

На самом деле, splunk в этом не уникален -
есть куча других подобных приложений.
Однако, спланковцы поддерживают свою
базенку аддонов, да и самому их можно
создавать по мере необходимости.
Есть и минусы. Довольно неприятная
штука у спланка - свободная лицензия.
Когда заканчивается триальный период,
спланк становится
однопользовательским. Так же, наличие
новой версии характеризуется
появлением раздражающего сплеш-скрина
на дефолтной странице.
Кроме того, если колличество
источников велико и траффик по ним
довольно серьезный, лучше вынести его
на отдельный хост, т.к. он будет "слегка"
потреблять ресурсы железа. Да и индексы
требуют дискового пространства.
И дефолтная диаграмма событий сделана
на флеше...

Posted at Nginx Forum: http://forum.nginx.org/read.php?21,145066,145681#msg-145681