Temat: Zapisywanie logów NginX/Apache/Lighttpd do bazy danych

Witam,

szukam rozwiązania które pozwoli mi na zapisywanie logów popularnych serwerów http do bazy danych. W tym momencie wszystkie wymienione w temacie serwery komunikują się z usługą rsyslog, wysyłając do niej wszystkie logi dostępu. Rsyslog jest skonfigurowany tak, aby wszystkie logi pochodzące od serwerów http zapisywał w osobnej bazie danych. Na potrzeby monitoringu i statystyk potrzebuję jednak, aby logi były odpowiednio sformatowane.

Grzebałem sporo w sieci i nie znalazłem żadnych informacji o tym, czy rsyslog potrafi parsować treść otrzymanej wiadomości, aby wydobyć z niej odpowiednie informacje by następnie wrzucić je już sformatowane do bazy danych. Takie rozwiązanie byłoby chyba najwygodniejsze, nie musiałbym ani skrobać, ani instalować następnej aplikacji. Co polecacie w tej kwestii? Duże znaczenie ma dla mnie krótki czas reakcji, tj. aby logi pojawiały się w bazie tak szybko jak to możliwe, chciałbym także uniknąć konieczności odpytywania bazy rsyslog, wydobywania z niej logów serwera by następnie znowu je do bazy wrzucić, bo jest to zupełnie zbędny narzut.

Temat: Zapisywanie logów NginX/Apache/Lighttpd do bazy danych

Poszukaj na temat strukturyzowania logów:
zainteresuj się http://fluentd.org/

co do logowania to zerknij do tej dyskusji:
http://www.goldenline.pl/forum/2937032/centralny-serwe...

Zapisywanie "tak szybko jak to możliwe" prowadzi do dużego obciążenia operacjami IO więc warto to zoptymalizować.

Zapoznaj sie też z krytyką strukturyzowania logów:
http://carolina.mff.cuni.cz/~trmac/blog/2011/structure...Michał Panasiewicz edytował(a) ten post dnia 29.04.13 o godzinie 15:26

Temat: Zapisywanie logów NginX/Apache/Lighttpd do bazy danych

Słowa kluczowe: syslog-ng, db-parser(), sql() destination driver.
HTH.

Temat: Zapisywanie logów NginX/Apache/Lighttpd do bazy danych

Jakub J.:
Słowa kluczowe: syslog-ng, db-parser(), sql() destination driver.
HTH.

Syslog-ng (wersja open) nie jest zbyt dobrym rozwiązaniem obecnie w porównaniu do rsyslog-aMichał Panasiewicz edytował(a) ten post dnia 29.04.13 o godzinie 22:58

Temat: Zapisywanie logów NginX/Apache/Lighttpd do bazy danych

Michał P.:
Syslog-ng (wersja open) nie jest zbyt dobrym rozwiązaniem obecnie w porównaniu do rsyslog-a

A Mercedes (wersja nie-AMG) nie jest zbyt dobrym rozwiązaniem obecnie w porównaniu do BMW. Mniej więcej tyle samo Twoja wypowiedź wniosła do dyskusji. ;-)

PS. "rsysloga", bez dywizu.