Nie jesteś zalogowany.
Jeśli nie posiadasz konta, zarejestruj je już teraz! Pozwoli Ci ono w pełni korzystać z naszego serwisu. Spamerom dziękujemy!
Prosimy o pomoc dla małej Julki — przekaż 1% podatku na Fundacji Dzieciom zdazyć z Pomocą.
Więcej informacji na dug.net.pl/pomagamy/.
Witam,
Mam taki mały dylemat. Muszę z 12 serwerów zbierać logi, najlepiej każdy do oddzielnego folderu (o takiej nazwie jak serwer). Logi pochodzą z aplikacji wewnętrznej , która sama w sobie ma folder log oraz apache tomcat, apache2, i postgresql. Z tych aplikacji muszę zbierać logi, taki prikaz. Żeby za bardzo nie kombinować myślałem o rsync, żeby pobierał pliki *.0-9.gz bo tak najczęściej te aplikacje robią. Niby wszystko super i prawie to rozwiązałem, ale mam problem żeby skasować te które zostały zgrane z serwera. Chodzi mi o to czy rsync po wykonaniu synchronizacji potrafi kasować pliki z serwera źródłowego ? Szukałem i czytałem o opcji --delete, ale jakoś mi to nie wychodzi.
Macie może pomysł jak zgrywać logi z tylu serwerów ?
Dzięki
redelek
Offline
rsync przy opcji delete robi dokładną kopię lustrzaną folderu.
Wywala wtedy w docelowym to, czego nie ma w źródłowym.
Ja bym raczej celował z czym się da w sysloga, żeby wysyłał na serwer logów.
Wtedy od razu mogą lądować w bazie danych, mogą być obrabiane regexami, czy przez failbana czy coś podobnego.
I przede wszystkim są składowane od razu na serwerze logów bez żadnych rsynców.
Da się to oskrycpić, żeby samo conieco robiło w razie czego.
I przede wszystkim da się nad tym zapanować, z 12 maszyn logów będą całe tony.
A jeśli w logu masz nazwę hosta i programu, to w rsyslogu zbieranie takich informacji jest dość proste.
Przykład:
http://www.rsyslog.com/doc/rsyslog_conf_filter.html
Pozdrawiam
;-)
Ostatnio edytowany przez Jacekalex (2013-01-16 10:29:31)
Offline
Obawiam się właśnie pojemności bazy danych, ta wewnętrzna aplikacja wiecznie jakimiś WRNING lub ERROR pluje, a programiści to poprawiają, obawiam się że, baza pęknie :)
Poczytam o syslog i mysql, może kotś z Państwa ma inne pomysły ?
Dzięki
Redelek
Offline
Zainteresuj się serwerem Mariadb - to fork Mysqla - który ma sporo rzeczy z serii entrprise.
Między innymi flagi big-tables i max-idx-128.
Standardowo Mysql miał limit 64GB na tabelę, ale to oczywiście teoria,
te flagi mają dać efekt bardziej profesjonalnego serwera, co nie zmienia faktu, że na moim kompie, przy tabeli z 390tys rekordów jeden select w phpmyadminie trwał około minuty.
Mysql miał jakąś ocję funkcjonowania bezpośrednio na partycjach raid, z szczegółów wnie znam, ale w dokumentacji costam jest na ten temat.
W kazdym razie, czy potem czegos szukasz w bazie, czy w setkach plików grepem, to wielka różnica bynajmniej nie jest.
Wysarczy, zeby była np jedna baza na tydzień, i jedna tabela na dzień dla hosta i usługi, a hosto i usługa (program) wyregeksujesz w konfigu sysloga.
Do tego jest fajny skrypt php do przeglądania logów online.
Byle sensownie rozdzielić te logi, żeby nie ładować wszystkiego do jednej tabeli, podobnie, jak w /var/log logrotate roluje pliki z logami.
Wiec musiz to dopasować do liczby rzeczywiście generowanych logów,
I nie upieram się przy Mysql, moze Postgres lepiej da radę, niech się wypowie ktoś, kto takie rzeczy robił na Postgresie.
I najlepiej, żeby do baz czy logów trafiały posortowane i odpowiednio wyczesane regexem dane, a nie cały śmietnik, jaki ląduje normalnie w syslogu.
Względnie rsync wywoływany najlepiej automatycznie przez logrotate, i kopiuje do folderu np /{serwer}/miesiąc/dzień/program/.
Coś takiego można zrobić bez rsynca, samym kopiowaniem.
Albo strzelić z armaty do wróbla, i postawić na te logi serwer git lub svn. :DDD
Reasumując, masz głowę i chu*, to kombinuj. ;)
Pozdrawiam
;-)
Ostatnio edytowany przez Jacekalex (2013-01-16 12:44:06)
Offline
oki podziękował pomyślę i pokombinuję
Offline
Time (s) | Query |
---|---|
0.00009 | SET CHARSET latin2 |
0.00005 | SET NAMES latin2 |
0.00091 | SELECT u.*, g.*, o.logged FROM punbb_users AS u INNER JOIN punbb_groups AS g ON u.group_id=g.g_id LEFT JOIN punbb_online AS o ON o.ident='18.188.211.106' WHERE u.id=1 |
0.00067 | REPLACE INTO punbb_online (user_id, ident, logged) VALUES(1, '18.188.211.106', 1728321844) |
0.00044 | SELECT * FROM punbb_online WHERE logged<1728321544 |
0.00052 | SELECT t.subject, t.closed, t.num_replies, t.sticky, f.id AS forum_id, f.forum_name, f.moderators, fp.post_replies, 0 FROM punbb_topics AS t INNER JOIN punbb_forums AS f ON f.id=t.forum_id LEFT JOIN punbb_forum_perms AS fp ON (fp.forum_id=f.id AND fp.group_id=3) WHERE (fp.read_forum IS NULL OR fp.read_forum=1) AND t.id=22727 AND t.moved_to IS NULL |
0.00005 | SELECT search_for, replace_with FROM punbb_censoring |
0.00127 | SELECT u.email, u.title, u.url, u.location, u.use_avatar, u.signature, u.email_setting, u.num_posts, u.registered, u.admin_note, p.id, p.poster AS username, p.poster_id, p.poster_ip, p.poster_email, p.message, p.hide_smilies, p.posted, p.edited, p.edited_by, g.g_id, g.g_user_title, o.user_id AS is_online FROM punbb_posts AS p INNER JOIN punbb_users AS u ON u.id=p.poster_id INNER JOIN punbb_groups AS g ON g.g_id=u.group_id LEFT JOIN punbb_online AS o ON (o.user_id=u.id AND o.user_id!=1 AND o.idle=0) WHERE p.topic_id=22727 ORDER BY p.id LIMIT 0,25 |
0.00077 | UPDATE punbb_topics SET num_views=num_views+1 WHERE id=22727 |
Total query time: 0.00477 s |