Forum Debian Users Gang

redelek · 2013-01-16 09:34:56

Witam,

Mam taki mały dylemat. Muszę z 12 serwerów zbierać logi, najlepiej każdy do oddzielnego folderu (o takiej nazwie jak serwer). Logi pochodzą z aplikacji wewnętrznej , która sama w sobie ma folder log oraz apache tomcat, apache2, i postgresql. Z tych aplikacji muszę zbierać logi, taki prikaz. Żeby za bardzo nie kombinować myślałem o rsync, żeby pobierał pliki *.0-9.gz bo tak najczęściej te aplikacje robią. Niby wszystko super i prawie to rozwiązałem, ale mam problem żeby skasować te które zostały zgrane z serwera. Chodzi mi o to czy rsync po wykonaniu synchronizacji potrafi kasować pliki z serwera źródłowego ? Szukałem i czytałem o opcji --delete, ale jakoś mi to nie wychodzi.
Macie może pomysł jak zgrywać logi z tylu serwerów ?

Dzięki
redelek

Jacekalex · 2013-01-16 10:18:24

rsync przy opcji delete robi dokładną kopię lustrzaną folderu.
Wywala wtedy w docelowym to, czego nie ma w źródłowym.

Ja bym raczej celował z czym się da w sysloga, żeby wysyłał na serwer logów.
Wtedy od razu mogą lądować w bazie danych, mogą być obrabiane regexami, czy przez failbana czy coś podobnego.
I przede wszystkim są składowane od razu na serwerze logów bez żadnych rsynców.
Da się to oskrycpić, żeby samo conieco robiło w razie czego.
I przede wszystkim da się nad tym zapanować, z 12 maszyn logów będą całe tony.
A jeśli w logu masz nazwę hosta i programu, to w rsyslogu zbieranie takich informacji jest dość proste.

Przykład:
http://www.rsyslog.com/doc/rsyslog_conf_filter.html

Pozdrawiam
;-)

Ostatnio edytowany przez Jacekalex (2013-01-16 10:29:31)

redelek · 2013-01-16 10:55:23

Obawiam się właśnie pojemności bazy danych, ta wewnętrzna aplikacja wiecznie jakimiś WRNING lub ERROR pluje, a programiści to poprawiają, obawiam się że, baza pęknie :)
Poczytam o syslog i mysql, może kotś z Państwa ma inne pomysły ?

Dzięki
Redelek

Jacekalex · 2013-01-16 12:43:42

Zainteresuj się serwerem Mariadb - to fork Mysqla - który ma sporo rzeczy z serii entrprise.
Między innymi flagi big-tables i max-idx-128.
Standardowo Mysql miał limit 64GB na tabelę, ale to oczywiście teoria,
te flagi mają dać efekt bardziej profesjonalnego serwera, co nie zmienia faktu, że na moim kompie, przy tabeli z 390tys rekordów jeden select w phpmyadminie trwał około minuty.

Mysql miał jakąś ocję funkcjonowania bezpośrednio na partycjach raid, z szczegółów wnie znam, ale w dokumentacji costam jest na ten temat.
W kazdym razie, czy potem czegos szukasz w bazie, czy w setkach plików grepem, to wielka różnica bynajmniej nie jest.
Wysarczy, zeby była np jedna baza na tydzień, i jedna tabela na dzień dla hosta i usługi, a hosto i usługa (program) wyregeksujesz w konfigu sysloga.

Do tego jest fajny skrypt php do przeglądania logów online.

Byle sensownie rozdzielić te logi, żeby nie ładować wszystkiego do jednej tabeli, podobnie, jak w /var/log logrotate roluje pliki z logami.

Wiec musiz to dopasować do liczby rzeczywiście generowanych logów,
I nie upieram się przy Mysql, moze Postgres lepiej da radę, niech się wypowie ktoś, kto takie rzeczy robił na Postgresie.

I najlepiej, żeby do baz czy logów trafiały posortowane i odpowiednio wyczesane regexem dane, a nie cały śmietnik, jaki ląduje normalnie w syslogu.

Względnie rsync wywoływany najlepiej automatycznie przez logrotate, i kopiuje do folderu np /{serwer}/miesiąc/dzień/program/.
Coś takiego można zrobić bez rsynca, samym kopiowaniem.
Albo strzelić z armaty do wróbla, i postawić na te logi serwer git lub svn. :DDD

Reasumując, masz głowę i chu*, to kombinuj. ;)

Pozdrawiam
;-)

Ostatnio edytowany przez Jacekalex (2013-01-16 12:44:06)

redelek · 2013-01-16 14:01:08

oki podziękował pomyślę i pokombinuję

Time (s)	Query
0.00011	SET CHARSET latin2
0.00004	SET NAMES latin2
0.00107	SELECT u., g., o.logged FROM punbb_users AS u INNER JOIN punbb_groups AS g ON u.group_id=g.g_id LEFT JOIN punbb_online AS o ON o.ident='18.226.185.196' WHERE u.id=1
0.00060	REPLACE INTO punbb_online (user_id, ident, logged) VALUES(1, '18.226.185.196', 1728329952)
0.00050	SELECT * FROM punbb_online WHERE logged<1728329652
0.00066	SELECT topic_id FROM punbb_posts WHERE id=221054
0.00071	SELECT id FROM punbb_posts WHERE topic_id=22727 ORDER BY posted
0.00053	SELECT t.subject, t.closed, t.num_replies, t.sticky, f.id AS forum_id, f.forum_name, f.moderators, fp.post_replies, 0 FROM punbb_topics AS t INNER JOIN punbb_forums AS f ON f.id=t.forum_id LEFT JOIN punbb_forum_perms AS fp ON (fp.forum_id=f.id AND fp.group_id=3) WHERE (fp.read_forum IS NULL OR fp.read_forum=1) AND t.id=22727 AND t.moved_to IS NULL
0.00006	SELECT search_for, replace_with FROM punbb_censoring
0.00074	SELECT u.email, u.title, u.url, u.location, u.use_avatar, u.signature, u.email_setting, u.num_posts, u.registered, u.admin_note, p.id, p.poster AS username, p.poster_id, p.poster_ip, p.poster_email, p.message, p.hide_smilies, p.posted, p.edited, p.edited_by, g.g_id, g.g_user_title, o.user_id AS is_online FROM punbb_posts AS p INNER JOIN punbb_users AS u ON u.id=p.poster_id INNER JOIN punbb_groups AS g ON g.g_id=u.group_id LEFT JOIN punbb_online AS o ON (o.user_id=u.id AND o.user_id!=1 AND o.idle=0) WHERE p.topic_id=22727 ORDER BY p.id LIMIT 0,25
0.00080	UPDATE punbb_topics SET num_views=num_views+1 WHERE id=22727
Total query time: 0.00582 s

Forum Debian Users Gang

Ogłoszenie

#1 2013-01-16 09:34:56

redelek - Członek DUG

Rsync i kasowanie plików

#2 2013-01-16 10:18:24

Jacekalex - Podobno człowiek...;)

Re: Rsync i kasowanie plików

#3 2013-01-16 10:55:23

redelek - Członek DUG

Re: Rsync i kasowanie plików

#4 2013-01-16 12:43:42

Jacekalex - Podobno człowiek...;)

Re: Rsync i kasowanie plików

#5 2013-01-16 14:01:08

redelek - Członek DUG

Re: Rsync i kasowanie plików

Stopka forum

Informacje debugowania