Forum Debian Users Gang

redelek · 2015-08-21 10:27:38

Witam,
Dostaliśmy wsparcie z UE, i na czas projektu 5 lat musimy przetrzymywać logi. Logi są z 6 fizycznych serwerów. Planujemy kupić drobbox lub dyski USB i na nich trzymać te dane.
Problem się zaczyna, że na serwerach jest ta sama nazwa pliku logów i jego archiwum. Czy można zmienić w jakiś prosty sposób by plik wyglądał nazwapliku_host_data.0 itd, czy ręcznie trzeba sprawdzić i zmienić ustawienia w pliku logrotate ? Jako że nie do końca projekt określał które logi mamy trzymać więc lepiej będę trzymał wszystko. Może ktoś z Was ma takie rozwiązanie i mógłby się podzielić.

Dzięki za wskazówkę

winnetou · 2015-08-21 11:47:55

logstash (tylko to na javie działa) - i wysyłanie logów na 1 maszynę, a tam sobie je dowolnie rotujesz, tniesz, pakujesz.
Można też bezpośrednio z sysloga puszczać logi na zewnętrzną maszynę tylko jest jeden problem (niestety znany z autopsji) - jak ci padnie połączenie między wysyłającym a zbierającym logi to jest niewesoło. Wysyłający zaczyna mulić, usługi zaczynają padać i nie chcą się podnieść ;]

Logstash wysyła logi ustalonymi porcjami a w momencie jak nie ma połączenia to sobie je zbiera dalej i wysyła jak tylko link wróci do życia.
Maszynka do zbierania logów zależna od tego ile tych logów masz ;]

Dla przykładu exim + apache obsługujące kilka tyś domen w ciągu 3-4h wysyłają około 10GB logów ;)

redelek · 2015-08-21 12:03:00

oki dziękuję za informację zaraz postawię i zobaczę jak to działa.

ethanak · 2015-08-21 12:39:46

inna propozycja:

1. skonfigurować porządnie logrotate (aby nadawał sensowne nazwy oraz wrzucał wszystkie archiwa do jednego katalogu - np /var/log/archive)

2. rotacja codzienna

3. po wykonaniu logrotate wchodzi sobie rsync z parametrem --no-delete (czy jakoś tak) i skrzętnie kopiuje nowości z archive na serwer zbierający logi

4. serwerem zbierającym może w tej sytuacji być dowolny z twoich serwerów (o ile nie masz tych logów jakieś straszne gigabajty a serwery są jakoś sensownie po sieci spięte) wyposażony w odpowiedni oddzielny dysk - w moim przypadku jest to serwer varnisha.

Zalety:
a) odporność na zerwanie połączenia lub pad maszyny zbierającej
b) niewielkie dodatkowe obciążenie serwerów
c) dostęp do ostatnich archiwów (zależnie od ustawień logrotate) bezpośrednio na każdym serwerze.
d) nie wymaga instalacji dodatkowego oprogramowania.

Wady:
jakie wady...

winnetou · 2015-08-21 15:02:52

można też i tak ;) Logstash ma jeszcze jedno fajne narzędzie o nazwie "elastic" - genialne przeszukiwanie logów (tylko zwraca to wyniki w nieprzyjemnym formacje jsona ;p) Ogólnie bardzo zacne narzędzie i przy wielu serwerach bardzo uprzyjemnia życie ;)

Jacekalex · 2015-08-21 19:27:54

Same Syslogi nie mogą pakować logów na zdalne maszyny?

Kiedy ostatnio widziałem Rsysloga, to tam była możliwość, żeby każdy komunikat wysyłał po tcp albo udp prosto do Komisji Europejskiej.

Rsync lub Rdiff-backup też można dowolnie oskrycpić i ożenić z Logrotate.

Ostatnio edytowany przez Jacekalex (2015-08-24 02:50:14)

lis6502 · 2015-08-22 00:19:33

Potwierdzam, ja po UDP'ie zbieram logi z 9ciu mikrotików do centralnego sysloga.
Bardziej lokalnie zrobiłbym to tak, że kupując najgłupszy dysk sieciowy, ma on lub można doinstalować obsługę NFS'a. Piszesz szkaradę w stylu
[tt]postrotate: mount /logi-backup 192.168.123.45:/zasob/gdzie -t nfs ;mv log /logi-backup/`uname -snm`-log;umount /logi-backup[/tt]
Nie wiem ile i z czego te logi masz (netflow, czysty tekst), w każdym razie najlepiej przejechać je XZ'em lub jeszcze lepiej lzma -9 gdzieś w nocy zeby nie generować obciążenia
i w 1TB zmieścisz się na te pięć lat. Pamiętaj tyllko by monitorować smarta i za 2.5 roku mieć fundusze na nowy hdd ;P

redelek · 2015-08-23 21:29:45

dzięki wszystkim, będę testował

Time (s)	Query
0.00015	SET CHARSET latin2
0.00007	SET NAMES latin2
0.00134	SELECT u., g., o.logged FROM punbb_users AS u INNER JOIN punbb_groups AS g ON u.group_id=g.g_id LEFT JOIN punbb_online AS o ON o.ident='3.147.68.39' WHERE u.id=1
0.00101	REPLACE INTO punbb_online (user_id, ident, logged) VALUES(1, '3.147.68.39', 1732775369)
0.00041	SELECT * FROM punbb_online WHERE logged<1732775070
0.00076	SELECT topic_id FROM punbb_posts WHERE id=289986
0.00106	SELECT id FROM punbb_posts WHERE topic_id=27664 ORDER BY posted
0.00070	SELECT t.subject, t.closed, t.num_replies, t.sticky, f.id AS forum_id, f.forum_name, f.moderators, fp.post_replies, 0 FROM punbb_topics AS t INNER JOIN punbb_forums AS f ON f.id=t.forum_id LEFT JOIN punbb_forum_perms AS fp ON (fp.forum_id=f.id AND fp.group_id=3) WHERE (fp.read_forum IS NULL OR fp.read_forum=1) AND t.id=27664 AND t.moved_to IS NULL
0.00005	SELECT search_for, replace_with FROM punbb_censoring
0.00081	SELECT u.email, u.title, u.url, u.location, u.use_avatar, u.signature, u.email_setting, u.num_posts, u.registered, u.admin_note, p.id, p.poster AS username, p.poster_id, p.poster_ip, p.poster_email, p.message, p.hide_smilies, p.posted, p.edited, p.edited_by, g.g_id, g.g_user_title, o.user_id AS is_online FROM punbb_posts AS p INNER JOIN punbb_users AS u ON u.id=p.poster_id INNER JOIN punbb_groups AS g ON g.g_id=u.group_id LEFT JOIN punbb_online AS o ON (o.user_id=u.id AND o.user_id!=1 AND o.idle=0) WHERE p.topic_id=27664 ORDER BY p.id LIMIT 0,25
0.00074	UPDATE punbb_topics SET num_views=num_views+1 WHERE id=27664
Total query time: 0.0071 s

Forum Debian Users Gang

Ogłoszenie

#1 2015-08-21 10:27:38

redelek - Członek DUG

Przechowywanie logów z kilku serwerów

#2 2015-08-21 11:47:55

winnetou - złodziej wirków ]:->

Re: Przechowywanie logów z kilku serwerów

#3 2015-08-21 12:03:00

redelek - Członek DUG

Re: Przechowywanie logów z kilku serwerów

#4 2015-08-21 12:39:46

ethanak - Użytkownik

Re: Przechowywanie logów z kilku serwerów

#5 2015-08-21 15:02:52

winnetou - złodziej wirków ]:->

Re: Przechowywanie logów z kilku serwerów

#6 2015-08-21 19:27:54

Jacekalex - Podobno człowiek...;)

Re: Przechowywanie logów z kilku serwerów

#7 2015-08-22 00:19:33

lis6502 - Łowca lamerów

Re: Przechowywanie logów z kilku serwerów

#8 2015-08-23 21:29:45

redelek - Członek DUG

Re: Przechowywanie logów z kilku serwerów

Stopka forum

Informacje debugowania