Forum Debian Users Gang

sqrtek · 2017-02-22 19:54:05

Hej,

Zastanawiałem się jak rozwiązać kwestię backupu baz danych mysql. Sytuacja jest taka że w tej chwili mam 2 serwery, jeden ma mysql mastera, drugi slave'a. Myślałem żeby dorobić 3 serwer, oraz aby master wysyłał dane do dwóch slave'ów, jeden z nich by w nocy się zatrzymywał i wykonywał backup logiczny lub binarny na Baculę. Baza waży ok 130GB. Co o tym sądzicie ? macie jeszcze jakieś inne pomysły ?

Ostatnio edytowany przez sqrtek (2017-02-22 19:55:03)

Jacekalex · 2017-02-22 21:04:00

Jedna baza na 130GB, czy serwer trzyma bazy o łącznej pojemności 130GB?

Czy może chodziło o megabajty? ;)

Na wypadek awarii sprzętu niezła jest replikacja (awarii sprzętu zreplikować serwer nie może :D), natomiast do szybkiego backupu mysql-hotcopy.

Mysqldump też jest bardzo dobrym narzędziem, ale bazę 130GB będzie obrabiał chyba trochę za długo, co wydatnie zwiększa ryzyko błędu.
Jeżeli to kilka baz, to bym celował w bardziej rozbudowany skrypt robiący mniej więcej coś takiego:

Kod:

mysql -u root -phasełko -e "show databases" |sort | uniq | while read baza; do mysqldump {opcje} ${baza} >/gdzie/ma/być/${baza}.sql; done;

Pozdro

sqrtek · 2017-02-23 00:48:20

raczej łączna ilość baz na serwerze zajmuje 130GB :) .

a co powiecie o rozwiązaniach w stylu Galera / MySQL / Percona Cluster ? bo w sumie zastanawiam się jakby to działało na produkcji.

Gdyby nie to że jest tam również wykorzystywany silnik myisam, to pewnie wykorzystałbym coś w tym stylu : https://www.percona.com/doc/percona-xtrabackup/2.1/innobackupex/creating_a_backup_ibk.html, bez wyłączania baz mastera, idealne rozwiązanie się wydaje.

drag_op · 2017-02-23 22:49:41

Możę mysql fabric Cię zainteresuje?
Fakt, w ostatniej wersji przenieśli do MysqlEnterprise i stał się częścią płatnych dodatków.
Ale m.in. pozwala ładnie slave na master przełączać automagicznie bez żadnej straty dla klienta.

sqrtek · 2017-02-27 04:38:16

Hmm czy te rozwiązanie Mysql fabric nadaje się do produkcyjnego środowiska ? chyba będę musiał zrobić testy tego ale wydaje się podobnym rozwiązanie jak np. Galera Cluster itd.

mfm · 2017-02-27 08:40:05

W takich przypadkach FreeBSD z ZFS pokazuje swoją wyższość nad innymi rozwiązaniami :)

https://dev.mysql.com/doc/refman/5.7/en/ha-zfs-replication.html

Jacekalex · 2017-02-27 17:48:07

[quote=mfm]W takich przypadkach FreeBSD z ZFS pokazuje swoją wyższość nad innymi rozwiązaniami :)

https://dev.mysql.com/doc/refman/5.7/en/ha-zfs-replication.html[/quote]
Innymi powiadasz?

Ja bym wolał OpenBSD z ZFS, inne, ale moim zdaniem lepsze od FreeBSD rozwiązanie.

Mysql z resztą na każdym systemie będzie chodził szybciej na partycji ZFS,
bo do pracy w Solarisie został stworzony.

Swoja drogą ciekawe, o ile lepiej się sprawdzi Twój FreeBSD na ZFS od [url=https://www.openindiana.org/overview/home/]Openindiany[/url]. xD

mfm · 2017-02-27 19:26:01

[quote=Jacekalex]Ja bym wolał OpenBSD z ZFS, inne, ale moim zdaniem lepsze od FreeBSD rozwiązanie.[/quote]
Od paru dni mam na laptopie zainstalowanego OpenBSD-current i jestem pod ponownym dużym wrażeniem względem tego systemu.

Mam nawet w planach dłuższą przesiadkę.

[quote=Jacekalex]Mysql z resztą na każdym systemie będzie chodził szybciej na partycji ZFS,
bo do pracy w Solarisie został stworzony.

Swoja drogą ciekawe, o ile lepiej się sprawdzi Twój FreeBSD na ZFS od [url=https://www.openindiana.org/overview/home/]Openindiany[/url]. xD[/quote]
Tego nie wiem, bo nie robiłem testów?

Instalowanie Openindiany w produkcji, gdzie środowisko devów jest na tyle skurczone, iż nie realizują stabilnych wersji systemu - a ich model dystrybucji jak w Archu to rolling-release, określony przez nich mianem... HIPSTER [wtf?]... no nie wiem czy to dobra odskocznia od grubasa o nazwie FreeBSD, który choć ma swoje wady raczej jest przewidywalny... wręcz do bólu, toczy się wolno ;)

Na koniec masz spore prawdopodobieństwo, że za 5 lat - podobnie jak CentOS - FreeBSD będzie dalej istniał... gwarancji na Openindiana raczej nikt Tobie nie da.

Jacekalex · 2017-02-28 03:55:25

Na koniec masz spore prawdopodobieństwo, że za 5 lat - podobnie jak CentOS - FreeBSD będzie dalej istniał... gwarancji na Openindiana raczej nikt Tobie nie da.[/quote]
Środowisko OpenSolarisa raczej będzie istniało jeszcze przez wiele lat.

Nazwa OpenIndiana to jest spadek po prawnikach Oracle, którzy się przyczepili do nazwy OpenSolaris, bo tak się kiedyś ten system nazywał.

Z resztą definicja produkcji jest bardzo umowna, w Polsce często nie ma produkcji bez faktury na system, co zawęża horyzont do Windowsa, RH i SLES.

Ja osobiście bym się nie obawiał, tylko postawił obok siebie OpenIndianę i OpenBSD,
i ustawił replikację baz między nimi.
W ten sposób miałbym pewność, że jak jeden serwer lub system zdechnie,
to zawsze baza chodzi na drugim.

Poza tym serwera SQL nie wystawia się do netu bez powodu, także nie ma problemu, jak się czasem jakaś aktualizacja spóźni.

Obecnie środowisko devów OpenIndiany i innych klonów Open Solarisa jest trochę większe, niż środowisko devów OpenBSD, a mnie i tak bardziej interesuje jakość supportu a nie ilość deweloperów, którzy zajmują się portowaniem sterowników z Linuxa.

Co się tyczy naszych ukochanych polskich klientów, to chyba tylko Home siedzi na FreeBSD, reszta najczęściej na Linuxie.
w mniejszych firmach 10% kierowników wie o istnieniu Ubuntu, 3% o istnieniu Debiana, reszta pyta, która wersja Windowsa będzie najlepsza.... xD

Ostatnio edytowany przez Jacekalex (2017-02-28 20:47:31)

W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem para bellum ;) | Pozdrawiam :)

Time (s)	Query
0.00012	SET CHARSET latin2
0.00008	SET NAMES latin2
0.00169	SELECT u., g., o.logged FROM punbb_users AS u INNER JOIN punbb_groups AS g ON u.group_id=g.g_id LEFT JOIN punbb_online AS o ON o.ident='3.133.152.26' WHERE u.id=1
0.00084	REPLACE INTO punbb_online (user_id, ident, logged) VALUES(1, '3.133.152.26', 1732820409)
0.00067	SELECT * FROM punbb_online WHERE logged<1732820109
0.00324	DELETE FROM punbb_online WHERE ident='185.191.171.7'
0.00073	DELETE FROM punbb_online WHERE ident='54.36.149.91'
0.00064	SELECT topic_id FROM punbb_posts WHERE id=309013
0.00006	SELECT id FROM punbb_posts WHERE topic_id=29383 ORDER BY posted
0.00071	SELECT t.subject, t.closed, t.num_replies, t.sticky, f.id AS forum_id, f.forum_name, f.moderators, fp.post_replies, 0 FROM punbb_topics AS t INNER JOIN punbb_forums AS f ON f.id=t.forum_id LEFT JOIN punbb_forum_perms AS fp ON (fp.forum_id=f.id AND fp.group_id=3) WHERE (fp.read_forum IS NULL OR fp.read_forum=1) AND t.id=29383 AND t.moved_to IS NULL
0.00009	SELECT search_for, replace_with FROM punbb_censoring
0.00324	SELECT u.email, u.title, u.url, u.location, u.use_avatar, u.signature, u.email_setting, u.num_posts, u.registered, u.admin_note, p.id, p.poster AS username, p.poster_id, p.poster_ip, p.poster_email, p.message, p.hide_smilies, p.posted, p.edited, p.edited_by, g.g_id, g.g_user_title, o.user_id AS is_online FROM punbb_posts AS p INNER JOIN punbb_users AS u ON u.id=p.poster_id INNER JOIN punbb_groups AS g ON g.g_id=u.group_id LEFT JOIN punbb_online AS o ON (o.user_id=u.id AND o.user_id!=1 AND o.idle=0) WHERE p.topic_id=29383 ORDER BY p.id LIMIT 0,25
0.00095	UPDATE punbb_topics SET num_views=num_views+1 WHERE id=29383
Total query time: 0.01306 s

Forum Debian Users Gang

Ogłoszenie

#1 2017-02-22 19:54:05

sqrtek - Użytkownik

Backup baz mysql

#2 2017-02-22 21:04:00

Jacekalex - Podobno człowiek...;)

Re: Backup baz mysql

Kod:

#3 2017-02-23 00:48:20

sqrtek - Użytkownik

Re: Backup baz mysql

#4 2017-02-23 22:49:41

drag_op - Użytkownik

Re: Backup baz mysql

#5 2017-02-27 04:38:16

sqrtek - Użytkownik

Re: Backup baz mysql

#6 2017-02-27 08:40:05

mfm - Użytkownik

Re: Backup baz mysql

#7 2017-02-27 17:48:07

Jacekalex - Podobno człowiek...;)

Re: Backup baz mysql

#8 2017-02-27 19:26:01

mfm - Użytkownik

Re: Backup baz mysql

#9 2017-02-28 03:55:25

Jacekalex - Podobno człowiek...;)

Re: Backup baz mysql

#10 2017-02-28 09:11:41

mfm - Użytkownik

Re: Backup baz mysql

#11 2017-02-28 18:15:42

Jacekalex - Podobno człowiek...;)

Re: Backup baz mysql

#12 2017-02-28 20:36:09

sqrtek - Użytkownik

Re: Backup baz mysql

#13 2017-02-28 20:55:15

Jacekalex - Podobno człowiek...;)

Re: Backup baz mysql

#14 2017-03-01 07:14:13

mfm - Użytkownik

Re: Backup baz mysql

#15 2017-03-01 18:26:33

Jacekalex - Podobno człowiek...;)

Re: Backup baz mysql

#16 2017-03-02 12:13:15

mfm - Użytkownik

Re: Backup baz mysql

#17 2017-03-02 18:12:42

Jacekalex - Podobno człowiek...;)

Re: Backup baz mysql

#18 2017-03-02 19:32:21

mfm - Użytkownik

Re: Backup baz mysql

Stopka forum

Informacje debugowania