Nie jesteś zalogowany.
Jeśli nie posiadasz konta, zarejestruj je już teraz! Pozwoli Ci ono w pełni korzystać z naszego serwisu. Spamerom dziękujemy!
Ogłoszenie
Prosimy o pomoc dla małej Julki — przekaż 1% podatku na Fundacji Dzieciom zdazyć z Pomocą.
Więcej informacji na dug.net.pl/pomagamy/.
#1 2016-03-30 11:25:18
SamozwańczyKrólBasha - Lemur
- SamozwańczyKrólBasha
- Lemur
- Skąd: Wrocław
- Zarejestrowany: 2016-02-24
Rozwiązanie do backupów
Cześć
Ostatnio znacznie rozrosło mi się repozytorium, które backupuje i obecnie stosowane przezemnie rozwiązanie nie daje rady. Jest kiepsko skalowalne.
Chciałbym na nową macierz zbackupowac ok 20TB repozytorium, składające się z kilkunastu milionów małych plików gdzie każdy z nich zawiera w sobie po kilkadziesiąt linijek stringów. Chodzi mi o możliwie najlepszą kompresję i szybkość ewentualnego przywracania. Bez GUI. Fajnie gdyby potem była możliwość inkrementalnego backupu.
Czy macie może jakieś własne sprawdzone rozwiązanie do takiej operacji? Jakieś dobre praktyki? Nie koniecznie open source.
Ostatnio edytowany przez SamozwańczyKrólBasha (2016-03-30 11:32:09)
A teraz wzbudzę w was poczucie niższości. Zresztą uzasadnione :)
Offline
#2 2016-03-31 08:03:28
thalcave - 
prawie jak admin
- thalcave
- prawie jak admin
- Skąd: odległa galaktyka
- Zarejestrowany: 2007-05-17
Re: Rozwiązanie do backupów
Skrypt na bazie rsynca.
linux register user: 484281
"[i]It's great to be here. It's great to be anywhere[/i]"
[b]Keith Richards[/b]
Offline
#3 2016-03-31 08:39:11
guzzi - Członek DUG
- guzzi
- Członek DUG
- Skąd: Asteroida Linux
- Zarejestrowany: 2005-03-31
Re: Rozwiązanie do backupów
[quote=thalcave]Skrypt na bazie rsynca.[/quote]
lub rdiff-backup
Offline
#4 2016-03-31 09:11:08
SamozwańczyKrólBasha - Lemur
- SamozwańczyKrólBasha
- Lemur
- Skąd: Wrocław
- Zarejestrowany: 2016-02-24
Re: Rozwiązanie do backupów
@thalcave: Niby mam już coś takiego. Ale przy dziennym przyroście plików na poziomie 100-150GB trwa to trochę zbyt wolno. Cały wic polega na tym, że serwer podpięty do macierzy ma określony przedział czasu w którym może robić backup a tego czasu zaczyna brakować.
Ostatnio edytowany przez SamozwańczyKrólBasha (2016-03-31 09:11:46)
A teraz wzbudzę w was poczucie niższości. Zresztą uzasadnione :)
Offline
#5 2016-03-31 10:24:44
uzytkownikubunt - Zbanowany
- uzytkownikubunt
- Zbanowany
- Zarejestrowany: 2012-04-25
Re: Rozwiązanie do backupów
2894
Ostatnio edytowany przez uzytkownikubunt (2016-12-01 01:38:20)
Offline
#6 2016-03-31 15:28:55
thalcave - prawie jak admin
- thalcave
- prawie jak admin
- Skąd: odległa galaktyka
- Zarejestrowany: 2007-05-17
Re: Rozwiązanie do backupów
To może snapshot pomoże? Tworzysz snapshota i z niego robisz backup, po wszystkim snapshota można usunąć.
A przedział czasowy, w którym możesz robić backup znacznie się wydłuża.
linux register user: 484281
"[i]It's great to be here. It's great to be anywhere[/i]"
[b]Keith Richards[/b]
Offline
#7 2016-03-31 18:42:24
Jacekalex - Podobno człowiek...;)
- Jacekalex
- Podobno człowiek...;)
- Skąd: /dev/urandom
- Zarejestrowany: 2008-01-07
Re: Rozwiązanie do backupów
A może DRBD?
Czyli RAID1 przez tcp?
http://websecurity.pl/wprowadzenie-do-drbd/
https://help.ubuntu.com/lts/serverguide/drbd.html
Ostatnio edytowany przez Jacekalex (2016-03-31 18:44:18)
W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem para bellum ;) | Pozdrawiam :)
Offline
Informacje debugowania
| Time (s) | Query |
|---|---|
| 0.00010 | SET CHARSET latin2 |
| 0.00004 | SET NAMES latin2 |
| 0.00106 | SELECT u.*, g.*, o.logged FROM punbb_users AS u INNER JOIN punbb_groups AS g ON u.group_id=g.g_id LEFT JOIN punbb_online AS o ON o.ident='18.116.24.111' WHERE u.id=1 |
| 0.00083 | REPLACE INTO punbb_online (user_id, ident, logged) VALUES(1, '18.116.24.111', 1732367637) |
| 0.00061 | SELECT * FROM punbb_online WHERE logged<1732367337 |
| 0.00090 | DELETE FROM punbb_online WHERE ident='18.188.107.57' |
| 0.00077 | DELETE FROM punbb_online WHERE ident='18.191.9.9' |
| 0.00070 | DELETE FROM punbb_online WHERE ident='18.216.104.106' |
| 0.00063 | DELETE FROM punbb_online WHERE ident='18.227.0.57' |
| 0.00064 | DELETE FROM punbb_online WHERE ident='3.142.53.151' |
| 0.00066 | DELETE FROM punbb_online WHERE ident='3.17.179.132' |
| 0.00079 | SELECT topic_id FROM punbb_posts WHERE id=299967 |
| 0.00106 | SELECT id FROM punbb_posts WHERE topic_id=28468 ORDER BY posted |
| 0.00081 | SELECT t.subject, t.closed, t.num_replies, t.sticky, f.id AS forum_id, f.forum_name, f.moderators, fp.post_replies, 0 FROM punbb_topics AS t INNER JOIN punbb_forums AS f ON f.id=t.forum_id LEFT JOIN punbb_forum_perms AS fp ON (fp.forum_id=f.id AND fp.group_id=3) WHERE (fp.read_forum IS NULL OR fp.read_forum=1) AND t.id=28468 AND t.moved_to IS NULL |
| 0.00005 | SELECT search_for, replace_with FROM punbb_censoring |
| 0.00079 | SELECT u.email, u.title, u.url, u.location, u.use_avatar, u.signature, u.email_setting, u.num_posts, u.registered, u.admin_note, p.id, p.poster AS username, p.poster_id, p.poster_ip, p.poster_email, p.message, p.hide_smilies, p.posted, p.edited, p.edited_by, g.g_id, g.g_user_title, o.user_id AS is_online FROM punbb_posts AS p INNER JOIN punbb_users AS u ON u.id=p.poster_id INNER JOIN punbb_groups AS g ON g.g_id=u.group_id LEFT JOIN punbb_online AS o ON (o.user_id=u.id AND o.user_id!=1 AND o.idle=0) WHERE p.topic_id=28468 ORDER BY p.id LIMIT 0,25 |
| 0.00080 | UPDATE punbb_topics SET num_views=num_views+1 WHERE id=28468 |
| Total query time: 0.01124 s | |