Nie jesteś zalogowany.
Jeśli nie posiadasz konta, zarejestruj je już teraz! Pozwoli Ci ono w pełni korzystać z naszego serwisu. Spamerom dziękujemy!
Ogłoszenie
Prosimy o pomoc dla małej Julki — przekaż 1% podatku na Fundacji Dzieciom zdazyć z Pomocą.
Więcej informacji na dug.net.pl/pomagamy/.
#1 2014-10-09 09:49:54
ukasz - 
Użytkownik
- ukasz
- Użytkownik
- Skąd: wroclaw
- Zarejestrowany: 2006-06-21
serwer modularny. shared LUN
Cześć
Mam pod opieką serwer [url=http://ark.intel.com/pl/products/48247/Intel-Modular-Server-Chassis-MFSYS25]Intel-Modular-Server-Chassis-MFSYS25[/url]. Pierwszy raz spotkałem się z takim rozwiązaniem jakim jest "shared LUN". Obecnie są zainstalowane 2 moduły z kompami. Są zainstalowane na nich ESXi. Proces backupowania na ESXi jest ..... "ciężki" bez dedykowanych płatnych narzędzi. Odpaliłem kompa z 4x 2TB dyskami i 16GB RAM-u i postawiłem na nim FreeNAS i ZFS. Z ZFS-a jestem bardzo zadowolony. Chce postawić zamiast ESXi KVM-a. No i tu się zastanawiam. Czy postawić:
* zfs-a na linuxie + vdev-y (nie jestem do końca przekonany o stabilności działania)
* lvm-a (w wersji stabilnej debiana nie ma thin provisioningu)
* obrazy qcow i robic snapshot-y
Zastosowanie ZFS-a ułatwi mi praktycznie każde zadanie. Nie wiem czy dobrym pomysłem jest stawianie ZFS-a na takim czymś jak "shared LUN". Snapshot, zsf send i receive. LVM wygodę ale nie ma thin provisioningu no i po zrobieniu snapshota trzeba cale dane z urzadzenia blokowego wyslac razem z "zerami". Obrazy qcow dadzą mi snapshoty różnicowe.
Co wy o tym myślicie ?
[img]http://wiblo.pl/wilk/userbars/debian_user_black.png[/img]
Offline
#2 2014-10-09 14:01:20
qluk - Pan inż. Cyc
- qluk
- Pan inż. Cyc
- Skąd: Katowice
- Zarejestrowany: 2006-05-22
Re: serwer modularny. shared LUN
Czy dobrze to widzę jako serwer ostrzowy (blade) posiadający zintegrowana macierz dyskową?
Offline
#3 2014-10-09 14:10:03
ukasz - Użytkownik
- ukasz
- Użytkownik
- Skąd: wroclaw
- Zarejestrowany: 2006-06-21
Re: serwer modularny. shared LUN
Tak. Dobrze widzisz.
[img]http://wiblo.pl/wilk/userbars/debian_user_black.png[/img]
Offline
#4 2014-10-09 21:59:34
qluk - Pan inż. Cyc
- qluk
- Pan inż. Cyc
- Skąd: Katowice
- Zarejestrowany: 2006-05-22
Re: serwer modularny. shared LUN
No to nie widze problemu, przydzielasz zasoby (LUN) do odpowiednich serwerów i pracujesz jak z normalnym lokalnym zasobem tyle że w razie czegos można go przełączyć. Większych udziwnien bym raczej nie robił :)
Co do backupu to zależy co chcesz kopiować i w jakiej warstwie.
Offline
#5 2014-10-10 10:25:24
ukasz - Użytkownik
- ukasz
- Użytkownik
- Skąd: wroclaw
- Zarejestrowany: 2006-06-21
Re: serwer modularny. shared LUN
Obecnie jest zrobiony RAID5 i obie maszyny korzystają jednocześnie z tych samych zasobów. Zdziwiony byłem jak to zobaczyłem, ale działa. Myślałem żeby zrobić jeden system plików który będzie współdzielony pomiędzy maszynami ale kurcze mam obawy czy to będzie działać stabilnie.
Co do backupów to chcę robić snapshoty całych maszyn i wysyłać różnicę na zdalnego kompa z ZFS-em. Nie chcę wnikać w to co jest na tych maszynach. Bynajmniej na razie.
Ostatnio edytowany przez ukasz (2014-10-10 10:26:47)
[img]http://wiblo.pl/wilk/userbars/debian_user_black.png[/img]
Offline
#6 2014-10-10 12:14:41
qluk - Pan inż. Cyc
- qluk
- Pan inż. Cyc
- Skąd: Katowice
- Zarejestrowany: 2006-05-22
Re: serwer modularny. shared LUN
Same współdzielone LUNy to nie wszystko, jeśli każdy z podpiętych pod LUN systemów może pisać do niego to potrzebujesz klastrowego systemu plików. Czasem jest tak że tylko jeden host może pisać do LUN'a i wtedy jest to dobre w konfiguracjach Failover active-standby. Awaryjnie jesli nie rekonfiguracja z jakiegoś powodu nie wchodzi w grę, a współdzielone LUN'y są zbędne to trzeba pobawić się partycjonowaniem.
To musi być więc pełna migawka a nie różnicowa, bo przywracanie różnicówek jest męczące choć sam proces oszczędza pasmo.
ESXi to w sumie KVM ;)
Nie rozumie do końca o co chodzi z wyborem ZFS, LVM, qcow.
PS.
Chyba raczej "przynajmniej na razie", bynajmniej można traktować jako "wcale nie". :)
Offline
#7 2014-10-10 12:30:31
ukasz - Użytkownik
- ukasz
- Użytkownik
- Skąd: wroclaw
- Zarejestrowany: 2006-06-21
Re: serwer modularny. shared LUN
Same współdzielone LUNy to nie wszystko, jeśli każdy z podpiętych pod LUN systemów może pisać do niego to potrzebujesz klastrowego systemu plików.[/quote]
Taka konfiguracja już jest. Na ESXiNie rozumie do końca o co chodzi z wyborem ZFS, LVM, qcow.[/quote]
ZFS dlatego, że oszczędza pasmo.Kod:
zfs send, receivejest podobne do rsync-a tylko działa na poziomie systemu plików i jest bardziej oszczędne i szybsze. Jeżeli nie ZFS to LVM po to żeby robić migawki i być elastycznym.
To musi być więc pełna migawka a nie różnicowa, bo przywracanie różnicówek jest męczące choć sam proces oszczędza pasmo.[/quote]
Są 3 maszyny z wirtualnymi dyskami po 500GB każda. W sumie 1,5 TB danych do wysłania po 1Gb linku. Zakładając, że będę przesyłał dane z prędkością 50MB/sek zajmie mi to ponad 8 godzin. To jest Dużo.
Mogę robić backupy z poziomu os-u na wirtualkce. Rozdzielić tylko obrazy dysków z systemem a dane na osobnym dysku trzymać.Ostatnio edytowany przez ukasz (2014-10-10 12:33:08)
[img]http://wiblo.pl/wilk/userbars/debian_user_black.png[/img]Offline
#8 2014-10-10 15:24:04
qluk - Pan inż. Cyc
- qluk
- Pan inż. Cyc
- Skąd: Katowice
- Zarejestrowany: 2006-05-22
Re: serwer modularny. shared LUN
To polecam zapoznać się z bacula jesli ma być z poziomu OS.
I tak raz będzie robiona pełna kopia zapasowa. ZFS hmm no nie wiem jakoś pod linuxem nie mam przekonania do portu. LVM w teorii potem możesz słać same migawki i na systemie backupu okresowo scalać żeby mieć pełną kopię.
Teoretycznie jeśli przechodzisz z ESXi to w sumie możesz i macierz na nowo skonfigurować, ale nie miałem do czynienia z tymi systemami Intela więc trudno mi powiedzieć jak to wygląda. :)
Offline
#9 2014-10-11 00:05:21
enether - wiecznie niewyspany
- enether
- wiecznie niewyspany
- Zarejestrowany: 2012-05-01
Re: serwer modularny. shared LUN
A coś takiego?
http://backdrift.org/efficient-xen-backups-using-lvm-and-rsnapshot
Teraz znalazłem, nigdy nie stosowałem, ale przytulę po weekendzie jakiś serwer i zobaczę jak by to działało na KVM'owych wirtualkach.
Offline
#10 2014-10-12 11:34:59
ukasz - Użytkownik
- ukasz
- Użytkownik
- Skąd: wroclaw
- Zarejestrowany: 2006-06-21
Re: serwer modularny. shared LUN
Dzięki za linka. Problem w tym, że są tam też maszyny na windowsie. Oczywiście mogę zamontować NTFS-a pod linuxem ale nie mam pewności, że wszystko zostanie skopiowane razem ze wszystkimi atrybutami itp. Dlatego chciałem od samego początku robić backupy wszystkiego z poziomu hypervisora. Wymyśliłem na szybko żeby robić snapshota a później wysyłać przez ssh zgzipowane w locie. Teoretycznie te zera powinny zostać ładnie skompresowane. Spróbuję i porównam jaka będzie różnica robiąc taki backup.
Co do ZFS-a również nie mam przekonania na linuxie. Obejrzałem https://www.youtube.com/watch?v=ny6N8RHX1lQ i ok można tego używać.
[img]http://wiblo.pl/wilk/userbars/debian_user_black.png[/img]
Offline
#11 2014-10-12 11:45:20
enether - wiecznie niewyspany
- enether
- wiecznie niewyspany
- Zarejestrowany: 2012-05-01
Re: serwer modularny. shared LUN
Wysyłanie po SSH skompresowanego strumienia z dd snapshotu to dość popularna metoda backupu. I zera ładnie się kompresują, tylko to trochę trwa, stąd jak masz wolną moc polecałbym zamiast gzipa użyć pigz albo pbzip2 (to samo co gzip i bzip2, ale równolegle przez kilka rdzeni).
Offline
#12 2014-10-12 11:48:27
ukasz - Użytkownik
- ukasz
- Użytkownik
- Skąd: wroclaw
- Zarejestrowany: 2006-06-21
Re: serwer modularny. shared LUN
OOO widzisz :D dzięki za info. Tego nie wiedziałem.
[img]http://wiblo.pl/wilk/userbars/debian_user_black.png[/img]
Offline
#13 2014-10-12 12:07:52
enether - wiecznie niewyspany
- enether
- wiecznie niewyspany
- Zarejestrowany: 2012-05-01
Re: serwer modularny. shared LUN
SolusVM, niedrogi ale wygodny w obsłudze soft do wirtualizacji OpenVZ/XEN/KVM korzystający z natywnych rozwiązań systemowych maszyny KVM'owe backupuje właśnie w ten sposób że robi snapshot wolumenu maszyny, następnie zczytuje go dd przepuszczając przez kompresję (do wyboru bzip2 i pbzip2) i zapisuje w zadanym punkcie montowania archiwum vm_cośtam.img.bz2, które następnie wgrywa po FTP na zdefiniowany serwer.
Ale akurat to zapisywanie obrazu na dysk to IMHO straszliwe marnowanie czasu i zbędne katowanie systemu nadmiarowymi operacjami I/O. Lepiej by było gdyby to puszczał po SSH od razu.
Offline
#14 2014-10-12 19:11:39
qluk - Pan inż. Cyc
- qluk
- Pan inż. Cyc
- Skąd: Katowice
- Zarejestrowany: 2006-05-22
Re: serwer modularny. shared LUN
[quote=enether]Ale akurat to zapisywanie obrazu na dysk to IMHO straszliwe marnowanie czasu i zbędne katowanie systemu nadmiarowymi operacjami I/O. Lepiej by było gdyby to puszczał po SSH od razu.[/quote]
Widzisz nie problem zrobić kopię zapasową, problem to przywrócić. Zapis lokalny pozwala na stworzeni sum kontrolnych aby porównać to co trafiło do systemu backupowego z tym co miało wyjść. Tak pracują rozwiązania nawet w mainframe, tyle że w rozbudowanych środowiskach takie coś trzyma się w buforze. Liczy się sumy i transmituje na kolejny stopień systemu kopii zapasowych. Ostatecznie i tak kończy na LTO.
Offline
#15 2014-10-12 20:32:04
enether - wiecznie niewyspany
- enether
- wiecznie niewyspany
- Zarejestrowany: 2012-05-01
Re: serwer modularny. shared LUN
Gdyby on sumy liczył to bym złego słowa o tym nie powiedział ;) Ale nie zauważyłem by je tworzył. Z drugiej strony nigdy też nie śledziłem jakoś nadzwyczaj dokładnie każdego etapu jego działania.
Offline
#16 2014-10-12 22:24:30
Libo - Użytkownik
- Libo
- Użytkownik
- Skąd: Żory
- Zarejestrowany: 2004-10-25
Re: serwer modularny. shared LUN
Proces backupowania na ESXi jest ..... "ciężki" bez dedykowanych płatnych narzędzi[/quote]
Nie demonizował bym robienia bacupów VMów na ESXi w darmowej licenjcji aż tak bardzo. Cały proces nie jest bardziej skomplikowany niz jakiekowliek inny oskryptowany backup. Wymaga raptem odpalenia darmowego skrptu na hoscie który zrobi snapshot wszyskich pracujących VM-ek ( lub tylko wybranych ), a potem przegranie smapshotów po SSH na zewnetrzny stroage (lub przy odrobinie pracy można dograć klienta FTP do ESXi i wypychac szybciej tym protokołem ). Przy dyskach thick provisionig i partycjonowaniu dysków guestów na system operayjny i "reszte" cały proces działa całkiem sprawnie.
Zaletą tej metody jest restore: wgrywasz snapshot na datastorage, dodajesz VM do inventory i startujesz :)
możesz róniweż zbackupowane dyski podmontować pod linuxem i odzyskać dowolny plik.Ostatnio edytowany przez Libo (2014-10-12 22:39:25)
Nie ma nie idzie... jest nie umiem.
Offline
Informacje debugowania
| Time (s) | Query |
|---|---|
| 0.00014 | SET CHARSET latin2 |
| 0.00005 | SET NAMES latin2 |
| 0.00169 | SELECT u.*, g.*, o.logged FROM punbb_users AS u INNER JOIN punbb_groups AS g ON u.group_id=g.g_id LEFT JOIN punbb_online AS o ON o.ident='18.117.75.6' WHERE u.id=1 |
| 0.00083 | REPLACE INTO punbb_online (user_id, ident, logged) VALUES(1, '18.117.75.6', 1732816949) |
| 0.00067 | SELECT * FROM punbb_online WHERE logged<1732816649 |
| 0.00052 | SELECT t.subject, t.closed, t.num_replies, t.sticky, f.id AS forum_id, f.forum_name, f.moderators, fp.post_replies, 0 FROM punbb_topics AS t INNER JOIN punbb_forums AS f ON f.id=t.forum_id LEFT JOIN punbb_forum_perms AS fp ON (fp.forum_id=f.id AND fp.group_id=3) WHERE (fp.read_forum IS NULL OR fp.read_forum=1) AND t.id=26524 AND t.moved_to IS NULL |
| 0.00026 | SELECT search_for, replace_with FROM punbb_censoring |
| 0.00315 | SELECT u.email, u.title, u.url, u.location, u.use_avatar, u.signature, u.email_setting, u.num_posts, u.registered, u.admin_note, p.id, p.poster AS username, p.poster_id, p.poster_ip, p.poster_email, p.message, p.hide_smilies, p.posted, p.edited, p.edited_by, g.g_id, g.g_user_title, o.user_id AS is_online FROM punbb_posts AS p INNER JOIN punbb_users AS u ON u.id=p.poster_id INNER JOIN punbb_groups AS g ON g.g_id=u.group_id LEFT JOIN punbb_online AS o ON (o.user_id=u.id AND o.user_id!=1 AND o.idle=0) WHERE p.topic_id=26524 ORDER BY p.id LIMIT 0,25 |
| 0.00112 | UPDATE punbb_topics SET num_views=num_views+1 WHERE id=26524 |
| Total query time: 0.00843 s | |