Forum Debian Users Gang

bonus · 2015-06-29 11:04:59

Chciałbym zaprojekotwać i wycenić (w zakresie sprzętu) środowisko serwerowe o wysokiej dostępności. Myślę, że bazowałbym na oprogramowaniu XenServer, z którym miałem już nieco do czynienia. Ogólnie myślałem o czymś takim 2 x serwer - podpięte pod 2 macierze dyskowe działające w trybie klastra (jako wspólna przestrzeń dyskowa dla maszyn wirtualnych odporna na awarię jednej macierzy dyskowej). Czy ktoś projektował coś takiego lub użytkuje/administruje takim środowiskiem.

jurgensen · 2015-06-29 11:55:10

Tematyka HA jest całkiem rozległa. Ja zajmowałem się tym do pewnego stopnia. Jeśli masz jakieś konkretne pytania, to śmiało, być może będę w stanie pomóc. Pamiętaj, że do wyeliminowania wszystkich SPOF potrzebne jest sporo pracy i pewne koszty.

bonus · 2015-06-30 00:18:03

Środowisko ma wirtualizować na początek 4 maszyny wirtualne (WS2012R2 AD, WS2012R2 File server, 2 x Linux serwery aplikacji) w sieci LAN z około 50 użytkownikami. Może jakieś sugestie by nadwyraz nie przesadzić ze sprzętem. Czy 2 serwery np. DELL R430 2xE5-2630 v3 2.4GHz 4x8GB 2x146GB SAS 15K H730 2x550WiDRAC8 Enterprise z interfejsem 10GBASE-T (2 porty) podpięte do 2 przełączników 10GBASE-T (krzyżowo - czy jak to nazwać), do którego będą podpięte 2 macierze np. Synology RackStation RS3614xs+ pracujące w trybie active - pasive będą właściwe. Możnaby zastosować rozwiązania podpinania macierzy bezpośrednio do serwerów, a w przypadku środowisk iSCSI otrzymuję bardziej elastyczny system poza udostępnieniem LUN'a dla póli serwerów wirtualizacyjnych mogę uruchamiać na nich dodatekowe usługi. Proszę o jakieś sugestie bo nie mam w tym temacie praktyki.

jurgensen · 2015-06-30 09:53:10

Jeśli chodzi o zastosowany serwer, to nie ma on dużego znaczenia dla HA, bardziej musisz dostosować do obciążenia. Jeśli chodzi o storage, to generalnie polecałbym FC zamiast iSCSI ze względu na wydajność. Jednak jest to rozwiązanie droższe a z tego co widzę, macierz której chcesz użyć nie obsługuje FC. Jeśli wykorzystujesz współdzielony storage blokowy, ważne jest, aby używać jakiegoś klastrowego systemu plików, inaczej szybko rozjedzie Ci się, jeśli dwa serwery zaczną pisać (opcjonalnie zamiast iSCI można rozważyć wykorzystanie GlusterFS, który działa plikowo).
Sieć rozumiem na tych dwóch kartach ma być jednocześnie dla użytkowników, jak i dla storage? Oczywiście proste wpięcie dwoma linkami do switchy nie zapewni Ci redundancji. Musisz zastosować albo LACP (bonding), wtedy będą widziane jako pojedynczy interfejs, albo zastosować płynne IP (np. Carp). Jeśli to ma być tylko dla storage, to możesz wykorzystać dwie podsieci i wykorzystać multipathing (jeśli korzysztasz z iSCSI lub FC).
No i na koniec zostaje kwestia HA aplikacji. Czy ma to być realizowane na poziomie hypervisora maszyn wirtualnych, czy też na poziomie aplikacji (nie wiem jakie możliwości ma Windows, w Linuksie jest sporo narzędzi, zależy też od usług).

bonus · 2015-06-30 11:16:33

[quote=jurgensen]Jeśli chodzi o zastosowany serwer, to nie ma on dużego znaczenia dla HA, bardziej musisz dostosować do obciążenia.[/quote]
No właśnie ciężko jest w tej chwili zdefiniować obciążenie, także serwery są z nieznacznym zapasem a zakup serwera 1 lub 2 cpu nieznacznie się różni w stosunku do całkowitej inwestycji.
[quote=jurgensen]Sieć rozumiem na tych dwóch kartach ma być jednocześnie dla użytkowników, jak i dla storage?[/quote]
Chciałem tak, aby serwer z 2 portową kartą 10GBASE-T jednym kablem był wpięty do przełącznika portu VLAN dla klientów sieci LAN, drugim do VLAN'u do komunikacji ze storage. Padnięcie karty lub łącza byłoby obsłużone przez drugi serwer (HA realizowane na poziomie hypervisora). Tutaj właściwe byłoby chyba zastosowanie 2 przełączników 10GBASE-T i podłączenie wg. schematu:

sieć LAN (klienci)
switche LAN
/ \
przełącznik 1 10GBASE-T -------------- przełącznik 2 10GBASE-T
vlan1 | | vlan 5 \ \ / / vlan1 | | vlan 5
serwer 1 vlan1\ \ vlan5 / / vlan1 server 2
(hipervisor) \ \ / / (hipervisor)
macierz dyskowa iSCSI Storage

vlan 5 - vlan do komunikacji ze wspólnym lunem iSCSI na macierzy,
vlan 1 - vlan komunikacji ze stacjami roboczymi (oraz udostępniania innych usług dla stacji roboczych z systemu macierzy Storage) usługi typu CIFS, NFS, FTP.

Waham się nad iSCSI lub DAS, drugie chyba tańsze lecz nieco mniej elastyczne.
FC zapewne odpada ze względu na koszty i złożoność wdrożenia (nie mam doświadczenia z technologiami FS, zarządzam prostymi sieciami bazującymi 1000BASE-T). Ponadto obciążenie środowiska nie będzie zbyt duże. Najwięcej ruchu będzie generowało korzystanie z serwera plików, tj. profili mobilnych WS2K12 (pliki klientów poczty). Najtańszym rozwiązaniem będzie skorzystanie z DAS np. DELL R430 2xE5-2630 v3 2.4GHz 4x8GB 2x146GB SAS 15K H730 2x550WiDRAC8, karta 2 portowa 10GBASE-T + karta mini SAS (jaka???) - podpięte pod PowerVault MD3420 4 x mini SAS (12Gb/s). Następnie serwery będą podpięte pod 2 przełączniki 10 10GBASE-T (jak na wcześniejszym schemacie). Jaką kartę potrzebuję by podpiąć serwery do tej macierzy, do jakich portów IN OUT podpiąć serwery czy krzyżowo do różnych kontrolerów, czy w ogóle tak się da.

jurgensen · 2015-06-30 12:08:01

Ja osobiście wybrałbym rozwiązanie SAN niż DAS (czyli właśnie np. macierz z obsługą iSCSI), chociażby ze względu na lepszą, moim zdaniem, skalowalność. Nie wiem, czy dobrze zrozumiałem Twoją konfigurację, ale wydaje mi się, że może ona być podatna na split-braining przy padzie jednego linku, co może doprowadzić nawet do uszkodzenia danych.

Z Xen Serverem nie miałem do czynienia, więc tu Ci raczej nie pomogę. Dlatego też upenij się, że jego HA posiada dobrze zaimplementowany fencing, aby zapobiec wyżej opisanym problemom. Myślę, że dobrym pomysłem byłoby dołożenie do serwerów po jednej karcie (nawet 100 Mb ethernet), którą będą spięte bezpośrednio w celu tylko i wyłącznie sprawdzania stanu drugiego węzła i ewentualne odcięcie go po rozdwojeniu jaźni.

bonus · 2015-06-30 13:19:11

[quote=jurgensen]Ja osobiście wybrałbym rozwiązanie SAN niż DAS (czyli właśnie np. macierz z obsługą iSCSI), chociażby ze względu na lepszą, moim zdaniem, skalowalność. Nie wiem, czy dobrze zrozumiałem Twoją konfigurację, ale wydaje mi się, że może ona być podatna na split-braining przy padzie jednego linku, co może doprowadzić nawet do uszkodzenia danych.[/quote]
Na czym polega podatnosć split-braining?

[quote=jurgensen]Z Xen Serverem nie miałem do czynienia, więc tu Ci raczej nie pomogę. Dlatego też upenij się, że jego HA posiada dobrze zaimplementowany fencing, aby zapobiec wyżej opisanym problemom. Myślę, że dobrym pomysłem byłoby dołożenie do serwerów po jednej karcie (nawet 100 Mb ethernet), którą będą spięte bezpośrednio w celu tylko i wyłącznie sprawdzania stanu drugiego węzła i ewentualne odcięcie go po rozdwojeniu jaźni.[/quote]
Zastanawiam się też nad Hiper-V koszt rozwiązania ten sam bo hipervisor jest darmowy prawda?
Spięcie jest możliwe serwery mają dodatkowe karty 1Gb/s. Co to jest ten fencing?

Jeżeli chodzi o DAS to podłączenie wygląda na bardziej "przejrzyste":
http://prntscr.com/7n2hnp
tylko jak to jest z tym podpinaniem "krzyżowym" pod macierz SAS (pisałem o tym wcześniej)?

jurgensen · 2015-06-30 13:59:04

Split braining polega na tym, że kiedy obydwa nody stracą ze sobą nawzajem połączenie, oba myślą że reszta nodów jest nieaktywna i każdy z nich jest masterem i np. obydwa zaczynają zapisywać na storage (co w przypadku storage blokowego jest bardzo niebezpieczne). Fencing pomaga zapobiec temu problemowi - jeżeli któreś nody wydają się być niepewne - są odłączane od clustra.

W przypadku macierzy SAS, połączenie nie jest ethernetowe, odbywa się przez HBA bezpośrednio do macierzy (lub przez switch SAS) - stąd właśnie moim zdaniem lepsza skalowalność iSCSI.

Co do hypervisora - nie pracowałem też nigdy z HyperV i sposób licencjonowania MS jest dla mnie czarną magią. Miałem jedynie doświadczenie z VMware i KVM (Ovirt)

rulezdc · 2015-06-30 17:39:33

czesc
hyper-v nie przesadzaj, nawet dyskow online nie rozszerzysz to juz zamiast xena sobie lepiej ovirta postawic, za darmo i nawet to dziala ladnie.
Co do macierzy moze ceph, ostatnio wykupiony przez red hata.
iscsi da rade po malym tuningu sieci i dosc prosto sie tym zarzadza

bonus · 2015-07-01 11:59:58

[quote=jurgensen]Fencing pomaga zapobiec temu problemowi - jeżeli któreś nody wydają się być niepewne - są odłączane od clustra.[/quote]
Chyba jest przed tym zabezpieczony, wycinek z dokumentacji:
The worst-case scenario for HA is the situation where a host is thought to be off-line but is actually still writing to the shared storage, because this can result in corruption of persistent data. To prevent this situation without requiring active power strip controls, XenServer employs hypervisor-level fencing. This is a Xen modification which hard-powers off the host at a very low-level if it does not hear regularly from a watchdog process running in the control domain. Because it is implemented at a very low-level, this also protects the storage in the case where the control domain becomes unresponsive for some reason.
[quote=rulezdc]iscsi da rade po malym tuningu sieci i dosc prosto sie tym zarzadza[/quote]
Nie mam żadnego doświadczenia z wirtualizacją KVM/VMware. Jaki tuning sieci sugerowałbyś do przedstawionej przeze mnie propozycji środowiska.
sieć LAN (klienci)
switche LAN
/ \
przełącznik 1 10GBASE-T -------------- przełącznik 2 10GBASE-T
vlan1 | | vlan 5 \ \ / / vlan1 | | vlan 5
serwer 1 vlan1\ \ vlan5 / / vlan1 server 2
(hipervisor) \ \ / / (hipervisor)
macierz dyskowa iSCSI Storage

jurgensen · 2015-07-01 12:35:46

Jeśli chodzi o tuning sieci pod iSCSI, to ja zdecydowanie rekomendowałbym oddzielny vlan dedykowanyh dla iSCSI (tak, jak w Twoim przypadku), włączenie jumbo frames - szczególnie przy 10Gb ethernet (konieczne włączenie na serwerze, wszystkich switchach po drodze i macierzy). Dobrym rozwiązaniem byłoby wykorzystanie iSCI HBA zamiast zwykłej karty sieciowej, ale to już większy koszt.

Time (s)	Query
0.00016	SET CHARSET latin2
0.00004	SET NAMES latin2
0.00183	SELECT u., g., o.logged FROM punbb_users AS u INNER JOIN punbb_groups AS g ON u.group_id=g.g_id LEFT JOIN punbb_online AS o ON o.ident='3.129.23.30' WHERE u.id=1
0.00090	REPLACE INTO punbb_online (user_id, ident, logged) VALUES(1, '3.129.23.30', 1714909292)
0.00053	SELECT * FROM punbb_online WHERE logged<1714908992
0.00079	DELETE FROM punbb_online WHERE ident='3.17.6.75'
0.00087	SELECT t.subject, t.closed, t.num_replies, t.sticky, f.id AS forum_id, f.forum_name, f.moderators, fp.post_replies, 0 FROM punbb_topics AS t INNER JOIN punbb_forums AS f ON f.id=t.forum_id LEFT JOIN punbb_forum_perms AS fp ON (fp.forum_id=f.id AND fp.group_id=3) WHERE (fp.read_forum IS NULL OR fp.read_forum=1) AND t.id=27524 AND t.moved_to IS NULL
0.00007	SELECT search_for, replace_with FROM punbb_censoring
0.00201	SELECT u.email, u.title, u.url, u.location, u.use_avatar, u.signature, u.email_setting, u.num_posts, u.registered, u.admin_note, p.id, p.poster AS username, p.poster_id, p.poster_ip, p.poster_email, p.message, p.hide_smilies, p.posted, p.edited, p.edited_by, g.g_id, g.g_user_title, o.user_id AS is_online FROM punbb_posts AS p INNER JOIN punbb_users AS u ON u.id=p.poster_id INNER JOIN punbb_groups AS g ON g.g_id=u.group_id LEFT JOIN punbb_online AS o ON (o.user_id=u.id AND o.user_id!=1 AND o.idle=0) WHERE p.topic_id=27524 ORDER BY p.id LIMIT 0,25
0.00103	UPDATE punbb_topics SET num_views=num_views+1 WHERE id=27524
Total query time: 0.00823 s

Forum Debian Users Gang

Ogłoszenie

#1 2015-06-29 11:04:59

bonus - Użytkownik

Środowisko serwerowe o wysokiej dostępności dla sieci lokalnej

#2 2015-06-29 11:55:10

jurgensen - Użytkownik

Re: Środowisko serwerowe o wysokiej dostępności dla sieci lokalnej

#3 2015-06-30 00:18:03

bonus - Użytkownik

Re: Środowisko serwerowe o wysokiej dostępności dla sieci lokalnej

#4 2015-06-30 09:53:10

jurgensen - Użytkownik

Re: Środowisko serwerowe o wysokiej dostępności dla sieci lokalnej

#5 2015-06-30 11:16:33

bonus - Użytkownik

Re: Środowisko serwerowe o wysokiej dostępności dla sieci lokalnej

#6 2015-06-30 12:08:01

jurgensen - Użytkownik

Re: Środowisko serwerowe o wysokiej dostępności dla sieci lokalnej

#7 2015-06-30 13:19:11

bonus - Użytkownik

Re: Środowisko serwerowe o wysokiej dostępności dla sieci lokalnej

#8 2015-06-30 13:59:04

jurgensen - Użytkownik

Re: Środowisko serwerowe o wysokiej dostępności dla sieci lokalnej

#9 2015-06-30 17:39:33

rulezdc - Członek DUG

Re: Środowisko serwerowe o wysokiej dostępności dla sieci lokalnej

#10 2015-07-01 11:59:58

bonus - Użytkownik

Re: Środowisko serwerowe o wysokiej dostępności dla sieci lokalnej

#11 2015-07-01 12:35:46

jurgensen - Użytkownik

Re: Środowisko serwerowe o wysokiej dostępności dla sieci lokalnej

Stopka forum

Informacje debugowania