Temat: Kilka serwerów ESX oraz współdzielony storage

Witam,

Posiadam:
4 fizyczne serwery z ESXi
Przestrzeń na macierzy EMC DMX 4TB podłączoną FC do serwerów.
Moje pytania brzmią:

1. Czy poprawną praktyką jest współdzielenie tego zasobu między tymi serwerami?( Zastanawia mnie czy jeżeli zrobię jeden duży filesystem VMFS, i będzie widoczny przy każdym z tych 4 serwerów, a na nich będą wirtualne maszyny to czy nie będą sobie te serwery wzajemnie "wyrywać" dostępu co będzie powodowało opóźnienia w czasie dostępu a nawet błedy?
2. Czy lepiej jest podzielić te przestrzeń na mniejsze po 1TB i podpięcie do każdego serwera osobno?
Dziękuję za pomoc i odpowiedzi,

KarolTen post został edytowany przez Autora dnia 05.08.13 o godzinie 15:10

Temat: Kilka serwerów ESX oraz współdzielony storage

Cześć.

1. Jest to poprawną praktyką tak jest w best practise. Masz storage i wszystkie esxi go współdzielą dzięki VMFSowi i nie ma mowy o błędach. Ja mam storage 5TB jako jeden datastore i działa świetnie w połączeniu z 10 ESXi i i około 50 maszyn VM.
2. jeśli to są różnego rodzaju dyski i różne raid'y to praktyką jest np.:
RAID10 = jeden datastore
RAID5 - kolejny datastore

W razie awarii raid'a i jego odbudowy spowolniony zostaje jeden z datastorów a nie cała macierz.

Wybór należy do Ciebie.

Napisz jakie tam masz dyski i jaki raid chcesz zrobić. Jeśli to SAS to się nie masz o co martwić.

Temat: Kilka serwerów ESX oraz współdzielony storage

Ja bym podzielil na mniejsze zawsze trzeba pomyslec ile maszyn bedziesz hostowal na takim LUNie jesli duzo to wtedy lepiej rozrzucic to na wiecej lunow (ale dalej wspoldzielone pomiedzy wszystkie ESXy). RAID 5 albo 6 w RAID10 bym nie szedl szkoda miejsca.

PozdrawiamTen post został edytowany przez Autora dnia 06.08.13 o godzinie 11:11

Temat: Kilka serwerów ESX oraz współdzielony storage

Wspoldzielona przestrzen jest wrecz wymagana dla rozwiazan takich jak HA, DRS czy FT (vCenter Server jest wymagany) ale podobnie jak zaproponowal Zbyszek, przydzielilbym wiecej mniejszych LUNow.

A co do "wyrywania" zobie dostepu to od wersji vSphere 4.1 hypervisor lockuje pliki (a nie jak to wczesniej bylo caly datastore), wiec nie obawiaj sie ze dane zostana utracone.

Temat: Kilka serwerów ESX oraz współdzielony storage

Cześć,

Dzięki za odpowiedzi, macierzą się nie zajmuje robi to kolega, on mi wystawia przestrzeń

TOMEK W:
Z tego co pytałem: Dyski SATA, wystawiona dla mnie przestrzeń jest w Raid 1 czyli Mirror. Powinienem przejść na RAID 5 lub 6?. Czasami otrzymuję komunikat na poszczególnych serwerach, że są opóźnienia w dostępie do plików może to ten RAID 1 jest winny?

ZBYSZEK:
Mam zrobiony jeden filesystem VMFS5 z wielu kawałków dysków macierzy dzięki temu mam sporo lunów.
Chociaż na innym ESX mam wystawione duży zasób za pomocą jednego luna i nie specjalnie widzę różnicę, fakt że nie ma tam wiele maszyn 7.

TOMEK S:
Zgadza się, współdzielenie jest niezbędne do HA czy FT, ale pytam bardziej pod względem wydajności.(Mam książkę o ESXi 3.x i tam właśnie było opisane wyrywanie dostępu, hehe pewnie stąd moje obawy)

Współdzielenie jest mi bardzo przydatne poniewaz jak chce jakąś maszynę przenieść na inny serwer odpinam od inventory i przypinam na innym, to jak na darmowe ESX bardzo wygodne, chociaż jeśli miało by się to odbyć kosztem wydajności to mógł bym z tej wygody zrezygnować.

Ps. Citrix XEN stał się całkowicie za darmo z całą funkcjonalnością jak live migration HA itp. Czy słyszeliście coś że VmWare doda jakieś rzeczy za darmo:)? Pozdrowienia,

Karol

Temat: Kilka serwerów ESX oraz współdzielony storage

Sata to don i dlatego masz timeouty widocznie masz za mala wydajnosc. Ja sam jestem przeciwnikiem trzymania maszyn na SATA. SATA to dobra rzecz na archiving i backup.

Tak nie rob to jest wbrew best practicies 1 VMFS na 1 LUN.

Xen ma troche za darmo ale dziala to kiepsko w porownaniu do VMware. Z tego co wiem nic VMware nie planuje.

Temat: Kilka serwerów ESX oraz współdzielony storage

Karol S.:
Cześć,

Dzięki za odpowiedzi, macierzą się nie zajmuje robi to kolega, on mi wystawia przestrzeń

TOMEK W:
Z tego co pytałem: Dyski SATA, wystawiona dla mnie przestrzeń jest w Raid 1 czyli Mirror. Powinienem przejść na RAID 5 lub 6?. Czasami otrzymuję komunikat na poszczególnych serwerach, że są opóźnienia w dostępie do plików może to ten RAID 1 jest winny?

ZBYSZEK:
Mam zrobiony jeden filesystem VMFS5 z wielu kawałków dysków macierzy dzięki temu mam sporo lunów.
Chociaż na innym ESX mam wystawione duży zasób za pomocą jednego luna i nie specjalnie widzę różnicę, fakt że nie ma tam wiele maszyn 7.

TOMEK S:
Zgadza się, współdzielenie jest niezbędne do HA czy FT, ale pytam bardziej pod względem wydajności.(Mam książkę o ESXi 3.x i tam właśnie było opisane wyrywanie dostępu, hehe pewnie stąd moje obawy)

Współdzielenie jest mi bardzo przydatne poniewaz jak chce jakąś maszynę przenieść na inny serwer odpinam od inventory i przypinam na innym, to jak na darmowe ESX bardzo wygodne, chociaż jeśli miało by się to odbyć kosztem wydajności to mógł bym z tej wygody zrezygnować.

Ps. Citrix XEN stał się całkowicie za darmo z całą funkcjonalnością jak live migration HA itp. Czy słyszeliście coś że VmWare doda jakieś rzeczy za darmo:)? Pozdrowienia,

Karol

SATA w RAID 10 będzie szybciej ale nie unikniesz latencji, tak samo z SAS latancja będzie skakać. To normalne. Ale zależny co chcesz osiągnąć i gdzieś tam znajdziesz kompromis.

Nie słyszałem by VMware chciał dać coś więcej od siebie za darmo, może po VMworld 2013 będzie jakiś news. ale to jeszcze kawałek czasu.

chcesz wydajnie to SAS, nie wiem jak z EMC i SSD ale chyba to już nie ta półka cenowa?
na SAS też będzie Ci raportować latencję - to normalna funkcjonalność ESXi że takie coś raportuje. Jedynie latencja będzie mniejsza. Masz EMC DMX-4 i darmowe ESXi?

ESXi nie będzie wyrywać sobie dostępu spokojnie będzie chodzić (i tak tylko w jednej chwili 1 ESXi korzysta z plików uruchomionej VM, lokowanie plików działa w przypadku HA) jedynie będziesz widział raporty o zmieniającej się latencji. Jeśli zrobisz 5 VMFSów na jednym RAIDzie i udostępnisz je na 5 LUNach to będziesz miał to samo.

Wąskim gardłem i tak będzie ten RAID i dyski SATA. VMFS nie będzie działał szybciej bo i tak głowica dysku musi zrobić swoje.

Lepszym rozwiązaniem będzie 2-x dysk'ów RAID1-5/6/10 na tym 1 VMFS i LUN, na każdym ESXi ten LUN zamapować.
i kolejny RAID1-5/6/10 na x dyskach i 1 VMFS i LUN do wszystkich ESXiów
Wtedy tylko obciążone LUNy/RAID/VMFSy będą raportować problemy z latencją, a nie jeden na którym jest wszystko.

Co tam chcesz uruchamiać na tym? jakie OSy aplikacje?

Temat: Kilka serwerów ESX oraz współdzielony storage

No i tu sie nie zgodze z Tomkiem W. masz mala macierz wiec ja bym dal wszystkie dyski w jeden aggregat (wiecej dyskow znaczy wiecej wydajnosci..) przy SAS nie powinno byc problemu z wydajnoscia ja przynajmniej nie zauwazylem no ale jak mam aggregaty zbudowane z 90 i wiecej dyskow.

Temat: Kilka serwerów ESX oraz współdzielony storage

Zbigniew S.:
No i tu sie nie zgodze z Tomkiem W. masz mala macierz wiec ja bym dal wszystkie dyski w jeden aggregat (wiecej dyskow znaczy wiecej wydajnosci..) przy SAS nie powinno byc problemu z wydajnoscia ja przynajmniej nie zauwazylem no ale jak mam aggregaty zbudowane z 90 i wiecej dyskow.

Zbyszku, ja mam u siebie SATA z 6 dysków w RAID10 aby właśnie wydajność poprawić i latencję.
I SAS z 6 dysków w RAID 6 na obu wolumenach pojawiają się informacje o latencji ale przy Storage IO Controll, się nie martwię.

A z ciekawości zapytam co to za sprzęt z tymi 90 dyskami? i co tam uruchamiasz? Możesz powiedzieć?

Temat: Kilka serwerów ESX oraz współdzielony storage

Netapp FAS 3240 o ile sie nie myle. Chodza glownie VMki + sqle + oracle. 6 dyskow w raidzie to porazka przy raidzie 6 tracisz 2 na sumy kontrolne wiec kreca sie tylko 4 dyski tu performancu nie bedzie. Na Vmkach mam wszystko Windowsy z AD,DNS, etc... IIS, Linuxy, Apache, Jboss, WebSphere jeszcze troche SQLi, .Net, etc.....

BTW Raid 10 to nie do konca mirror a stripe mirrorow wiec performance lepszy niz przy zwyklym mirrorze.....Ten post został edytowany przez Autora dnia 06.08.13 o godzinie 15:57

Temat: Kilka serwerów ESX oraz współdzielony storage

Zbigniew S.:
Netapp FAS 3240 o ile sie nie myle. Chodza glownie VMki + sqle + oracle. 6 dyskow w raidzie to porazka przy raidzie 6 tracisz 2 na sumy kontrolne wiec kreca sie tylko 4 dyski tu performancu nie bedzie. Na Vmkach mam wszystko Windowsy z AD,DNS, etc... IIS, Linuxy, Apache, Jboss, WebSphere jeszcze troche SQLi, .Net, etc.....

BTW Raid 10 to nie do konca mirror a stripe mirrorow wiec performance lepszy niz przy zwyklym mirrorze.....

Ja wykorzystuje RAID6 ze we względów właśnie na tę odporność na awarię i oczekiwanie na dostawę/kupno dysku na podmiankę, co w firmie w której pracuję trwa dosyć długo...

Temat: Kilka serwerów ESX oraz współdzielony storage

Ja nie mam nic przeciw Raidowi 6 sam go uzywam w wersji NetAppa czyli RAID-DP. Teraz to chyba jeden z najbardziel popularnych Raidow daje duza odpornosc na awarie przy dosc niskiej ilosci poswieconych dyskow.

Temat: Kilka serwerów ESX oraz współdzielony storage

Zbigniew S.:
Ja nie mam nic przeciw Raidowi 6 sam go uzywam w wersji NetAppa czyli RAID-DP. Teraz to chyba jeden z najbardziel popularnych Raidow daje duza odpornosc na awarie przy dosc niskiej ilosci poswieconych dyskow.

A dyski koniecznie muszą być poświęcone :)

Tak na serio to odradzam tego typu raidy w zastosowaniach, w których może następować duża ilość zapisów. Trzeba pamiętać o tym, że w RAID5/6/DP zapis informacji jest bardzo kosztowny. Dlatego nawet tania macierz w ilości I/O z pulą w RAID10 wygra z droższą macierzą i pulą w RAID/DP jeśli ilość zapisywanych informacji będzie niewielka w stosunku do odczytów. Co do proporcji to się nie wypowiem, bo zawsze jest to sytuacja indywidualna/specyficzna.

Przy czterech maszynach wirtualnych to nie będzie wielkiej rywalizacji o zasoby ... ale jeśli mimo to dostajesz ostrzeżenia o powolnym dostępie do dysków to świadczy raczej o przeciążeniu infrastruktury, tj. nie jesteś na tej macierzy sam z tymi swoimi maszynami. Dostałeś raczej fragment infrastruktury i to dość przeciążony. ?

Temat: Kilka serwerów ESX oraz współdzielony storage

Witajcie,

O ile mi wiadomo, generalnym zaleceniem z VMware odnosnie konfiguracji storageu jest - odwolanie sie do odpowiedniej dokumentacji producenta/dostawcy macierzy, gdyz rozni producenci maja rozne koncepcje/implementacje/rozwiazania (czasem rozne dla roznych linii/modeli).

Wiekszosc dostawcow macierzy publikuje odpowiednie dokumentacje dla vSphere.

Jesli dobrze odczytalem model macierzy (EMC Symmetrix DMX ?), to ten dokument powinien byc pomocny w tym przypadku: http://www.emc.com/collateral/hardware/solution-overvi...

Jesli twoja przestrzen dyskowa znajduje sie na dyskach fizycznych wspoldzielonych z innymi maszynami - wtedy opoznienia mogoa sie pojawiac i VMware nie bardzo bedzie w stanie zaradzic (nawet Storage I/O control jest wtedy wylaczana) - wg mnie, jesli to tylko mozliwe (nie zawsze), lepiej nie mieszac obciazenia na fizycznych dyskach pochodzacego z VMware i innych systemow.

Z mojego doswiadczenia i z rekomendacji ze zrodel - dla VMware czesto RAID5/6/DP jest wystarczajacy wydajnosciowo (przecietnie VMki generuja wiecej odczytow niz zapisow), chyba, ze jakies specjalne przypadki (zwykle wieksze bazy danych) generuja wiele zapisow.

Jeszcze odnosnie dyskow SATA - rozwiazania z nimi moga dostarczac odpowiedniej wydajnosci - np. IBM XIV, zwlaszcza w polaczeniu z dyskami SSD i autotieringiem (choc w pierwszych wersjach XIV nie obslugiwaly SSD - tylko SATA a i tak byly wydajne).

Pozdrawiam!

Temat: Kilka serwerów ESX oraz współdzielony storage

Na stronie 56 wspomnianego dokumentu jest tabelka dyskutujaca opcje - czy lepszy jeden duzy LUN czy kilka mniejszych - niestety, jak to czesto bywa - odpowiedz brzmi - to zalezy ;)

Wydaje mi sie, ze warto rozwazyc rozwiazanie posrednie - np. dwa datastore'y po 2 TB.

Temat: Kilka serwerów ESX oraz współdzielony storage

cześć,

Dziękuję za wszystkie odpowiedzi fajnie porównać różne spostrzeżenia. Słowem sprecyzowania:

Macierz którą posiadam to: EMC symetrix DMX4, macierz ma około 50 TB brutto. Kilkanaście dysków jest SAS-owych, cała reszta to dyski SATA.
Na VmWare mam przeznaczone z tego 50TB przestrzeń około 4TB złożoną z 40 dysków po 112MB w związku z tym mam 40 lunów. Macierz do serwera jest podpięta po 2 ścieżkach FC, oraz ustawiony algorytm RoundRobin. Oczywiście na macierzy są inne rzeczy, innych osób, które pewnie ją też ładnie wykorzystują. Niekiedy, oprócz latencji mogę zaobserwować taki komunikat:

Lost access to volume 554444-3334-32-xxx-xx-xxx due to connectivity issuess. Recovery attempt is in progress and outcome will be reported shortly , natomiast jeszcze w tej samej sekundzie widzę Successfully restored access to volume.

Czy to również jest normalne ? Czy niewydajna macierz może powodować zawieszanie się virtualek?
Od pewnego czasu jakby zamraża mi się ekran maszyny na Free BSD oraz Win 2008 server - nie odpowiadają na nic, pozostaje tylko twardy RESET. Szukam powiązań być może ma to coś wspólnego?Ten post został edytowany przez Autora dnia 07.08.13 o godzinie 09:59

Temat: Kilka serwerów ESX oraz współdzielony storage

Tak VMki moga sie freezowac jak gubisz sciezki. Ja mialem tak w swoim srodowisku poprostu dyski niewyrabiaja.

BTW to co chlopaki pisza to wszystko OK. Wszystko zalezy od scenariusza zawsze mozna przyspieszyc RAID5/6/DP i np. wlaczyc tiering czy tez wlozyc w macierz karty cache ktore cacheuja odczyty itp,itd.......

BTW sprawdz na stronie VMware jakie jest zalecane ustawienie jesli chodzi o sciezki bo mozliwe ze Round Robin nie jest zalecany przy tej macierzy.....Ten post został edytowany przez Autora dnia 07.08.13 o godzinie 11:15

Temat: Kilka serwerów ESX oraz współdzielony storage

Karol S.:
Na VmWare mam przeznaczone z tego 50TB przestrzeń około 4TB złożoną z 40 dysków po 112MB w związku z tym mam 40 lunów.

To mnie troche zastanawia - zwykle dyski skladaja sie na volumen, ktory jest wystawiany do hostow z jakims numerem LUNa - najlepiej, by byl taki sam dla kazdego hosta (dla porzadku).
Wprawdzie mozna tworzyc datasotre z wielu LUNow (multiextent), ale nie wiecej niż z 32 (http://kb.vmware.com/selfservice/microsites/search.do?...
tylko, o ile uzywany jest VMFS-5, zwykle nie niesie to wyraźnych korzyści, a jedynie komplikuje zarządzanie.

W przypadku VMFS-3 jest to być konieczne, jeśli potrzebujemy mieć datastore większy niż 2TB.

Lost access to volume 554444-3334-32-xxx-xx-xxx due to connectivity issuess. Recovery attempt is in progress and outcome will be reported shortly , natomiast jeszcze w tej samej sekundzie widzę Successfully restored access to volume.

Tak, ten komunikat jest bardzo zly, i nie powinien sie pojawiac w 'zdrowym' srodowisku - jesli akurat wtedy VMka probuje cos zapisac, to moze pasc.

Jakiej w ogole wersji ESX używasz?

Pozdrawiam!

Temat: Kilka serwerów ESX oraz współdzielony storage

Tak VMki moga sie freezowac jak gubisz sciezki. Ja mialem tak w swoim srodowisku poprostu dyski niewyrabiaja.

Czyli mam rozumieć że macierz wymięka z wydajnością ?

BTW sprawdz na stronie VMware jakie jest zalecane ustawienie jesli chodzi o sciezki bo mozliwe ze Round > Robin nie jest zalecany przy tej macierzy.....

Sprawdzałem zalecane jest Round Robin, kwestia że zalecają też PowerPath'a(jakiś sterownik lepszy do macierzy na ESX) ktróry z tego co doczytałem jest możliwy tylko dla płatnych wersji ESX.

To mnie troche zastanawia - zwykle dyski skladaja sie na volumen, ktory jest wystawiany do hostow z jakims numerem LUNa - najlepiej, by byl taki sam dla kazdego hosta (dla porzadku).
Wprawdzie mozna tworzyc datasotre z wielu LUNow (multiextent), ale nie wiecej niż z 32 (http://kb.vmware.com/selfservice/microsites/search.do?...
tylko, o ile uzywany jest VMFS-5, zwykle nie niesie to wyraźnych korzyści, a jedynie komplikuje zarządzanie.

Dostawca macierzy uznał że do ESXi lepiej jest użyć "wielu małych LUN'ów niż jednego dużego" Zgadza się utrudnia to koszmarnie zarządzanie ponieważ mam bardzo dużo lunów, wolał bym mieć po jednym na datastore. Kierowałem się tym co powiedział dostawca, że wydajniej będzie pracować to na wielu lunach. Jeśli nie ma to znaczenia ile logicznych ścieżek jest do macierzy to wolał bym po jednej na filesystem(datastore).

Jakiej w ogole wersji ESX używasz?

Używam ESXi5.0 oraz ESXi5.1 wersje darmowe.

PozdrowieniaTen post został edytowany przez Autora dnia 07.08.13 o godzinie 14:53

Temat: Kilka serwerów ESX oraz współdzielony storage

Karol S.:

Tak VMki moga sie freezowac jak gubisz sciezki. Ja mialem tak w swoim srodowisku poprostu dyski niewyrabiaja.

Czyli mam rozumieć że macierz wymięka z wydajnością ?

BTW sprawdz na stronie VMware jakie jest zalecane ustawienie jesli chodzi o sciezki bo mozliwe ze Round > Robin nie jest zalecany przy tej macierzy.....

Sprawdzałem zalecane jest Round Robin, kwestia że zalecają też PowerPath'a(jakiś sterownik lepszy do macierzy na ESX) ktróry z tego co doczytałem jest możliwy tylko dla płatnych wersji ESX.

To mnie troche zastanawia - zwykle dyski skladaja sie na volumen, ktory jest wystawiany do hostow z jakims numerem LUNa - najlepiej, by byl taki sam dla kazdego hosta (dla porzadku).
Wprawdzie mozna tworzyc datasotre z wielu LUNow (multiextent), ale nie wiecej niż z 32 (http://kb.vmware.com/selfservice/microsites/search.do?...
tylko, o ile uzywany jest VMFS-5, zwykle nie niesie to wyraźnych korzyści, a jedynie komplikuje zarządzanie.

Dostawca macierzy uznał że do ESXi lepiej jest użyć "wielu małych LUN'ów niż jednego dużego" Zgadza się utrudnia to koszmarnie zarządzanie ponieważ mam bardzo dużo lunów, wolał bym mieć po jednym na datastore. Kierowałem się tym co powiedział dostawca, że wydajniej będzie pracować to na wielu lunach. Jeśli nie ma to znaczenia ile logicznych ścieżek jest do macierzy to wolał bym po jednej na filesystem(datastore).

Jakiej w ogole wersji ESX używasz?

Używam ESXi5.0 oraz ESXi5.1 wersje darmowe.

Pozdrowienia

Tak macierz nie daje rady!

na ESXi musza tez byc drivery ESX juz nie jest wspierany przez VMwarea i w wersji 5 wogole go nie ma. Poszukaj powinny byc pluginy/drivery.... Ja z takich korzystam dla NetApp.

pozdrawiam
Zbyszek