GoldenLine
Zaloguj się
Krzysztof K.

Krzysztof K. Administrator
systemów IT i sieci
- otwarty na
propozycje...

Temat: Wydajność - problem z data storage

Witam

Użytkownicy zaczęli ostatnio narzekać na powolność usług RDP i AD.

Mam serwer z esxi 5 a w nim macierz dyskowa RAID5 z 6xssd (280MB odczyt/zapis) i RAID1 z hdd 7200 rpm sata II. RAM dla VM z AD 8GB i dla VM z RDP 8 GB. Każdy VM ma po 8 CPU core. Cały sprzęt i dyski mają rok.

Zauważyłem, że VM AD ma problem z storage. Dane użytkowników trzymam na RAID 1 udostępniam dysk dla VM RDP poprzez sieć. System jest na RAID 5.

W VM RDP system jest na RAID 5. W RDP programy wszystkie są odpalane z dysku C (RAID 5) a dane użytkowników przechowywane w sasobie dyskowym udostępniającym przez AD.

W esxi jest anomalia z parametrem Highest Latency. np. dla RDP wynosi max 1 ale dla VM AD wynosi 180362195.

Kontroler nie wskazuje na uszkodzenie macierzy dyskowej RAID 1!

Zdjęcia

Może coś jest nie tak z RAID 1. Może jeden dysk jest zajechany. Spróbuje jeszcze odczytać dane SMART z dysków. Problem potem z interpetacją wyników. bo nie mam porównania jakie wartości są poprawne. Ale kontroler nie daje żadnych alarmów.

Może, ktoś poleci co jeszcze sprawdzić i co można z tym zrobić.

Dziewne jest to, iż AD ma tylko usług AD. A vm z RDP pracuje zdalnie 15 użytkowników. korzystają z zasobów AD. RDP jest znacznie obciążone niż AD. VM AD nudzi się ale mimo to ma astronomiczne wartości Highest LatencyKrzysztof Rusin edytował(a) ten post dnia 15.06.12 o godzinie 13:21
Link do wypowiedziLink
Zbigniew Sitarek

Zbigniew Sitarek
MCITP/MCSE/MCSA/MCP/
MCTS/VCP/CCA/ITIL

Temat: Wydajność - problem z data storage

A co masz na tych VMkach ?? Jakie uslugi, aplikacje.....
Ile dyskow w Raidzie jakie dyski ?? Jaki sprzet?Zbigniew Sitarek edytował(a) ten post dnia 15.06.12 o godzinie 13:43
Link do wypowiedziLink
Krzysztof K.

Krzysztof K. Administrator
systemów IT i sieci
- otwarty na
propozycje...

Temat: Wydajność - problem z data storage

Sprzęt. Dwa procesory 2xAMD Opteron 6128 24 GB RAM, RAID5 z 6xSSD (dedykowane do macierzy) i RAID1 z 2xHDD (7200RPM SATAII).

VM AD: Wyłącznie rola AD. podpiętych max 20 stacji roboczych. (storage, RAID5 =C (50GB/wolne 18GB ): i RAID1 = D: (1TB/wolne 400GB) ).
VM RDP: uruchomiona usługa terminali. Programy: Corel, Office, Korzysta max 12 użytkowników. Jeden użytkownik raz po raz używa corel. Ogólnie ten serwer nie jest obciążony. Głównie służy do edycji dokumentów i internetu. (STORAGE RAID5 (50GB). Nie ma SQL. ani innych programów, które by obciążały dyski.
VM ustawione ma 8 rdzeni, 8 GB RAM.

Systemy zainstalowane na RAID5. Dane użytkowników trzymam na RAID1.

Np. dzisiaj gdy robiłem zrzuty statystyk ESX to pracowało 6 użytkowników na VM RDP

Oczywiście zainstalowane są VM tools.

Sprawdziłem kontroler i zero błędów. W tej chwili nie mam pomysłów co jeszcze zrobić. Bo jednak coś nie gra, bo użytkownicy narzekają na powolność działania. Może wina VM RDP. Ale jak patrzę na parametr Highest Latency dla całego ESXi na wykresie to ma maximum 51 average 7,567. Ale dla VM AD Highest Latency występują tak zwane skoki aż do np. 127131031 a w VM RDP nie ma czegoś takiego maximum 0 averege 0.

Na serwerze są inne systemy i one nudzą się. Ale tak przypomniało mi się kiedyś, iż użytkownicy narzekali na działanie programu bibliotecznego, który jest zainstalowany na Ubuntu i wykorzystuje MySQL. I w nim też widzę, też że parametr Highest Latency jest podobny do VM AD. Ubuntu zainstalowane jest wraz bazą sql na RAID 5. Ale dziwne bo gdy był system ubuntu z sql na RAID1 było jeszcze gorzej.
Może trzeba przyjrzeć się temu VM z UBUNTU. Ale on obciąża procesor na max 60 MHz (czyt. z wykresu obciążenia VM UBUNTU)Krzysztof Rusin edytował(a) ten post dnia 15.06.12 o godzinie 15:14
Link do wypowiedziLink
Bartosz Bobkiewicz

Bartosz Bobkiewicz Inżynier sieci i
systemów IT [CCNP],
Google Professional
...

Temat: Wydajność - problem z data storage

A jaki masz SAN? iSCSI czy FC? Ilo-gigowe masz te polaczenia?
Link do wypowiedziLink
Krzysztof K.

Krzysztof K. Administrator
systemów IT i sieci
- otwarty na
propozycje...

Temat: Wydajność - problem z data storage

Nie wykorzystuje SAN iSCSI ani FC. Lokalne Storage (DAS)
Link do wypowiedziLink
Tomasz Zieliński

Tomasz Zieliński Ignorant IT

Temat: Wydajność - problem z data storage

Zrób printscreena bo eksport do jpga nie pokazuje tych wartości. Musisz skorelować jakoś wydarzenia na tych serwerach (posiedzieć przy userach). Wystarczy, że jakaś przeróbka grafiki wywoła lawinę zapisów na dysk (bo zacznie pejdżować) i przy RAIdzie 5 nieszczęście gotowe.
Ponadto http://www.cdrinfo.pl/news/ocz-i-indilinx-sposob-na-pr...

A co do tych wartości to czasem jak występuje pik o krókim okresie trwania to vmware nie potrafi sobie tego rozsądnie przeliczyć (bo w końcu kto powie gdzie się zaczyna sekunda, a gdzie kończy) :)
Link do wypowiedziLink
Krzysztof K.

Krzysztof K. Administrator
systemów IT i sieci
- otwarty na
propozycje...

Temat: Wydajność - problem z data storage

Właśnie zrobienie screenów denerwowały i wkurzony olałem (czas). Wstawiłem z vmware (export).

Obecnie nikogo nie ma to VM RDP ładnie działa. Chyba zły parametr dobrałem w RAID5 size stripe ustawione jest na 128 KB. Ale czy to czasem nie jest min wartość jaką można ustawić na tej karcie (adaptec 5808 512 MB) ! nie pamiętam. Ogólnie kierowałem się zasadą , że im małe pliczki tym lepiej mały stripe size a do dużych plików np. zdjęcia filmy instalki to większe strip.

Jakie wy ustawiacie size stripe na kontrolerze RAID, dla voluminu pod maszyny wirtualne.

Na serwerze jest ogółem 11 VM. 3xWindows Server 2008 R2 (VM AD, VM RDP i VM Win do administracji - w nim Veeam Backup & replication, Admin GDATA, SQL server dla veem i gdata)
VM Win w dzień nie generuje obciążenia praktycznie, Reszta to 2x pfSense, 4 x Ubuntu, Novell Netware 6 (nic nie robi bo z tego rezygnuje - chodzi sobie bo od czasu do czasu muszę coś zajrzeć).

Wkurzam się bo użyłem dysków SSD. Z tych dysków stworzyłem RAID5. I kurcze uważam, iż takich problemów nie powinno być! Bo sam jeden dysk SSD ma 50 000 IOPS (takie info producenci podają )! A dysk zwykły (15k rpm: 180-210 IOPS
10k rpm: 130-150 IOPS
7200 rpm: 80-100 IOPS
5400 rpm: 50-80 IOPS )

Sądzę, że problem może być w parametrach dla RAIDa (size stripe) i File systems VMFS dla VM (block size).

Warto także się ponownie zastanowić nad wyborem RAID5, RAID10 albo zrobić dwa volumeny po RAID5 (volumen z 3xSSD). I ustalić size stripe oraz Block Size dla file system VMFS. Przedtem jeszcze sprawdzić czy producent moich dysków coś nie wypuścił lub dał info dot. tych dysków ssd - sprawdzić to co przesłał Tomasz Zieliński link do art. czy czasem nie dotyczy moich dysków.
Volumen przeznaczony będzie wyłącznie dla systemów operacyjnych - VM.Krzysztof Rusin edytował(a) ten post dnia 15.06.12 o godzinie 21:36
Link do wypowiedziLink
Tomasz Zieliński

Tomasz Zieliński Ignorant IT

Temat: Wydajność - problem z data storage

Krzysztof Rusin:
VM RDP i VM Win do administracji - w nim Veeam Backup & replication, Admin GDATA, SQL server dla veem i gdata)
VM Win w dzień nie generuje obciążenia praktycznie, Reszta to 2x pfSense,

A problemy z backupem się nie pokrywają? Ew. w momecie wystą[ienia problemów popatrz jeszcze na dyski w performance dla VMów. Nie zapominaj że pagefile też są na dyskach :) Powinieneś wychwycić która maszyna generuje największy ruch (bo może nakłada ci się ruch z kilku maszyn). Ew. esxtop to podpatrzysz więcej.

Pzdr
Link do wypowiedziLink
Krzysztof K.

Krzysztof K. Administrator
systemów IT i sieci
- otwarty na
propozycje...

Temat: Wydajność - problem z data storage

VM RDP obciążone jest wyłącznie w dzień.
VM Win (do backup,gdata sql) w nocy pracuje (backup) poza godzinami pracy - bez problemu wyrabia się w czasie.

Ciągle nie mogę zdecydować jaką wartość wybrać size stripe oraz RAID5 czy 10.
Co do raid mam mieszane uczucia. Bo wiadomo, że RAID 10 jest szybsze od RAID5. Ale teraz są nowoczesne kontrolery i czytałem opinie, że nowoczesne kontrolery bardzo dobrze radzą sobie z zasipem (RAID5) - obliczaniem kontroli parzystości. Nowe kontrolery są szybkie i nie ma to negatywnego wpływu na szybkość zapisu.

RAID Level Total array capacity Fault tolerance Read speed Write speed
RAID-10
500GB x 4 disks 1000 GB 1 disk 4X 2X
RAID-5
500GB x 3 disks 1000 GB 1 disk 2X Speed of a RAID 5 depends upon the controller implementation

Size Stripes ustawiają często na 64 KB oraz zmieniają domyślną wartość (block size, the default in windows is 4096. ) dla NTFS.

Block Sizes dla Datastores (w esxi) - http://www.yellow-bricks.com/2009/03/24/an-8mb-vmfs-bl...

Muszę uaktualnić Datastores do VMFS5. Obecnie jest VMFS3. Myślę, że to nie wiele zmieni w kwestii wydajności dla mnie.

Co do pagefiles w Windows. Widzę, że system ustawił 8191MB. System ma 8GB RAM a w dzień zajęte jest max 5 GB Ramu. Ale sprawdzić będę musiał ile jest zrzucane do pagefile gdy występuje problem. Obecnie podana wartość "Buforowana" wynosi 3000 MB - w systemie windows server 2008.

Poniżej przedstawiam wykres z obciążenia storage.
Obciążenie dla całego serwera

Obrazek


Obciążenie dla VM Ubuntu - zainstalowane Ubuntu z VMTools. Serwer ma wyłącznie aplikację do obsługi biblioteki. Baza oparta jest na plikach czyli nie posiada bazy danych takich jak mysql czy PostgreSQL itd.
Serwer ten generuje maks 600MHz obciążenia dla CPU. I te wartości CPU nie przekracza nawet gdy są te skoki parametru Highest Latency

Obrazek
Krzysztof Rusin edytował(a) ten post dnia 18.06.12 o godzinie 14:37
Link do wypowiedziLink
Krzysztof K.

Krzysztof K. Administrator
systemów IT i sieci
- otwarty na
propozycje...

Temat: Wydajność - problem z data storage

Czy może mi ktoś podpowiedzieć podsunąć w jakim kierunku sprawdzić przyczyny powstawania nagłych wzrostu parametru highest Latency.

Z tego co sprawdziłem nie jest to wina Systemów operacyjnych. Ale dysków SSD może też nie być bo gdy trzymałem VM na raid1 z dysków SATAII 7200 rpm ten sam problem był. Coś chyba z kontrolerem! VMTools w VM najnowsze.

highest Latency trudno określić od czego nagle rośnie. Kopiowanie dużych plików o rozmiarze kilka MB czy GB nie generuje Highest Latency do astronomicznych wartości. Peak highest Latency powstaje w danej VM gdzie chyba ostro pracuje z małymi pliczkami ale intensywnie! Do tego inne VM które są na hoscie (serwerze), nic nie robią (nudzą się).

Może kontroler złe ustawienie! Adaptec 5805 z 512MB.

Jeszcze raz posprawdzam logi ESXi ale puki co nie mogę nic ciekawego znaleść.
Link do wypowiedziLink

konto usunięte

Temat: Wydajność - problem z data storage

Ja stawiam na polityke multipathingu.
http://www.goldenline.pl/forum/2231488/hitachi-vsp-wys...
http://www.goldenline.pl/forum/2643784/ustawianie-roun...

Edit:
Nie wiem jaki masz storage, ale podam przyklad ktory zdarzyl sie wczoraj.
Tym razem padlo na gbicka. Uplink ciagnal w dol caly FC switch. Dopiero po wylaczniu portu, wszystko wrocilo do normy.

Czesto jak cos sie dzieje ze VMDK, patrz storage, mozna to zauwarzyc w Event w Windows.
W zakladce System pojawi sie blad ID 129 LSA_SAS. To juz daje nam do myslenia.Rafal S. edytował(a) ten post dnia 19.06.12 o godzinie 08:20
Link do wypowiedziLink
Tomasz Zieliński

Tomasz Zieliński Ignorant IT

Temat: Wydajność - problem z data storage

A jaki masz typ dysków wirtualnych?

TO o czym Rafał pisze też wartłoby zweryfikować.
Link do wypowiedziLink
Dariusz Rutyna

Dariusz Rutyna Administrator
vSphere, Windows
2008 R2 AD, Linux,
SQL, My...

Temat: Wydajność - problem z data storage

Ja kiedyś miałem problem z wydajnością VM na macierzy, co się okazało miałem uszkodzony kable FC, co dziwniejsze wszystko działało tylko zamiast przesyłu 4Gb/s dawało sporo mniej i na switchu FC można było zaobserwować dużą ilość błędów na danym porcie.
Link do wypowiedziLink
Krzysztof K.

Krzysztof K. Administrator
systemów IT i sieci
- otwarty na
propozycje...

Temat: Wydajność - problem z data storage

Tomasz Zieliński:
A jaki masz typ dysków wirtualnych?

TO o czym Rafał pisze też wartłoby zweryfikować.
Sprawdziłem. u mnie LUN był ustawiony na Fixed. Zmieniłem na Most Recently Used. Dodam, że mam lokalny storage (RAID5) i tylko jeden LUN.

Teraz obserwuje jak to chodzi. Ogólnie nadal pojawiają się skoki W sumie zmiana nie powinna być odczuwalna bo nie używałem wiele LUNów. Niestety dotychczas tak mocno nie wnikałem w te sprawy i obecnie studiuje te zagadnienia. Więc mogę w tej chwili mylić pojęcia.

Przy tworzeniu maszyn wybierałem domyślne ustawienia. Potem usuwałem zbędne urządzenia jak FDD, USB, Audio.
W VM jest Kontroler SCSI typu LSI Logic SAS.

Sprawdziłem sobie kopiowanie dużego pliku. np. na stacji roboczej z SSD (szt.1) z jednego folderu do drugiego i uzyskuje transfer rzędu min 180MB. Na serwerze w VM Windows 2008 R2 max 150 MB i nie raz utyka na milisekundy!, że spada transfer do 100MB.
W HddTune dla Stacji roboczej z SSD max 200MB min 194MB a dla VM z Windows Server 2008 R2 HddTune max 189MB min 102 MB.

[img]
Obrazek
</img]

Przypomnę, że serwer ma Kontoler RAID5 z 6 dysków SSD (
A-DATA SSD S599 128GB 2,5cala SATA2 TRIM RAID (AS599S-128GM-C)) oraz zainstalowany sterownik w ESXi 5 od kontrolera. Za mała różnica na korzyść RAID5 a stacją roboczą! Nie sądzę aby fatalnie dobranie size stripe i innych opcji w RAID tak beznadziejnie dawały wyniki.

Link do producenta moich dysków http://www.adata-group.com/index.php?action=product_sp...

Szkoda, że nie robiłem testów, gdy był zainstalowane Win Serv bezpośrednio na serwerze z RAID5. Pamiętam, że system w parę sekund uruchamiał się co robiło wrażenie.

Przed chwilą natrafiłem na test karty Adaptec 5805Z
http://www.tweaktown.com/reviews/3129/adaptec_raid_580...

Można zobaczyć sobie jakie transfery można osiągnąć na dyskach z 8x Seagate ES.2 1TB drives as well as three Seagate 15K.7 drives.Krzysztof Rusin edytował(a) ten post dnia 19.06.12 o godzinie 14:43
Link do wypowiedziLink

konto usunięte

Temat: Wydajność - problem z data storage

Krzysztof Rusin:
W esxi jest anomalia z parametrem Highest Latency dla VM AD wynosi 180362195.
Chciałbym zauważyć, że 180362195 milisekund to jest ponad 2 dni...
To są wartości "z kosmosu".

Nie masz jakiejś zabytkowej wersji firmware'u w tym kontrolerze Adapteca? Stary firmware może nie być kompatybilny z driverem, który jest w Twoim ESXi 5.Marcin G. edytował(a) ten post dnia 20.06.12 o godzinie 00:59
Link do wypowiedziLink

konto usunięte

Temat: Wydajność - problem z data storage

Krzysztof Rusin:
zainstalowany sterownik w ESXi 5 od kontrolera.
W jakiej wersji masz zainstalowany ten sterownik od Adapteca?Marcin G. edytował(a) ten post dnia 20.06.12 o godzinie 00:59
Link do wypowiedziLink
Tomasz Zieliński

Tomasz Zieliński Ignorant IT

Temat: Wydajność - problem z data storage

Marcin G.:
To są wartości "z kosmosu".


Po prostu my to lepiej liczymy niż vmware. Ja to samo obserwuję u siebie.

Z tego co opisałeś to wygląda rzeczywiście na jakiś problem hardłerowo/driverowy, ale z tym sprzętem który masz nie mam doświadczenia. Looknij czy nie ma nowszych wersji firmware/drivers i czy producent nie wydał jakiś release not do tych wersji które posiadasz obecnie.

A jak już się chwalimy anomalniami to ja w Brokadzie miałem flapowanie jednego GBICa dopóki mu na sztywno nie ustawiłem prędkości.
Link do wypowiedziLink
Tomasz Zieliński

Tomasz Zieliński Ignorant IT

Temat: Wydajność - problem z data storage

A na jakość macierzy ja mam prosty test. Pod ESX5.0 zakładasz VM z dyskiem ok 20GB w standardzie Eager Zeoed.

Tylko najlepiej powyłączać wszystkie VM-y na tej macierzy, czyli zabawa z cyklu zabieramy dzieci na niedzielę do pracy.

Albo system przeżyje, albo nie. :)
Link do wypowiedziLink

konto usunięte

Temat: Wydajność - problem z data storage

Tomasz Zieliński:
Marcin G.:
To są wartości "z kosmosu".


Po prostu my to lepiej liczymy niż vmware. Ja to samo obserwuję u siebie.
Zaprawde nie wiem jak wy te srodowiska konfigurujecie. Moze wy hyper-v z naklejka VMware macie :P
Sprawdzilem na szybko ze 20 maszyn i tylko jedna przekracza wartosci 50msec (52). Reszta ponizej. Zaraz jakis raport sie zrobi zeby wszystko sprawdzic.

http://communities.vmware.com/message/1896124
Marcin G.:
Krzysztof Rusin:
W esxi jest anomalia z parametrem Highest Latency dla VM AD wynosi 180362195.
Chciałbym zauważyć, że 180362195 milisekund to jest ponad 2 dni...
To są wartości "z kosmosu".
W rzeczy samejRafal S. edytował(a) ten post dnia 20.06.12 o godzinie 08:45
Link do wypowiedziLink
Krzysztof K.

Krzysztof K. Administrator
systemów IT i sieci
- otwarty na
propozycje...

Temat: Wydajność - problem z data storage

Marcin G.:
Krzysztof Rusin:
zainstalowany sterownik w ESXi 5 od kontrolera.
W jakiej wersji masz zainstalowany ten sterownik od Adapteca?
C:\Users\administrator.CORP>arcconf getversion
Controllers found: 1
Controller #1
==============
Firmware : 5.2-0 (16343)
Staged Firmware : 5.2-0 (16343)
BIOS : 5.2-0 (16343)
Driver : 1.1-7 (28700)
Boot Flash : 5.2-0 (16343)

sterowniki zainstalowane w ESXi 5
6 Feb 2012 AACRAID Driver RPMs v1.1.7-28700 for Vmware AACRAID Driver RPMs v1.1.7-28700 for VMware ESX 4.1 Classic and ESXi 4.1 and 5.0

A już są nowsze
18 May 2012 AACRAID Driver v1.1.7-29100 for VMware AACRAID Driver v1.1.7-29100 for VMware ESX 4.1 Classic and ESXi 4.1 and 5.0

Na stronie producenta widać, że dosyć często aktualizują frimware do mojego kontrolera.
Obecnie mam wersje
8 Dec 2008 Adaptec RAID 5805 Firmware Build 16343

A już jest
18 May 2012 Adaptec RAID 5805 Firmware Build 18948

A między czasie było 8 aktualizacji.

Bardzo dziękuje za podsunięcie dobrego pomysłu. Teraz będę musiał update zrobić. Ale czy to nie przeora mi ustawień RAID. (ustawienia woluminów itd). Ale to idzie przeboleć a nawet może lepiej bo zmienię size stripe na 64 KBKrzysztof Rusin edytował(a) ten post dnia 20.06.12 o godzinie 09:19
Link do wypowiedziLink
« Wróć do tematów
Odpowiedz

Podobne tematy





Wyślij zaproszenie do
Anuluj