Temat: raid 5

Andrzej Zieliński:

Jeśli masz 3 dyski to na wszystkich 3 musisz zrobić RAID5 i nie masz możliwości zdefiniowania hot-spare (do tego musiałbyś mieć 4 dyski dla RAID5).

Dokładnie, rób 5 bez wahania. Obecne kontrolery już nie spowalniają tak jak kiedyś, zostaje minimalny narzut na same dyski.
Kiedy testowałem aktywnego squida dla ponad 1000 osób, 40Mbit, nie zauważyłem aby były jakiekolwiek różnice w RAID2 vs RAID5.

Temat: raid 5

Czy zna ktoś artykuły pokazujące różnice w wydajności (odczyt/zapis oraz IOPS ) między RAID 0; 1; 5; 10; przy 5 dyskach lub więcej?

Nie wiem co byście polecili do serwera z wirtualizacją dla systemów operacyjnych. Posiadam 6 dysków. Nie wiem czy dać RAID 5 czy lepiej RAID 10. Raid 5 da większą pojemność ale czy szybsze będzie od RAID 10!

Dane trzymane będą na innej macierzy dyskowej. Interesuje mnie macierz do maszyn wirtualnych.Krzysztof Rusin edytował(a) ten post dnia 04.06.11 o godzinie 10:10

Temat: raid 5

Krzysztof Rusin:
Czy zna ktoś artykuły pokazujące różnice w wydajności (odczyt/zapis oraz IOPS ) między RAID 0; 1; 5; 10; przy 5 dyskach lub więcej?

Nie wiem co byście polecili do serwera z wirtualizacją dla systemów operacyjnych. Posiadam 6 dysków. Nie wiem czy dać RAID 5 czy lepiej RAID 10. Raid 5 da większą pojemność ale czy szybsze będzie od RAID 10!

Dane trzymane będą na innej macierzy dyskowej. Interesuje mnie macierz do maszyn wirtualnych.

Krzysztof, jeżeli dane trzymane będą na innej przestrzeni dyskowej, to najszybszym - chociaż nie najbezpieczniejszym poziomem raidu będzie 0, na 2 dyskach. Nieoficjalny ranking kontrolerów raidowych (serwery)mówi iż kolejny jest raid1, później raid0 na jednym dysku (lub JOBD), raid10, raid5, raid6 (ADG).
To tyle z doświadczenia.
Ranking rankingowi nierówny - zmiana ilości/typu dysków, kontrolera, rodzaju obciążeń może błyskawicznie wywrócić cały ranking do góry nogami.

Temat: raid 5

Marcin Bojko:

Andrzej Zieliński:

Jeśli masz 3 dyski to na wszystkich 3 musisz zrobić RAID5 i nie masz możliwości zdefiniowania hot-spare (do tego musiałbyś mieć 4 dyski dla RAID5).

Dokładnie, rób 5 bez wahania. Obecne kontrolery już nie spowalniają tak jak kiedyś, zostaje minimalny narzut na same dyski.
Kiedy testowałem aktywnego squida dla ponad 1000 osób, 40Mbit, nie zauważyłem aby były jakiekolwiek różnice w RAID2 vs RAID5.

Marcinie, a jakie jest Twoje zdanie (doświadczenie) odnośnie awaryjności poszczególnych RAID5 lub RAID6?

Pytam dlatego, że ostatni zdarzyła mi się taka historia z RAID5, który miał 1 dysk HS i niestety z powodu awarii prądu w jednej z półek macierzy wyleciały jednocześnie 2 dyski, a dysk HS nawet nie zareagował.

Temat: raid 5

Dominik Grzywaczewski:

Marcinie, a jakie jest Twoje zdanie (doświadczenie) odnośnie awaryjności poszczególnych RAID5 lub RAID6?

Pytam dlatego, że ostatni zdarzyła mi się taka historia z RAID5, który miał 1 dysk HS i niestety z powodu awarii prądu w jednej z półek macierzy wyleciały jednocześnie 2 dyski, a dysk HS nawet nie zareagował.

Mniej więcej dokładnie tak jak Twoje - to znaczy w warunkach kontrolowanych, hs przejmuje pięknie funkcję dysku failed (albo prefailed), wszystko działa zgodnie z manualem.

Niestety, w sytuacjach o których mówisz, hs nie miał szans na zadziałanie - przy 2 dyskach macierz z optimal przechodzi do failed (pomijając degraded) i żaden automat już tego nie rozwiąże. Rozwiązaniem jest wymuszenie dysków do online - jest mała szansa iż zadziała.

Kiedyś, mają pod opieką prawie 800 identycznych maszyn miałem przez 3 lata 2 przypadki, podczas których kontroler odchodząc z tego świata zostawiał dyski w stanie tak zeskramblowanym iż żadne recovery się nie powodziło - OS'y miały połowę plików porozwalanych.

Co do ADG - jeżeli wymagasz funkcjonalności i szybkości RAID5 (dużo dysków w półce, chęć podniesienia poziomu zabezpieczeń, parcie na jak największy poziom zabezpieczenia w stosunku do odzyskanej przestrzeni dyskowej) - to jest on dobrym rozwiązaniem. Trzeba jednak pamiętać że adg to tak naprawdę jeden (złudny) poziom zabezp. wyżej niż raid5, gdyż kontroler niestety steruję całością.Marcin Bojko edytował(a) ten post dnia 04.06.11 o godzinie 11:39

Temat: raid 5

Krzysztof Rusin:
Czy zna ktoś artykuły pokazujące różnice w wydajności (odczyt/zapis oraz IOPS ) między RAID 0; 1; 5; 10; przy 5 dyskach lub więcej?

Nie wiem co byście polecili do serwera z wirtualizacją dla systemów operacyjnych. Posiadam 6 dysków. Nie wiem czy dać RAID 5 czy lepiej RAID 10. Raid 5 da większą pojemność ale czy szybsze będzie od RAID 10!

Dane trzymane będą na innej macierzy dyskowej. Interesuje mnie macierz do maszyn wirtualnych.

RAID 5 będzie wolniejszy przy zapisie niż RAID10, przy odczycie natomiast może być nawet szybszy (chociaż to zależy głównie od kontrolera). Systemy operacyjne wykonują głównie odczyty więc bez problemów wystarczy RAID5 - u mnie wszystkie wirtualki stoją na RAID5 SATA 7.2K i działają (nie gorzej niż gdy stały na RAID10 15K).

RAID5 zabezpiecza tylko przed uszkodzeniem 1 dysku więc w przypadku uszkodzenia 2 nie ma szans na przetrwanie tej awarii - HS nic nie pomoże bo on musi mieć czas na odbudowę.Andrzej Zieliński edytował(a) ten post dnia 04.06.11 o godzinie 17:00

Temat: raid 5

"Problem" z RAID 5/6 pojawia się przy dużej ilości losowego IO, bo zmiana 1 sektora powoduje odczyt z wszystkich dysków, przeliczenie sumy i zapis sektora + checksumy. Cache na sprzętowym kontrolerze pomaga ale... cache w końcu się skończy ;]. Oraz restore RAID5/6 trwa znacznie dłużej niż RAID1/10 (musi przemielić wszystkie dyski i policzyć sumy a nie proste cp jak to robi RAID1/10) oraz wydajność macierzy będzie dużo gorsza (chyba że damy restore niski priorytet ale wtedy będzie jeszcze dłużej trwał).

Ja jak mam wybierać to RAID1/10 (najlepiej) do baz i podobnych (rzeczy wymagających max. wydajności), reszta raid5/6 (mało zmarnowanego miejca)

Temat: raid 5

Mariusz Gronczewski:
"Problem" z RAID 5/6 pojawia się przy dużej ilości losowego IO, bo zmiana 1 sektora powoduje odczyt z wszystkich dysków, przeliczenie sumy i zapis sektora + checksumy.

Zapis/odczyt jest blokowy, stąd uniezależnienie zmiany w pliku od zmiany na dysku.

Cache na sprzętowym kontrolerze pomaga ale... cache w końcu się skończy

Cache załatwia całą operację ;)

;]. Oraz restore RAID5/6 trwa znacznie dłużej niż RAID1/10 (musi przemielić wszystkie dyski i policzyć sumy a nie proste cp jak to robi RAID1/10) oraz wydajność macierzy będzie dużo gorsza (chyba że damy restore niski priorytet ale wtedy będzie jeszcze dłużej trwał).

Wiesz, w obecnym stanie rzeczy, hw realizuje to z bardzo niskim narzutem, to już nie czasy i960 ;)

Ja jak mam wybierać to RAID1/10 (najlepiej) do baz i podobnych (rzeczy wymagających max. wydajności), reszta raid5/6 (mało zmarnowanego miejca)

Przy serwerowym podejściu, 2 lub trzech dyskach, różnice w i/o miałem na poziomie 10% na rzecz raid1 nad raid5.

Temat: raid 5

Marcin Bojko:

Mariusz Gronczewski:
"Problem" z RAID 5/6 pojawia się przy dużej ilości losowego IO, bo zmiana 1 sektora powoduje odczyt z wszystkich dysków, przeliczenie sumy i zapis sektora + checksumy.

Zapis/odczyt jest blokowy, stąd uniezależnienie zmiany w pliku od zmiany na dysku.

Tak jest blokowy, czyli jak zapiszesz 4 bloki ( zalozmy ze nowiutki dysk z sektorem 4KB, przy starszych jeszcze gorzej) na RAID5/5 dysków ze strip size 64K
to system będzie musiał odczytać 4x4x64/4 = 256 sektorów, po 64 na dysk
potem zmienić ten w którym zapisujemy, policzyć checksumę i następnie zapisać ten blok i checksumę, czyli jeden zapis generuje nam 4(64) operacje odczytu i 2(32) zapisu albo 256/128KB odczytu/zapisu

w rzeczywistości ofc jest dużo lepiej, część odczytów pójdzie z cache kontrolera a request zapisu się zbufuruje ale przy dużych bazach danych gdzie dużo random write po bazie paredziesiąt razy większej od cache zaczyna to mieć znaczenie.

Cache na sprzętowym kontrolerze pomaga ale... cache w końcu się skończy

Cache załatwia całą operację ;)

Ale w końcu się skończy ;]. A jeżeli się nie skończy znaczy że serwer nie jest dociążony a wtedy wybór trybu RAID jest dużo mniej krytyczny

;]. Oraz restore RAID5/6 trwa znacznie dłużej niż RAID1/10 (musi przemielić wszystkie dyski i policzyć sumy a nie proste cp jak to robi RAID1/10) oraz wydajność macierzy będzie dużo gorsza (chyba że damy restore niski priorytet ale wtedy będzie jeszcze dłużej trwał).

Wiesz, w obecnym stanie rzeczy, hw realizuje to z bardzo niskim narzutem, to już nie czasy i960 ;)

Ale IO dysków jest te same niezależnie od tego co jest między nimi a prockiem, mniejszy narzut = wolniejszy restore RAIDu, magiczne pudełka pomiędzy dyskiem a prockiem nic tutaj nie zmienią.

Degraded RAID5/6 dalej będzie wymagał odczytu z wszystkich dysków żeby odtworzyć dane a to jest wolne, nieważne jak dobry kontroler w maszynie siedzi ;]

Ja jak mam wybierać to RAID1/10 (najlepiej) do baz i podobnych (rzeczy wymagających max. wydajności), reszta raid5/6 (mało zmarnowanego miejca)

Przy serwerowym podejściu, 2 lub trzech dyskach, różnice w i/o miałem na poziomie 10% na rzecz raid1 nad raid5.

10% szybciej przy 1 dysku mniej w RAID1, czyli przy 1 dysku więcej mamy wolniejszą matrycę i wolniejszy restore z padu dysku, jeżeżeli porównywać oba to RAID10 vs. RAID5 na np. 4 dyskowej macierzy:
http://www.kendalvandyke.com/2009/02/disk-performance-...

Temat: raid 5

Mariusz Gronczewski:

Ja jak mam wybierać to RAID1/10 (najlepiej) do baz i podobnych (rzeczy wymagających max. wydajności), reszta raid5/6 (mało zmarnowanego miejca)

Przy serwerowym podejściu, 2 lub trzech dyskach, różnice w i/o miałem na poziomie 10% na rzecz raid1 nad raid5.

10% szybciej przy 1 dysku mniej w RAID1, czyli przy 1 dysku więcej mamy wolniejszą matrycę i wolniejszy restore z padu dysku, jeżeżeli porównywać oba to RAID10 vs. RAID5 na np. 4 dyskowej macierzy:
http://www.kendalvandyke.com/2009/02/disk-performance-...

"So can you get RAID 10 performance out of RAID 5? Sort of. Granted, my math was simplistic at best, but it’s obvious that you can’t just add a few extra disks to a RAID 10 array, reconfigure them as RAID 5, and expect to see equivalent performance; it’s probably going to take 2X the disks and practically speaking the numbers just don’t add up to make it worthwhile."

Jak widzisz na wszystko można znaleźć kontrlinki - ja w testach sugerowałem się artykułem:
http://spiralbound.net/blog/2006/09/08/why-modern-raid...
i
http://www.vmdamentals.com/?p=296Marcin Bojko edytował(a) ten post dnia 05.06.11 o godzinie 20:37

Temat: raid 5

Marcin Bojko:

Mariusz Gronczewski:

Ja jak mam wybierać to RAID1/10 (najlepiej) do baz i podobnych (rzeczy wymagających max. wydajności), reszta raid5/6 (mało zmarnowanego miejca)

Przy serwerowym podejściu, 2 lub trzech dyskach, różnice w i/o miałem na poziomie 10% na rzecz raid1 nad raid5.

10% szybciej przy 1 dysku mniej w RAID1, czyli przy 1 dysku więcej mamy wolniejszą matrycę i wolniejszy restore z padu dysku, jeżeżeli porównywać oba to RAID10 vs. RAID5 na np. 4 dyskowej macierzy:
http://www.kendalvandyke.com/2009/02/disk-performance-...

"So can you get RAID 10 performance out of RAID 5? Sort of. Granted, my math was simplistic at best, but it’s obvious that you can’t just add a few extra disks to a RAID 10 array, reconfigure them as RAID 5, and expect to see equivalent performance; it’s probably going to take 2X the disks and practically speaking the numbers just don’t add up to make it worthwhile."

Jak widzisz na wszystko można znaleźć kontrlinki - ja w testach sugerowałem się artykułem:
http://spiralbound.net/blog/2006/09/08/why-modern-raid...

Gościu testuje na wielkości danych 2GB przy 1GB cache kontrolera, nie brzmi to zbyt wiarygodnie ;p już nie mówiąc o tym że 0.4-1.5 GB/sek to troche za dużo jak na random IO z 4 dysków, nawet jeżeli byłbyby to nowoczesne SSD. Ten benchmark to głównie benchmark cache dysku/systemu a nie RAIDów, zwłaszcza przy takim stosunku cache/dysk. IOzone kłamie ;]

Temat: raid 5

Mariusz Gronczewski:

Gościu testuje na wielkości danych 2GB przy 1GB cache kontrolera, nie brzmi to zbyt wiarygodnie ;p już nie mówiąc o tym że 0.4-1.5 GB/sek to troche za dużo jak na random IO z 4 dysków, nawet jeżeli byłbyby to nowoczesne SSD. Ten benchmark to głównie benchmark cache dysku/systemu a nie RAIDów, zwłaszcza przy takim stosunku cache/dysk. IOzone kłamie ;]

Testy wykonywane były 7 lat temu, kiedy powoli popularna teza 'raid10 najlepszym raidem jest' stawała się nieco ... dyskusyjna.
Ponadto nie odnosiłbym parametrów testów do obecnych ...

Równie dobrze mógbył się przyczepić do zestawu badawczego: http://www.kendalvandyke.com/2009/02/disk-performance-...
:)

Temat: raid 5

Marcin Bojko:

Mariusz Gronczewski:

Gościu testuje na wielkości danych 2GB przy 1GB cache kontrolera, nie brzmi to zbyt wiarygodnie ;p już nie mówiąc o tym że 0.4-1.5 GB/sek to troche za dużo jak na random IO z 4 dysków, nawet jeżeli byłbyby to nowoczesne SSD. Ten benchmark to głównie benchmark cache dysku/systemu a nie RAIDów, zwłaszcza przy takim stosunku cache/dysk. IOzone kłamie ;]

Testy wykonywane były 7 lat temu, kiedy powoli popularna teza 'raid10 najlepszym raidem jest' stawała się nieco ... dyskusyjna.
Ponadto nie odnosiłbym parametrów testów do obecnych ...

Równie dobrze mógbył się przyczepić do zestawu badawczego: http://www.kendalvandyke.com/2009/02/disk-performance-...
:)

Jeko numerki chociaż wyglądają realistycznie, to co Ty zlinkowałeś pokazywało transfery ponad GB przy random IO co jest śmieszne (tak jak pisałem iozone do takich testów suxx).
Oraz ten gościu testował chociaż przy sensownej wielkości danych.

Nie pisałem że RAID10 jest odpowiedzią na wszystko, RAID10 jest świetny gdy workload ma dużo losowych zapisów (bazy danych) oraz recovery jest szybkie, RAID5 marnuje mniej miejsca i generalnie troche lepszy przy odczytach ale gdy dysk padnie wydajność idzie do kosza. Wszystko to nie ma znaczenia dopóki load IO nie dobija do limitów dysków ;]

Temat: raid 5

Krzysztof Kania:

Nie rozumiem sensu pytania. W przypadku RAID 5 (RAID 6, etc.) dane są rozrzucane losowo na wszystkie dyski i wszystkie są równorzędne.

To teraz wiemy do czego służy benchmark "Random writes" ;-]

Nie mogłem się powstrzymać ;-)

Krzysztof: Marsz do Wikipedii i proszę odrobić pracę domową z podstaw działania macierzy RAID5/6: http://en.wikipedia.org/wiki/RAID oraz http://en.wikipedia.org/wiki/RAID_5#RAID_5

P.

Temat: raid 5

Piotr Baranowski:

Krzysztof: Marsz do Wikipedii i proszę odrobić pracę domową z podstaw działania macierzy RAID5/6: http://en.wikipedia.org/wiki/RAID oraz http://en.wikipedia.org/wiki/RAID_5#RAID_5

Rozumiem że przeczytałeś dyskusję od początku. Że znasz pytanie na które udzielałem odpowiedzi. Że uwzględniłeś iż nie wdawałem się w szczegóły funkcjonowania RAID i moja wypowiedź powinna być interpretowana w kontekście pytania. Zatem logicznym następstwem jest uznanie że skoro moja odpowiedź wydaje się niezgodna ze stanem faktycznym to właściwą jest jej odwrotność. Zatem rozumiem iż uważasz że dyski w RAID 5 zapisywane są kolejno - zapełniany jest pierwszy, jak skończy się na nim miejsce zapełniamy jest drugi, potem trzeci, .... a w międzyczasie sumy kontrolne lecą na ostatni dysk w macierzy.

Krzysztof

Temat: raid 5

Krzysztof Kania:

Piotr Baranowski:
Krzysztof: Marsz do Wikipedii i proszę odrobić pracę domową z podstaw działania macierzy RAID5/6: http://en.wikipedia.org/wiki/RAID oraz http://en.wikipedia.org/wiki/RAID_5#RAID_5

Rozumiem że przeczytałeś dyskusję od początku. Że znasz pytanie na które udzielałem odpowiedzi....
Krzysztof

Krzysztof, pogrążasz się :)

Temat: raid 5

http://www.acnc.com/raidedu/5

klikajcie w 0,1,2,3,4,5,6 itd... zobaczycie jak i gdzie są zapisywane dane...

Temat: raid 5

Optymalizacja pamięci masowych daje jednak większą swobodę w firmie. Przejrzyj usługi związane z wdrożeniem NAS, serwera w https://synergyit.com.pl/kontakt/ . Zauważ, że możesz osiągnąć obsługę ogromnych ilości danych stosunkowo prostymi metodami. Przeprowadzają pełne wdrożenie.