Temat: Tani server z RAID 0/1/10 pod OpenFiler lub Debian

Witam.
Szukam w miarę tani serwer stojący, obsługujący RAID 0/1/10 z hot swap. Sprzęt ma służyć przede wszystkim jako dysk sieciowy oraz miejsce przechowywania kopii. Myślałem nad zainstalowaniem na nim systemu OpenFiler lub Debiana.

BTW. Czy OpenFiler (bez supportu) jest darmowy dla firm?

Jaki serwery polecacie?

Dziękuję za opinie.

Temat: Tani server z RAID 0/1/10 pod OpenFiler lub Debian

Dominik Głowacki:
Witam.
Szukam w miarę tani serwer stojący, obsługujący RAID 0/1/10 z hot swap. Sprzęt ma służyć przede wszystkim jako dysk sieciowy oraz miejsce przechowywania kopii. Myślałem nad zainstalowaniem na nim systemu OpenFiler lub Debiana.

BTW. Czy OpenFiler (bez supportu) jest darmowy dla firm?

Jaki serwery polecacie?

Dziękuję za opinie.

1) Nie ma tanich serwerów.
2) Kup gotowego NAS'a

Temat: Tani server z RAID 0/1/10 pod OpenFiler lub Debian

Z jednej strony racja, NAS np Synology lub QNAP byłby w tej sytuacji tańszy a sprawował by się tak samo (jak nie lepiej) niż np. jakiś Proliant. Jednak jak np kiedyś zajdzie potrzeba postawienia w firmie np MSSQL to będę miał na czym ją postawić (oczywiście uprzednio kupując system W.).

Temat: Tani server z RAID 0/1/10 pod OpenFiler lub Debian

Oj wiele możliwości jest w tym temacie.
Jaki budżet i do czego.
jakie są wymagana wobec wydajność i pojemności
bezpieczeństwo
czy rozwiązanie musi oferować wysoką dostępność.
itd.

Ale myślę, że u ciebie jest bieda w firmie tak więc pieniędzy zero a wymagań multum.

Ja w każdym razie jakoś nie lubię gotowych tanich NAS np. qnap i innych ponieważ mają swoje softy/ kontrolery raid. A jak padnie NAS a nie dyski. To odczytanie danych z dysków wymagać będzie znalezienia takiego same urządzenie NAS abyś mógł odczytać dane. A jeszcze może potem okazać, że frimware było inne (w NAS) i już nie będzie potrafił odczytać konfiguracje RAID z dysków.

Przy tak małych budżetach to wolę zwykły komputer i wsadzić backplane np.http://www.komputronik.pl/product/116146/Sprzet_komput...
zainstalować nexentastor/freenas/openfile i w nich stworzyć RAID (softwerowy).

Dlaczego nie korzystam z kontrolera RAID w wbudowanego w płytę lub kontrolera?
Bo to zazwyczaj raid softwerowy (w płycie). Dwa gdy masz jakiś fajny sprzętowy kontroler to powinieneś mieć w szafce zapasowy, gdy padnie ci kontroler.

Tak więc w tak niskich budżetach lepiej mieć nexentastor i system plików ZFS bo jak padnie komputer przeniesiesz pendrive z systemem do innego komputera wraz dyskami i dalej możesz korzystać z danych znajdujących się na dyskach.

Kilka uwag
Mam złe doświadczenie z freenas w konfiguracji RAID i na forach także spotkałem się z postami negatywnymi.
Wykorzystuje Freenas ale wtedy nie tworze RAID. Działa bardzo stabilnie i nigdy nie zdarzyło się, żeby dane stracił np. przez twardy reset, zaniku napięcia itd.

Dobrą opinie mam o Nexentastor. Już mi w serwerze pełniącym jako nas dla backup padły dyski i nie zdarzyło mi się aby dane były uszkodzone. ZFS jest królem jak dla mnie.

RAID sprzętowy korzystam w miejscach, gdzie wymaga dużej wydajności np serwer dla wirtualizacji.

Gdy ma się budżet to zmienia się całkowicie podejście. Bo wtedy kupujesz markowy sprzęt ze wsparciem technicznym i wtedy jak coś się dzieje czy padnie kontroler w NAS. To support szybko temu zaradzi i nie zostaniesz na lodzie bo kontrolera nie masz.

Sądzę, że u ciebie nie ma dużych wymagań. Tak więc rozwiązania z openfiler czy innych softwerowych NAS w zupełności starczy jako dysk sieciowy dla firmy.Krzysztof Rusin edytował(a) ten post dnia 06.02.13 o godzinie 14:17

Temat: Tani server z RAID 0/1/10 pod OpenFiler lub Debian

HP N36L lub HP N40L

Temat: Tani server z RAID 0/1/10 pod OpenFiler lub Debian

Krzysztof Rusin:
RAID sprzętowy korzystam w miejscach, gdzie wymaga dużej wydajności np serwer dla wirtualizacji.

Dla mnie brzmi jak baja, co Ci da kontroler sprzetowy do wirtualek jak wąskim gardłem jest nie RAID tylko dyski i niski IOPS no chyba, że mowa o raidzie na ssd. Tym bardziej, że soft raid jak ZFS oferuje cachowanie co robi ogromną różnice w kwesti wydajności dla wirtualizacji.
Troche tak jak ludowe podania o super szybkim iSCSI ktory wykreca X tysięcy IOPS... przy transferach blokowych... a przy randomie spada do 1MB/s i kilkudziesieciu IO na sekunde, a później sie dziwią, że dziesiąt tysięcy wydali na serwery i półki, a działa gorzej niż źle.

Co do samego wątka:
Nie bierz sprzętowego RAID chyba, że naprawde musisz. ZFS wystarczy Ci w zupełności i tak jak ktoś zauważył wyżej jak coś padnie to możesz podpiąć dyski do innej maszyny. Ostatnio do firmy zbudowaliśmy serwerek z FreeNAS'em na pokładzie (8x sata hdd), blokowe transfery to ~500MB/s zapis i ~900MB/s odczyt, używamy do wirtualek, podpiety cache na SSD i w testach IO write 4k 100% random nie spadło poniżej ~900IOPS, ponad 50 wirtualek i daje rade po NFS a kosztowało ułamek jakiegokolwiek enterprai($)owego rozwiązania :)

przykładowy serwerek tego typu z benchmarkiem:
http://lukasz.cepowski.com/projects/storage-v2-the-spe...Łukasz C. edytował(a) ten post dnia 06.02.13 o godzinie 17:26

Temat: Tani server z RAID 0/1/10 pod OpenFiler lub Debian

Łukasz C.:

Krzysztof Rusin:
RAID sprzętowy korzystam w miejscach, gdzie wymaga dużej wydajności np serwer dla wirtualizacji.

Dla mnie brzmi jak baja, co Ci da kontroler sprzetowy do wirtualek jak wąskim gardłem jest nie RAID tylko dyski i niski IOPS no chyba, że mowa o raidzie na ssd.

Zebranie myśli na na szybko nie uchwycą wszystkich możliwości jakie powinny być brane pod uwagę.

Tak więc nie ma potrzeby od razu pisać, że to "baja" tylko dodać od siebie o pominiętym elemencie.Krzysztof Rusin edytował(a) ten post dnia 06.02.13 o godzinie 20:07

Temat: Tani server z RAID 0/1/10 pod OpenFiler lub Debian

Łukasz C.:

Krzysztof Rusin:
RAID sprzętowy korzystam w miejscach, gdzie wymaga dużej wydajności np serwer dla wirtualizacji.

przykładowy serwerek tego typu z benchmarkiem:
http://lukasz.cepowski.com/projects/storage-v2-the-spe...

Co zaważyło o wyborze SATA a nie SAS?

Temat: Tani server z RAID 0/1/10 pod OpenFiler lub Debian

Piotr Rusoł:

Łukasz C.:

Krzysztof Rusin:
RAID sprzętowy korzystam w miejscach, gdzie wymaga dużej wydajności np serwer dla wirtualizacji.

przykładowy serwerek tego typu z benchmarkiem:
http://lukasz.cepowski.com/projects/storage-v2-the-spe...

Co zaważyło o wyborze SATA a nie SAS?

Polecam obejrzeć sobie wykresy dysków talerzowych i SSD.
http://www.goldenline.pl/forum/3107950/wydajnosc-kontr...

O ile dobrze pamiętam były podane dla dysków SAS 7200, SAS 10000 oraz SSDKrzysztof Rusin edytował(a) ten post dnia 06.02.13 o godzinie 20:43

Temat: Tani server z RAID 0/1/10 pod OpenFiler lub Debian

Piotr Rusoł:

Łukasz C.:

Krzysztof Rusin:
RAID sprzętowy korzystam w miejscach, gdzie wymaga dużej wydajności np serwer dla wirtualizacji.

przykładowy serwerek tego typu z benchmarkiem:
http://lukasz.cepowski.com/projects/storage-v2-the-spe...

Co zaważyło o wyborze SATA a nie SAS?

Okazało się, że ZFS w naszej konfiguracji z ZIL i L2ARC na dyskach SSD, system właściwie nie używa dysków magnetycznych :)



Zapisy lecą do ZIL (ada5) i jedynie raz na 10 sekund dane są zrzucane na dysk. Natomiast odczyty są cachowane na drugim dysku ssd (ada4), ktory jest ustawiony w tryb serwowania danych a nie tylko metadanych. Tak wiec dyski są obciążone jedynie w najbardziej pesymistycznych przypadkach, np: 100% random 4k write i wtedy wydajność spada do minimalnej ok 900IOPS w wirtualce po NFS (async), średnio mamy stale ok 2000IOPS przy pojemności ok 1.8TB.

Minus naszego rozwiązania: ZIL jest na SSD, daje nam to maks ok 300mbit randomowego transferu - po prostu SSD nie wyrabia, wyłączenie ZIL powoduje, że wszystkie zapisy są trzymane w pamięci więc jest to górne ograniczenie wydajności przy randomowym zapisie i wynosi on u nas ok 450mbit.

Krótko: skoro hdd w tej konfiguracji są prawie nie używane to nie ma sensu przepłacać na SAS.Łukasz C. edytował(a) ten post dnia 06.02.13 o godzinie 21:22

Temat: Tani server z RAID 0/1/10 pod OpenFiler lub Debian

Łukasz C.:

Piotr Rusoł:

Łukasz C.:

Krzysztof Rusin:
RAID sprzętowy korzystam w miejscach, gdzie wymaga dużej wydajności np serwer dla wirtualizacji.

przykładowy serwerek tego typu z benchmarkiem:
http://lukasz.cepowski.com/projects/storage-v2-the-spe...

Co zaważyło o wyborze SATA a nie SAS?

Okazało się, że ZFS w naszej konfiguracji z ZIL i L2ARC na dyskach SSD, system właściwie nie używa dysków magnetycznych :)



Zapisy lecą do ZIL (ada5) i jedynie raz na 10 sekund dane są zrzucane na dysk. Natomiast odczyty są cachowane na drugim dysku ssd (ada4), ktory jest ustawiony w tryb serwowania danych a nie tylko metadanych. Tak wiec dyski są obciążone jedynie w najbardziej pesymistycznych przypadkach, np: 100% random 4k write i wtedy wydajność spada do minimalnej ok 900IOPS w wirtualce po NFS (async), średnio mamy stale ok 2000IOPS przy pojemności ok 1.8TB.

Minus naszego rozwiązania: ZIL jest na SSD, daje nam to maks ok 300mbit randomowego transferu - po prostu SSD nie wyrabia, wyłączenie ZIL powoduje, że wszystkie zapisy są trzymane w pamięci więc jest to górne ograniczenie wydajności przy randomowym zapisie i wynosi on u nas ok 450mbit.

Krótko: skoro hdd w tej konfiguracji są prawie nie używane to nie ma sensu przepłacać na SAS.

Ok ma to sens.

Popraw mnie jeśli się mylę ale jeśli ada5 padnie pomiędzy zrzutami to pozamiatane?

Temat: Tani server z RAID 0/1/10 pod OpenFiler lub Debian

Piotr Rusoł:
Popraw mnie jeśli się mylę ale jeśli ada5 padnie pomiędzy zrzutami to pozamiatane?

w zfs chyba od wersji v19 jest mozliwosc odlaczenia ZIL (ada5), u mnie jest zfs v28 i moge dodawac/usuwac ada5 z puli w dowolnym momecie (sprawdzalem), jezeli ada5 padnie to dane dalej sa w pamieci ram i zfs poprostu przestaje zapisywac na ada5 a zaczyna zapisywac bezposrednio na dyski magnetyczne co drastycznie obniza wydajnosc IO,
odczyt z ada5 wystapi jedynie po twardym resecie i wlasciwie tylko po to jest - ZIL to mirror danych o zapisach ktore i tak sa trzymane w pamieci.Łukasz C. edytował(a) ten post dnia 07.02.13 o godzinie 08:17

Temat: Tani server z RAID 0/1/10 pod OpenFiler lub Debian

Łukasz C.:

Piotr Rusoł:
Popraw mnie jeśli się mylę ale jeśli ada5 padnie pomiędzy zrzutami to pozamiatane?

w zfs chyba od wersji v19 jest mozliwosc odlaczenia ZIL (ada5), u mnie jest zfs v28 i moge dodawac/usuwac ada5 z puli w dowolnym momecie (sprawdzalem), jezeli ada5 padnie to dane dalej sa w pamieci ram i zfs poprostu przestaje zapisywac na ada5 a zaczyna zapisywac bezposrednio na dyski magnetyczne co drastycznie obniza wydajnosc IO,
odczyt z ada5 wystapi jedynie po twardym resecie i wlasciwie tylko po to jest - ZIL to mirror danych o zapisach ktore i tak sa trzymane w pamieci.

Dzięki za cierpliwość. Czyli tak na prawdę jedyny sposób na wywalenie tego rozwiązania to zabranie zasilania między zapisami na ada5 bo wtedy dane jeszcze na dysk nie poleciały a jedyne miejsce gdzie są to RAM?

Temat: Tani server z RAID 0/1/10 pod OpenFiler lub Debian

Piotr Rusoł:
Dzięki za cierpliwość. Czyli tak na prawdę jedyny sposób na wywalenie tego rozwiązania to zabranie zasilania między zapisami na ada5 bo wtedy dane jeszcze na dysk nie poleciały a jedyne miejsce gdzie są to RAM?

ZIL dziala jak mirror do pamieci: jest operacja zapisu do puli to dane sa w pamieci (SLOG) i w ZIL ("początek dyskow hdd" lub osobne urzadzenie (ada5))
jak odetniesz zasilanie to nie powinno sie nic stac: ada5 to Intel SSD 320 ktory ma super-capacitor, wiec po zaniku zasilania dane ktore do niego wpadly nadal tam sa, wiec po restartcie ZFS odczyta dane ktore sa w ZIL i wczyta je na dyski magnetyczne,
ZIL mozna wylaczyc i wtedy dane sa trzymane tylko w pamieci co powoduje wzrost wydajnosci przy zapisie (u mnie ok 30%) ale wtedy jak cos padnie to tracisz dane
ryzyko ze cos sie zepsuje jest zawsze ale wyglada na to ze calosc jest w miare idioto odporna ;)

Temat: Tani server z RAID 0/1/10 pod OpenFiler lub Debian

To tak dla rozrywki ;)

http://www.youtube.com/watch?v=eULFf6F5Ri8

Temat: Tani server z RAID 0/1/10 pod OpenFiler lub Debian

Łukasz C.:

Piotr Rusoł:
Dzięki za cierpliwość. Czyli tak na prawdę jedyny sposób na wywalenie tego rozwiązania to zabranie zasilania między zapisami na ada5 bo wtedy dane jeszcze na dysk nie poleciały a jedyne miejsce gdzie są to RAM?

ZIL dziala jak mirror do pamieci: jest operacja zapisu do puli to dane sa w pamieci (SLOG) i w ZIL ("początek dyskow hdd" lub osobne urzadzenie (ada5))
jak odetniesz zasilanie to nie powinno sie nic stac: ada5 to Intel SSD 320 ktory ma super-capacitor, wiec po zaniku zasilania dane ktore do niego wpadly nadal tam sa, wiec po restartcie ZFS odczyta dane ktore sa w ZIL i wczyta je na dyski magnetyczne,
ZIL mozna wylaczyc i wtedy dane sa trzymane tylko w pamieci co powoduje wzrost wydajnosci przy zapisie (u mnie ok 30%) ale wtedy jak cos padnie to tracisz dane
ryzyko ze cos sie zepsuje jest zawsze ale wyglada na to ze calosc jest w miare idioto odporna ;)

Tak patrzę ile można jeszcze wycisnąć z tego rozwiązania. A co sądzisz jak by ada5 zamienić na:

1) 2xSSD o mniejszej pojemności ale szybsze pod sprzętową zerówką

lub

2) 2xSAS pod sprzętową zerówką

Nie mam na czym sprawdzić ale na nosa rozwiązanie powinno dostać zdrowego kopa (od 2 do 4 kanałów a nie 1).

Temat: Tani server z RAID 0/1/10 pod OpenFiler lub Debian

Piotr Rusoł:
Tak patrzę ile można jeszcze wycisnąć z tego rozwiązania. A co sądzisz jak by ada5 zamienić na:

1) 2xSSD o mniejszej pojemności ale szybsze pod sprzętową zerówką

lub

2) 2xSAS pod sprzętową zerówką

Nie mam na czym sprawdzić ale na nosa rozwiązanie powinno dostać zdrowego kopa (od 2 do 4 kanałów a nie 1).

Myslalem dokladnie o tym samym, ale:
- jak wylaczysz zil to maks (u mnie) jest ~450mbit wiec tego nie przeskoczysz bo to maks ile system wycisnie
- jak dodasz zil w stripe to teoretycznie powinno pomoc, ale jak pisza ludzie na hardforum.com wydajnosc zil zalezy od opoznien, wiec dwa dyski nadal beda mialy opoznienie porownywalne do jednego mimo ze sekwencyjny transfer bedzie wyzszy. http://hardforum.com/showthread.php?t=1742505&highligh...

aktualnie w "produkcji" w firmie stoi serwerek z sieciowka intel desktop, wymienie na intel server is zobacze czy to cokolwiek pomoze w wydajnosci

Co do ZIL na SAS, o ile sie nie myle to ktos na forum freebsd probowal i chyba nic dobrego z tego nie wyszlo, iostat mowi ze na ZIL wpada nawet 2000 transakcji na sekunde a to ok 10x wiecej niz jeden dysk SAS jest wstanie obsluzycŁukasz C. edytował(a) ten post dnia 09.02.13 o godzinie 00:22