konto usunięte

Temat: Zmieniające się dyski

Witam.
Problem ogólnie znany, tylko że u mnie jest trochę inna sytuacja.
Chodzi o ze po restarcie (nie po każdym) przykładowy dysk zamiast być /dev/sdd1 jest /dev/sdc1.
Myślałem że można by użyć UUID w /etc/fstab, ale...
Ta sytuacja chyba się nie sprawdzi, bo dyski są w macierzy
WARNING: GPT (GUID Partition Table) detected on '/dev/sdb'! The util fdisk doesn't support GPT. Use GNU Parted.


Disk /dev/sdb: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

Device Boot Start End Blocks Id System
/dev/sdb1 1 121602 976762583+ ee GPT

WARNING: GPT (GUID Partition Table) detected on '/dev/sdc'! The util fdisk doesn't support GPT. Use GNU Parted.


Disk /dev/sdc: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

Device Boot Start End Blocks Id System
/dev/sdc1 1 121602 976762583+ ee GPT

WARNING: GPT (GUID Partition Table) detected on '/dev/sdd'! The util fdisk doesn't support GPT. Use GNU Parted.


Disk /dev/sdd: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

Device Boot Start End Blocks Id System
/dev/sdd1 1 121602 976762583+ ee GPT

WARNING: GPT (GUID Partition Table) detected on '/dev/sde'! The util fdisk doesn't support GPT. Use GNU Parted.


Disk /dev/sde: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

Device Boot Start End Blocks Id System
/dev/sde1 1 121602 976762583+ ee GPT

WARNING: GPT (GUID Partition Table) detected on '/dev/sdf'! The util fdisk doesn't support GPT. Use GNU Parted.


Disk /dev/sdf: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

Device Boot Start End Blocks Id System
/dev/sdf1 1 121602 976762583+ ee GPT


i punkty do montowania są
Disk /dev/dm-0: 1099.5 GB, 1099511627776 bytes
255 heads, 63 sectors/track, 133674 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

Disk /dev/dm-0 doesn't contain a valid partition table

Disk /dev/dm-1: 1825.4 GB, 1825361100800 bytes
255 heads, 63 sectors/track, 221920 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

Disk /dev/dm-1 doesn't contain a valid partition table

Disk /dev/dm-2: 322.1 GB, 322122547200 bytes
255 heads, 63 sectors/track, 39162 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

Disk /dev/dm-2 doesn't contain a valid partition table

Disk /dev/dm-3: 429.5 GB, 429496729600 bytes
255 heads, 63 sectors/track, 52216 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

Disk /dev/dm-3 doesn't contain a valid partition table

Disk /dev/dm-4: 324.3 GB, 324324556800 bytes
255 heads, 63 sectors/track, 39430 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

Disk /dev/dm-4 doesn't contain a valid partition table


Jak zatem to łatwo zrobić? Bo każdym restarcie tak jakby macierz wymagała naprawy, chociaż wszystko będzie poprawnie, jak się zrestartuje komputer.
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sde1[5] sdb1[0] sdf1[4] sdd1[2] sdc1[1]
3907049728 blocks level 5, 64k chunk, algorithm 2 [5/4] [UUU_U]
[====>................] recovery = 24.6% (241146720/976762432) finish=177.5min speed=69063K/sec

unused devices: <none>


Dodam że w /etc/mdadm/mdadm.conf mam tylko wpis:
DEVICE partitions
#### /dev/md0 >> raid5
#DEVICE /dev/sd[bcdfg]1


#ARRAY /dev/md0 devices=/dev/sdb1,/dev/sdc1,/dev/sdd1,/dev/sdf1,/dev/sdg1


Czy nie można by dodać może UUID w /etc/mdadm/mdadm.conf?
Tylko że sytuacja z UUID wygląda trochę śmiesznie:
# blkid /dev/sd[bcdef]1
/dev/sdb1: UUID="b01be760-596e-2208-6b66-30c2a0eb0351" TYPE="mdraid"
/dev/sdc1: UUID="b01be760-596e-2208-6b66-30c2a0eb0351" TYPE="mdraid"
/dev/sdd1: UUID="b01be760-596e-2208-6b66-30c2a0eb0351" TYPE="mdraid"
/dev/sde1: UUID="b01be760-596e-2208-6b66-30c2a0eb0351" TYPE="mdraid"
/dev/sdf1: UUID="b01be760-596e-2208-6b66-30c2a0eb0351" TYPE="mdraid"


A to wygląda bez sensu trochę, bo linia ARRAY miałaby w sobie 5 takich samych UUID.
#DEVICE /dev/sd[bcdfg]1
DEVICE partitions
ARRAY /dev/md0 num-devices=5 UUID=b01be760-596e-2208-6b66-30c2a0eb0351, b01be760-596e-2208-6b66-30c2a0eb0351, b01be760-596e-2208-6b66-30c2a0eb0351, b01be760-596e-2208-6b66-30c2a0eb0351, b01be760-596e-2208-6b66-30c2a0eb0351


Teraz wzialem id z urzadzenia /dev/md0

DEVICE partitions

#### /dev/md0 >> raid5
#DEVICE /dev/sd[bcdef]1
ARRAY /dev/md0 num-devices=5 UUID=W5QU9W-cqd2-m3fJ-SBRJ-7g0s-yA2c-6xIb0w


Ktos ma jeszcze jakies pomysly
Pozdrawiam.

konto usunięte

Temat: Zmieniające się dyski

znowu restartnalem komputer i znowu

# mdadm --detail /dev/md0
mdadm: bad uuid: UUID=W5QU9W-cqd2-m3fJ-SBRJ-7g0s-yA2c-6xIb0w
mdadm: ARRAY line /dev/md0 has no identity information.
/dev/md0:
Version : 0.90
Creation Time : Fri Jun 26 09:42:28 2009
Raid Level : raid5
Array Size : 3907049728 (3726.05 GiB 4000.82 GB)
Used Dev Size : 976762432 (931.51 GiB 1000.20 GB)
Raid Devices : 5
Total Devices : 4
Preferred Minor : 0
Persistence : Superblock is persistent

Update Time : Tue Jun 30 17:22:28 2009
State : clean, degraded
Active Devices : 4
Working Devices : 4
Failed Devices : 0
Spare Devices : 0

Layout : left-symmetric
Chunk Size : 64K

UUID : 60e71bb0:08226e59:c230666b:5103eba0
Events : 0.13970

Number Major Minor RaidDevice State
0 8 17 0 active sync /dev/sdb1
1 8 33 1 active sync /dev/sdc1
2 8 49 2 active sync /dev/sdd1
3 0 0 3 removed
4 8 81 4 active sync /dev/sdf1


Gdzie raczej powinno byc wszystkie active
Tomasz Grzelak

Tomasz Grzelak Data Networking
Specialist, Amway
Business Centre
Europe

Temat: Zmieniające się dyski

Witam!

A w jakim sposób masz wykrywane te dyski? Jeśli udev, to można stworzyć regułę, która na podstawie ID dysku bedzie mu zawsze przypisywać tę samą nazwę, np. sda. Tylko nie dam głowy, czy da się to pożenić z raidem...

konto usunięte

Temat: Zmieniające się dyski

Rano wstalem mialem znowu jeden dysk z macierzy removed.
Wiec go dodalem i bylo wporzadku. Teraz zrobilem znowu reboot i znowu

Number Major Minor RaidDevice State
0 8 17 0 active sync /dev/sdb1
1 8 33 1 active sync /dev/sdc1
2 8 49 2 active sync /dev/sdd1
3 0 0 3 removed
4 8 81 4 active sync /dev/sdf1


Non stop ten sam dysk /dev/sde1 (odkad odpialem jeden dysk IDE).

Teraz mysle ze cos z macierzą jest chyba nie tak. Wg mnie powinno byc 4 dyski active i jest spare. Tak jak to zawsze mialem na vmkach.

Temat: Zmieniające się dyski

To czy bedziesz mial 5 active czy 4 active + spare zalezy od tego jak ja stworzyles.

Jezeli chodzi o linuksowy raid to nie znaczenia czy dysk jest sda czy sdj, raid i tak go wykryje, chociaż pamietaj zeby typ partycji byl "Linux raid autodetect" (0xFD chyba). I pokaż co parted pokazuje bo sam fdisk Ci wywala ze nie obsluguje tabel partycji gpt ;]

konto usunięte

Temat: Zmieniające się dyski

Mariusz Gronczewski:
To czy bedziesz mial 5 active czy 4 active + spare zalezy od tego jak ja stworzyles.

Jezeli chodzi o linuksowy raid to nie znaczenia czy dysk jest sda czy sdj, raid i tak go wykryje, chociaż pamietaj zeby typ partycji byl "Linux raid autodetect" (0xFD chyba).
Z tym typem partycji to chyba nie do konca prawda.
Niby za pierwszym razem zrobilem typ FD (chyba :)) na tablicy msdos, ale po reboocie jakos sie wysypalo :)
Potem zmienilem tablice na GPT, i mi sie wydaje ze Parted nie osluguje typu : Linux Raid autodetect.
I pokaż co parted pokazuje bo sam fdisk Ci wywala ze nie obsluguje tabel partycji gpt ;]

# parted /dev/sde
GNU Parted 1.8.8
Using /dev/sde
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) print
Model: ATA SAMSUNG HD103UJ (scsi)
Disk /dev/sde: 1000GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt

Number Start End Size File system Name Flags
1 17.4kB 1000GB 1000GB 1

(parted)


Wszyskie dyski w parted zrobilem na XFS, potem LVM sformatowane tez na XFS.
RAID tworzylem jak zawsze, tylko wczesniej na vmkach i zawsze mialem 4 active i jeden spare.

stworzy sie raid raczej standardowo

mdadm -Cv /dev/md0 -l raid5 -n 5 /dev/sd[bcdef]1 czy jakos tak
x - raczej nei trzeba bo raid5 bierze standardowo jeden spare

konto usunięte

Temat: Zmieniające się dyski

Sytuacja na chwile obecna.
Restartne komputer o polnocy i pewnie znowu bedzie removed
# mdadm --detail /dev/md0
/dev/md0:
Version : 0.90
Creation Time : Fri Jun 26 09:42:28 2009
Raid Level : raid5
Array Size : 3907049728 (3726.05 GiB 4000.82 GB)
Used Dev Size : 976762432 (931.51 GiB 1000.20 GB)
Raid Devices : 5
Total Devices : 5
Preferred Minor : 0
Persistence : Superblock is persistent

Update Time : Wed Jul 1 16:27:20 2009
State : clean, degraded, recovering
Active Devices : 4
Working Devices : 5
Failed Devices : 0
Spare Devices : 1

Layout : left-symmetric
Chunk Size : 64K

[b] Rebuild Status : 9% complete[/b]

UUID : 60e71bb0:08226e59:c230666b:5103eba0
Events : 0.22650

Number Major Minor RaidDevice State
0 8 17 0 active sync /dev/sdb1
1 8 33 1 active sync /dev/sdc1
2 8 49 2 active sync /dev/sdd1
5 8 65 3 spare rebuilding /dev/sde1
4 8 81 4 active sync /dev/sdf1


# mdadm --query /dev/md0
/dev/md0: 3726.05GiB raid5 5 devices, 1 spare. Use mdadm --detail for more detail.

Temat: Zmieniające się dyski

Tak jak masz stworzone to masz 0 spare + 5 urządzeń aktywnych (raid devices = total devices) (tu ciekawostka, jak linux tworzy raid 5 z np. 5 dysków wygląda to tak że tworzy matryce degraded z 4, dolacza 5 i uruchamia recovery)

Czyli w skrocie odpalasz kompa i nie widzi jednego dysku z raida czy dysk "znika" podczas pracy systemu ? Przeglądałeś logi kernela, wywala coś ?

konto usunięte

Temat: Zmieniające się dyski

Mariusz Gronczewski:
Tak jak masz stworzone to masz 0 spare + 5 urządzeń aktywnych (raid devices = total devices) (tu ciekawostka, jak linux tworzy raid 5 z np. 5 dysków wygląda to tak że tworzy matryce degraded z 4, dolacza 5 i uruchamia recovery)

Czyli w skrocie odpalasz kompa i nie widzi jednego dysku z raida czy dysk "znika" podczas pracy systemu ? Przeglądałeś logi kernela, wywala coś ?

dmesg | grep raid
[ 15.022956] raid6: int64x1 2679 MB/s
[ 15.094955] raid6: int64x2 3364 MB/s
[ 15.166731] raid6: int64x4 3599 MB/s
[ 15.238759] raid6: int64x8 2109 MB/s
[ 15.310921] raid6: sse2x1 5415 MB/s
[ 15.382508] raid6: sse2x2 7736 MB/s
[ 15.454911] raid6: sse2x4 8930 MB/s
[ 15.458957] raid6: using algorithm sse2x4 (8930 MB/s)
[ 15.463096] md: raid6 personality registered for level 6
[ 15.467301] md: raid5 personality registered for level 5
[ 15.471478] md: raid4 personality registered for level 4
[ 15.525461] raid5: device sdb1 operational as raid disk 0
[ 15.529183] raid5: device sdf1 operational as raid disk 4
[ 15.529600] raid5: device sdd1 operational as raid disk 2
[ 15.533457] raid5: device sdc1 operational as raid disk 1
[ 15.540894] raid5: allocated 5324kB for md0
[ 15.544348] raid5: raid level 5 set md0 active with 4 out of 5 devices, algorithm 2



Jul 1 21:11:55 debian kernel: [ 15.463096] md: raid6 personality registered for level 6
Jul 1 21:11:55 debian kernel: [ 15.467301] md: raid5 personality registered for level 5
Jul 1 21:11:55 debian kernel: [ 15.471478] md: raid4 personality registered for level 4
Jul 1 21:11:55 debian kernel: [ 15.485644] md: md0 stopped.
Jul 1 21:11:55 debian kernel: [ 15.505462] md: bind<sdc1>
Jul 1 21:11:55 debian kernel: [ 15.509538] md: bind<sdd1>
Jul 1 21:11:55 debian kernel: [ 15.516636] md: bind<sdf1>
Jul 1 21:11:55 debian kernel: [ 15.520884] md: bind<sdb1>
Jul 1 21:11:55 debian kernel: [ 15.525461] raid5: device sdb1 operational as raid disk 0
Jul 1 21:11:55 debian kernel: [ 15.529183] raid5: device sdf1 operational as raid disk 4
Jul 1 21:11:55 debian kernel: [ 15.529600] raid5: device sdd1 operational as raid disk 2
Jul 1 21:11:55 debian kernel: [ 15.533457] raid5: device sdc1 operational as raid disk 1
Jul 1 21:11:55 debian kernel: [ 15.540894] raid5: allocated 5324kB for md0
Jul 1 21:11:55 debian kernel: [ 15.547883] RAID5 conf printout:
Jul 1 21:11:55 debian kernel: [ 15.551280] --- rd:5 wd:4
Jul 1 21:11:55 debian kernel: [ 15.554603] disk 0, o:1, dev:sdb1
Jul 1 21:11:55 debian kernel: [ 15.557846] disk 1, o:1, dev:sdc1
Jul 1 21:11:55 debian kernel: [ 15.561460] disk 2, o:1, dev:sdd1
Jul 1 21:11:55 debian kernel: [ 15.564568] disk 4, o:1, dev:sdf1
Jul 1 21:11:55 debian kernel: [ 15.602608] PM: Starting manual resume from disk


czyli znowu brakuje dysku /dev/sde1

A czy czasami domyslanie madadm przy raid5 nie bierze jednego dysku na spare ??

ZNowu mam

cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdb1[0] sdf1[4] sdd1[2] sdc1[1]
3907049728 blocks level 5, 64k chunk, algorithm 2 [5/4] [UUU_U]



i

mdadm --detail /dev/md0
/dev/md0:
Version : 0.90
Creation Time : Fri Jun 26 09:42:28 2009
Raid Level : raid5
Array Size : 3907049728 (3726.05 GiB 4000.82 GB)
Used Dev Size : 976762432 (931.51 GiB 1000.20 GB)
Raid Devices : 5
Total Devices : 4
Preferred Minor : 0
Persistence : Superblock is persistent

Update Time : Wed Jul 1 21:11:56 2009
State : clean, degraded
Active Devices : 4
Working Devices : 4
Failed Devices : 0
Spare Devices : 0

Layout : left-symmetric
Chunk Size : 64K

UUID : 60e71bb0:08226e59:c230666b:5103eba0
Events : 0.22902

Number Major Minor RaidDevice State
0 8 17 0 active sync /dev/sdb1
1 8 33 1 active sync /dev/sdc1
2 8 49 2 active sync /dev/sdd1
3 0 0 3 removed
4 8 81 4 active sync /dev/sdf1


ledwo co reboot zrobilem i bylo wszystko OK po poleceniu

madadm --manage /dev/md0 --re-add /dev/sde1


Cos mi sie wydaje ze bede mysial od nowa wszystko zrobic i uwzglednic opcje -x 1 na spare. Dziwne

Temat: Zmieniające się dyski

mdadm nie ma czegos takiego ze z domyslu bierze 1 spare

chodzilo mi o to ze np jakis dysk wykrywa sie pare sekund a w miedzyczasie raid sie odpala i go nie widzi (bo nie zainicjowal sie do konca), wklej moze do jakiegos pastebina caly dmesg ;]

Jak chcesz zrobic ze spare to zrob z 4 dyskow a potem mdadm --manage /dev/mdX -a /dev/something, u mnie zadzialalo.

konto usunięte

Temat: Zmieniające się dyski

Mariusz Gronczewski:
mdadm nie ma czegos takiego ze z domyslu bierze 1 spare

chodzilo mi o to ze np jakis dysk wykrywa sie pare sekund a w miedzyczasie raid sie odpala i go nie widzi (bo nie zainicjowal sie do konca), wklej moze do jakiegos pastebina caly dmesg ;]
A co wogole sie stanie sie z macierza przy instalacji nowego systemu ??
Przy nowym systemie bedzie sie znowu dawac --create i beda pojda chyba do piekla.

dmesg >> http://wklejto.pl/37606
Jak chcesz zrobic ze spare to zrob z 4 dyskow a potem mdadm --manage /dev/mdX -a /dev/something, u mnie zadzialalo.
Ja za kazdym tak robie, ale po reboocie znowu ten samy dsyk nie chodzi.
Musialbym od nowa chyba robic.

konto usunięte

Temat: Zmieniające się dyski

Dzisiaj rano przykladowo uruchomilem komputer, to sie system nie uruchomil. Blad w macierzy ze chodza tylko dyski 3/5.
Szybki reboot to wychodzilem do pracy i jest bylo wszystko wporzadku, tzn system sie zaladowac i sytuacja standardowa (4/5), czyli /dev/sde1 removed w macierzy.

Juz powoli zaczynam tego miec dosc :)

Temat: Zmieniające się dyski

Rzeczywiście dziwne... może spróbuj zrobić macierz na np. /dev/sdc zamiast /dev/sdc1 ?
Prawd. można by to zrobić nawet bez niszczenia macierzy, po prostu usuń z macierzy /dev/sdc1, dodaj /dev/sdc, poczekaj jak się zsynchronizuje i powtórz dla reszty.

Ew. skompiluj najnowszy kernel i update systemu, może to coś da ;]

konto usunięte

Temat: Zmieniające się dyski

Ew. skompiluj najnowszy kernel i update systemu, może to coś da ;]
poczekam te dwa tygodnie i wroce do Gentoo. Cos ten Debian mnie rozczarowal z ta macierza :/
Bedzie jako backup system

Temat: Zmieniające się dyski

Jedyna roznia jaka bedzie to kernel i może troche inna wersja narzedzi ;] Spróbuj skompilować własny kernel

konto usunięte

Temat: Zmieniające się dyski

GTP dzialajace na fdisk. Macierz juz chodzi normalnie, bez zadncyh upgradow :)

# fdisk /dev/sdb

WARNING: GPT (GUID Partition Table) detected on '/dev/sdb'! The util fdisk doesn't support GPT. Use GNU Parted.


The number of cylinders for this disk is set to 121601.
There is nothing wrong with that, but this is larger than 1024,
and could in certain setups cause problems with:
1) software that runs at boot time (e.g., old versions of LILO)
2) booting and partitioning software from other OSs
(e.g., DOS FDISK, OS/2 FDISK)

Command (m for help): p

Disk /dev/sdb: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

Device Boot Start End Blocks Id System
/dev/sdb1 1 121602 976762583+ fd Linux raid autodetect

Command (m for help):

Temat: Zmieniające się dyski

A co poprawiłeś że zaczęło działać ?

konto usunięte

Temat: Zmieniające się dyski


parted /dev/sdb
mklabel msdos
quit

fdisk /dev/sdb
n
p

t
fd
w

sfdisk -d /dev/sdb | sfdisk /dev/sd[cdef] (te dyski maja gpt)
sfdisk -d /dev/sdc | sfdisk /dev/sdb


W ten sposob mam wszystkie GPT, ale moge je jakos zmieniac.
W sumie nic szczegolnego nie zrobilem. Stara macierz oczywiscie poszla do piekla. Zrobilem od nowa tym samym sposobem i jakos dziala.
Zobaczymy jak to wszystko zostanie odczytane jak zmienie system i bedzie totalny format dysku systemowego hmmm.

Zrobilem tez dzisiaj to samo na RHEL5 na dyskach z tablica msdos i jakos tez problemow nie ma.
Sam juz nie wiem.Rafal "Rudy" S. edytował(a) ten post dnia 05.07.09 o godzinie 00:52

Temat: Zmieniające się dyski

Hmm to następnym razem olej tablice partycji i rób bezpośrednio na sd[bcdef] ;]



Wyślij zaproszenie do