GoldenLine
Zaloguj się
Paweł B.

Paweł B. PBMedia sp. z o.o.

Temat: linux - transfer 1 TB - 500tys. plików

Cześć,

potrzebuję sprawnie przenieść strukturę katalogu /data po LANie z jednego serwera na drugi (oba debian + samba).

S1 (z tego przenoszę dane) ma zmapowany udział z S2: /mnt/S2
potrzebuję przenieść z S1 /data/ do /mnt/S2/data/

zwykłe cp (cp -pr /data /mnt/S2/) pomija np. timestamps tzn. zachowuje dla katalogów ale nie dla plików. Ponadto przy długich nazwach plików albo linkach się wysypuje.
Chciałbym zachować strukturę dokładnie w takiej postaci w jakiej występuje na S1.

scp -rp radzi sobie z tym świetnie ale na tyle wolno, że przeniesienie 1TB (500 tys. plików) danych trwałoby kilka dni.

Kiedyś na SCO taki transfer, po ustawieniu dostępu przez SCOAdmin, robiłem za pomocą cpio i rcmd: # find /data –depth | cpio –ovc | rcmd S2 cpio –ivdumBc

jakieś pomysły ?
da się to zrobić np. dd ?Paweł B. edytował(a) ten post dnia 03.03.13 o godzinie 21:12
Link do wypowiedziLink
Łukasz C.

Łukasz C. Senior Technical
Architect

Temat: linux - transfer 1 TB - 500tys. plików

rsync powinien starczyc, mam niec ponad 500k plików w jednej z aplikacji i kopia danych (ok 60GB) trwa ok godzine
Link do wypowiedziLink
Paweł B.

Paweł B. PBMedia sp. z o.o.

Temat: linux - transfer 1 TB - 500tys. plików

1h dla 60GB to nie jest pocieszające ;-)

rsync idzie po ssh ?
Link do wypowiedziLink
Paweł C.

Paweł C. ,

Temat: linux - transfer 1 TB - 500tys. plików

Paweł B.:
1h dla 60GB to nie jest pocieszające ;-)

rsync idzie po ssh ?


Moze isc poprzez ssh.
Link do wypowiedziLink
Paweł B.

Paweł B. PBMedia sp. z o.o.

Temat: linux - transfer 1 TB - 500tys. plików

Paweł C.:

Moze isc poprzez ssh.

znaczy nie musi a może ? zaraz przetestujęPaweł B. edytował(a) ten post dnia 03.03.13 o godzinie 21:39
Link do wypowiedziLink

konto usunięte

Temat: linux - transfer 1 TB - 500tys. plików

Paweł B.:
Cześć,

potrzebuję sprawnie przenieść strukturę katalogu /data po LANie z jednego serwera na drugi (oba debian + samba).

S1 (z tego przenoszę dane) ma zmapowany udział z S2: /mnt/S2
potrzebuję przenieść z S1 /data/ do /mnt/S2/data/

zwykłe cp (cp -pr /data /mnt/S2/) pomija np. timestamps tzn. zachowuje dla katalogów ale nie dla plików. Ponadto przy długich nazwach plików albo linkach się wysypuje.
Chciałbym zachować strukturę dokładnie w takiej postaci w jakiej występuje na S1.

scp -rp radzi sobie z tym świetnie ale na tyle wolno, że przeniesienie 1TB (500 tys. plików) danych trwałoby kilka dni.

Kiedyś na SCO taki transfer, po ustawieniu dostępu przez SCOAdmin, robiłem za pomocą cpio i rcmd: # find /data –depth | cpio –ovc | rcmd S2 cpio –ivdumBc

jakieś pomysły ?
da się to zrobić np. dd ?

Tak na szybko z glowy, bez testowania:

tar --xatrrs --selinux --acls -pcf - /data | pbzip2 -9 -c | nc -w 30 -T 0x08 -u host_docelowy:5000

nc -u -I 5000 | pbzip2 -d | tar --xatrrs --selinux --acls -xp

Cos w ten desen powinno zadzialac. Zmodyfikowanie pod dd powinno byc kwestia podmiany tara.

p.s.: Nie pamietam czy tar zapisuje/odwtarza dane ze stat() przy (de)archiwizowaniu.Łukasz S. edytował(a) ten post dnia 04.03.13 o godzinie 02:33
Link do wypowiedziLink
Paweł B.

Paweł B. PBMedia sp. z o.o.

Temat: linux - transfer 1 TB - 500tys. plików

Łukasz S.:

Tak na szybko z glowy, bez testowania:

tar --xatrrs --selinux --acls -pcf - /data | pbzip2 -9 -c | nc -w 30 -T 0x08 -u host_docelowy:5000

nc -u -I 5000 | pbzip2 -d | tar --xatrrs --selinux --acls -xp

Cos w ten desen powinno zadzialac. Zmodyfikowanie pod dd powinno byc kwestia podmiany tara.

p.s.: Nie pamietam czy tar zapisuje/odwtarza dane ze stat() przy (de)archiwizowaniu.

Dzięki, naprowadziłes na odpowiedni kierunek.
Link do wypowiedziLink
« Wróć do tematów
Odpowiedz

Podobne tematy





Wyślij zaproszenie do
Anuluj