GoldenLine
Zaloguj się
Mateusz Kowalski

Mateusz Kowalski Informatyk

Temat: polecenie checkout i wyczyszczenie nazwy z bazy (listy)...

Witam, bardzo prosze o podpowiedz, jakiego polecenia użyć do w celu automatycznego wysunięcia taśmy z biblioteki i wykasowania jej z bazy, tak zeby po wydaniu polecenia q vol wysunięta taśma została usunięta z bazy TSM.

checkout libvolume nazwa_lib volume_name checklabel=yes remove=yes

wysuwa tasme do kieszeni biblioteki, ale po wydaniu q vol, nazwa tej tasmy (volumenu) nadal widnieje.
Link do wypowiedziLink
Krzysztof Stefaniak

Krzysztof Stefaniak Senior TSM / Storage
Administrator IBM
3rd level

Temat: polecenie checkout i wyczyszczenie nazwy z bazy (listy)...

cześc Mateusz,

del vol vol_name discarddata=yes wait=no

będziesz miał scratch tape'a, więc nie będziesz go widział via q vol.
będzie co prawda jeszcze widziany via q libvol, ale po odpaleniu checkouta powinno być czysto.

pytanie tylko po co chcesz to zrobić.
jeśli masz uszkodzoną tasiemkę to przedtem warto zrobić restore vol z opcją preview=yes

aha, jeśli masz więcej volumenów do zdeletowania to lepiej robić to jeden po drugim a nie w tym samym czasie. usuwanie więcej niż jednego w tym samym czasie może mocno wpłynąć na wydajność serwera.

w razie wątpliwości daj znać.
pozdrawiam
Link do wypowiedziLink
Mateusz Kowalski

Mateusz Kowalski Informatyk

Temat: polecenie checkout i wyczyszczenie nazwy z bazy (listy)...

Posiadam TSM w ver standard (basic). Chciałbym zrzucac dane raz w miesiacu na tzw. off-site tasmy. Skonfigurowałem wszystko tak ze raz w miesiacu zrzuca mi dane do puli archiwalnej 'offsite' typu disc (na dyski serwera) po wykonaniu recznej migracji z param. lo=0 dane automatycznie migruja sie na druga pulę 'archiwum' typu LTO (tasma) i jest ok, ale po wklepaniu recznie (nie ma DR) polecenia checkout libvolume nazwa_lib volume_name checklabel=yes remove=yes

tasiemka ładnie wysuwa się do kieszeni biblioteki, ale informacja o niej nadal jest w bazie - q vol. W rezultacie wyjeta fizycznie offsite tasiemka z danymi archiwalnymi nadal jest widoczna ('logicznie') w TSM. Po rotacji 3 miesiecznej jak bede chciał ją uzyc ponownie to zapewne zastosuje:
del vol vol_name discarddata=yes wait=no
a pozniej checkin ..... prawda? ale czy fakt ze przed ponownym jej uzyciem byla widoczna w bazie nie spowoduje problmów?

Inny problem to co jesli bede chciał ja uzyc w celu odzyskanie danych? czy fakt ze przed ponownym jej uzyciem byla widoczna w bazie nie spowoduje problmów? Poprostu chciałbym (na logike) po wyjeciu tasmy wymazać info o niej z bazy TSM..
Link do wypowiedziLink
Jakub Głębicki

Jakub Głębicki Ekspert ds.
Bezpieczeństwa IT,
AXA Ubezpieczenia
TUiR

Temat: polecenie checkout i wyczyszczenie nazwy z bazy (listy)...

To się robi retencją backupów i archiwów a nie taśm, po wygaśnięciu danych na taśmie ona znika sama z bazy tsm'a.
Link do wypowiedziLink
Andrzej Zieliński

Andrzej Zieliński Administrator
Systemów
Informatycznych, Sp.
z.o.o

Temat: polecenie checkout i wyczyszczenie nazwy z bazy (listy)...

W bazie TSM zawsze zostaje informacja o wysuniętych tasiemkach - skąd inaczej TSM miałby wiedzieć co jest na tej taśmie ?
Zawartości tasiemek nie kasuje się za pomocą del vol! Dane powinny same wygasnąć i taśma się sama zwolni po komendzie expire inventory.
Czy oprócz taśmy z danymi robisz kopie bazy ? to jest odpowiedź dlaczego dane taśmy są w bazie - do odtworzenia potrzebujesz baze + dane, same dane nie wystarczą!
Link do wypowiedziLink
Mateusz Kowalski

Mateusz Kowalski Informatyk

Temat: polecenie checkout i wyczyszczenie nazwy z bazy (listy)...

Zawartości tasiemek nie kasuje się za pomocą del vol! Dane powinny same wygasnąć i taśma się sama zwolni po komendzie expire inventory.

ok, ale kiedy powinny wygasnąć? w management class mam ustawione 28 dni po których dane archiwalne są kasowane..ale tylko z puli dyskowej..a nie wyjetych tasiemek..no bo niby jak??

expire inventory zastosować po powtórnym włożeniu taśmy do biblioteki w celu nadpisania jej zawartosci podczas wykonywania powtórnego archiwum?
Czy oprócz taśmy z danymi robisz kopie bazy ? to jest odpowiedź dlaczego dane taśmy są w bazie - do odtworzenia potrzebujesz baze + dane, same dane nie wystarczą!
kopia bazy robiona jest automatycznie na tasmy, oczywiscie tasmy te nie sa widoczne po wydaniu polecenia q vol a jedynie po wydaniu polecenia q libvol (i to jest logiczne).

czy ponizsza procedura jest prawidlowa dla recznej rotacji tasm arch typu off-site?zakladajac ze ma stworzone (tak jak juz pisalem) odpowiednie klasy urzadzen i pule:
1) migrate stg archive lo=0
- migracja na tasme z dyskow
2)checkout libvolume nazwa_lib volume_name checklabel=yes remove=yes
- wyjecie fizycznie tasmy

po 3 miesiącach:
1) checkin libvolume autolib1 search=yes status=XXX checklabel=barcode
dla tasmy z danymi status=private
dla tasmy nowej pustej status=scratch

jesli zastosuje:
checkin libvolume autolib1 search=yes status=scratch checklabel=barcode
to dane z tasmy o statusie private automatycznie zostaną skasowane?
czy cos pominąłem?
Ps. mam wersję standard bez DRM (Disaster Recovery management).Mateusz Kowalski edytował(a) ten post dnia 24.03.11 o godzinie 22:28
Link do wypowiedziLink
Jakub Głębicki

Jakub Głębicki Ekspert ds.
Bezpieczeństwa IT,
AXA Ubezpieczenia
TUiR

Temat: polecenie checkout i wyczyszczenie nazwy z bazy (listy)...

Mateusz Kowalski:

ok, ale kiedy powinny wygasnąć? w management class mam ustawione 28 dni po których dane archiwalne są kasowane..ale tylko z puli dyskowej..a nie wyjetych tasiemek..no bo niby jak??

Prosto. Baza wie gdzie są zbackupowane pliki. Expire inventory kasuje wygaśnięte backupy niezależnie od tego czy taśma jest w bibliotece czy nie. W TSM'ie baza to podstawa, bez bazy wyjęte taśmy są jak zapisane losowymi ciągami bitów.

Może poczytaj najpierw o całej koncepcji i idei TSM'a, jest znacząco różna od tradycyjnych softów backupowych.
Link do wypowiedziLink
Mateusz Kowalski

Mateusz Kowalski Informatyk

Temat: polecenie checkout i wyczyszczenie nazwy z bazy (listy)...

sorki ale czy Ty przypadkiem nie mowisz o mozliwosciach TSM z DRM ?? ja mam basic wersje bez DRM

mozesz podpowiedziec gdzie definiuje sie expire w TSM?Mateusz Kowalski edytował(a) ten post dnia 25.03.11 o godzinie 16:55
Link do wypowiedziLink
Jakub Głębicki

Jakub Głębicki Ekspert ds.
Bezpieczeństwa IT,
AXA Ubezpieczenia
TUiR

Temat: polecenie checkout i wyczyszczenie nazwy z bazy (listy)...

Nie mówię o DRM'ie, on nie ma na to wpływu. DRM upraszcza zarządzanie taśmami poza biblioteką i pomaga w odtworzeniu całego TSM'a, w niczym więcej.

expire inventory nie definiujesz specjalnie, po prostu odpalasz (help expire inventory). expire to proces czyszczący bazę ze wpisów o wygasłych backupach. Retencję wygasania określasz w management class'ach a dokładniej w copygroup'ach.

Dopóki nie uruchomisz expire plik Ci nie zniknie z taśmy. On oczywiście nie znika fizycznie a jedynie wpis o nim z bazy. TSM to baza :)

Serio, poczytaj o całej koncepcji bo nieco się gubisz w szczegółach konfiguracyjnych.
Link do wypowiedziLink
Andrzej Zieliński

Andrzej Zieliński Administrator
Systemów
Informatycznych, Sp.
z.o.o

Temat: polecenie checkout i wyczyszczenie nazwy z bazy (listy)...

Mateusz Kowalski:
jesli zastosuje:
checkin libvolume autolib1 search=yes status=scratch checklabel=barcode
to dane z tasmy o statusie private automatycznie zostaną skasowane?
Nie, TSM nie pozwoli wczytać taśmy jako pustej jeśli wg bazy masz na niej dane!

W TSM najważniejsza jest BAZA i TYLKO BAZA.
Baza (i tylko ona) wie gdzie jest każdy plik wprowadzony do TSMa, łącznie z jego wersjami - wie na której taśmie, w którym miejscu na taśmie. Informacji tej nie znajdziesz na taśmie dlatego sama taśma z danymi nadaje się tylko na rozpałkę.
Polecenie expire inventory wykonuje operacje TYLKO na BAZIE. Usuwa wpisy o plikach któch okres ważności minął. NIE SĄ USUWANE ŻADNE DANE NA TAŚMACH/DYSKACH! Może to brzmieć dziwnie ale tak jest - dlatego nie ma znaczenia w jakim stanie jest taśma, ekspiracja nie dotyka danych.

DRM jest tylko dodatkiem który automatyzuje pewne czynności. Dodaje pare poleceń które można oskryptować samodzielnie. DRM nie zwiększa możliwości TSMa - expiracja, baza i pule danych są w każdej wersji TSM.

Bardzo dziwnie robisz kopię offsite - tak się nie robi. Powinieneś mieć 2 kopie wszystkich danych (oraz bazy) - jedna, która zostaje w bibliotece (na potrzeby odtwarzania) oraz drugą kopię wykonaną poleceniem backup stg którą wynosisz z biblioteki (na potrzeby odtwarzania po awarii - dysku, taśmy, tsma, całej serwerowni).
Link do wypowiedziLink
Mateusz Kowalski

Mateusz Kowalski Informatyk

Temat: polecenie checkout i wyczyszczenie nazwy z bazy (listy)...

Po wydaniu polecenia expire inventory nic sie nie zmienilo.

>>Retencję wygasania określasz w management class'ach a dokładniej w copygroup'ach.

W management class w Storage Manager Administration Center' mam ustawione w opcjach dot. polisy domain 'How many days should a file be kept?' na 28 dni..czy to jest ta opcja odpowiadajaca za retencję wygasania??

Co do podwójnych kopii zostawianych w bibliotece to potrzeba na to bardzo dużą ilosc tasiemek..wszytsko razy 2, a nie lepiej cos takiego: pierwszego dnia miesiac zrobic kopie archiwalna na pule dyskową, nastepnie jakos skopiowac wszystko z tej puli do zapasowej puli 'copypool' (taka replika) i dopiero zmigrowac na tasmy które nalezy wyniesc do innej lokalizacji. dla puli 'copypool' ustawic okres wykasowania danych na 90dni..ale nadal nie wiem gdzie/jak ustawic expire dla usuniecia starych wpisow z bazy.

..hmm moze sie nie zrozumielismy.. mi nie chodzi o wykasowanie wpisow dot. starych danych z tasmy a jedynie wykasowanie wpisu np. 000005 (ta tasma zostala wyjeta, a wpis jest nadal) po wydaniu checkout dla tego vol (tasmy) 00005. Ponizej kawealek zrzutu z polecenia q vol. Wpis nadal jest w bazie a tasmy juz fizycznie nie ma.

Volume Name Storage Device Estimated Pct Volume
Pool Name Class Name Capacity Util Status
------------------------ ----------- ---------- --------- -----
000005 LTO3 LTO3 499.7 G 57.2 FullMateusz Kowalski edytował(a) ten post dnia 26.03.11 o godzinie 13:24
Link do wypowiedziLink
Andrzej Zieliński

Andrzej Zieliński Administrator
Systemów
Informatycznych, Sp.
z.o.o

Temat: polecenie checkout i wyczyszczenie nazwy z bazy (listy)...

Ciągle wracamy do podstaw TSM.

Wykonujesz backupy czy archiwa - bo różnica jest OGROMNA!
Jeśli wykonujesz backupy, zmigrowałeś dane na taśmy i usunąłeś później dane taśmy poleceniem del vol to zapomnij o prawidłowym odtwarzaniu danych.

Czas przechowywania danych TSM określasz podczas wprowadzania danych do systemu TSM i później nie można już tego zmienić - możesz migrować czy kopiować dane - czas przechowywania się nie zmienia.

Po co chcesz usunąć z bazy dane taśmy którą wyniosłeś na zewnątrz ? Nie potrafię sobie wyobrazić takiego zastosowania.
Powtórzę - taśm się nie usuwa! Część danych z taśm expiruje a pozostałe się przenosi na nowe taśmy i wtedy pusta taśma sama wraca do puli scratch. Od lat zajmuje się TSMem i praktycznie nie miałem potrzeby kasować taśmy poleceniem del vol - to nie jest normalna sytuacja.
Link do wypowiedziLink
Mateusz Kowalski

Mateusz Kowalski Informatyk

Temat: polecenie checkout i wyczyszczenie nazwy z bazy (listy)...

eh, poprostu chciałbym wynosić do sejfu co miesiac tasmy z danymi typu archiwum. Rotacja 3 miesieczna. Pierwszego dnia każdego miesiac o godzinie X zgodnie z ustawieniem schedulera (ustawiony typ 'archive') robi sie kopia zapasowa (archiwalna). Dane lądują w puli dyskowej na macierzy. Nastepnie niestety recznie migruję dane z tej puli dyskowej na tasiemki (parametr lo=0 w migrate), next stg ustawione jest wlasnie na pule typu LTO (tasmy). Nastepnie za pomocą polecenia checkout... wyjmuję tasmy z tymi danycmi (dla przypomnienia archiwalnymi) i wynosze do innej lokalizacji. No i teraz po wydaniu polecenia q vol nazwa wolumenu (tasmy) nadal widnieje, po wydaniu q libvol juz nazwy tej tasmy/tasm nie ma (i OK), Poprostu zastanawialem sie czy to ze po wydaniu q vol nadal widnieje nazwa wulumenów tasm, ktore zostaly fizycznie wyjete czyli defakto juz ich nie ma w bibliotece jest normalne?jesli tak to ok. Rozumiem ze wtedy za miesiac analogivznie wykonuje checkout...ale co za 3 miechy (3-ci cykl) kiedy chcę powtórnie użyć pierwszej tasmy zeby dane na niej zostały skasowane/nadpisane i tasma/tasmy zeby byly ponownie typu scratch, mam zastosowac checkin..? Jakie mam wydac polecenia, co po kolei, nie musisz poisac dokladnie jesli to tajemnic, napisz tak jak ja, najpier checkout a za 3 miechy checkin dla nie to wystarczy jesli jest to wystarczajace, ale proszę nie pisz mi ze nie mam podstaw itp. ja zadalem pytanie/prosbe i chcialbym konkretnej odpowiedzi. Bede wdzieczny. A swoją drogą sam postawiłem w firmie serwer TSM i sam wszystko skonfigurowałem i działa, wszystko poza off-site. Aha nic nie usuwałem poleceniem del vol. Pozdrawiam.

Ps. miedzy backup a archiwe nie wnikajac w szczegóły długosci okresów przechowywania danych, główna róznica polega na tym ze backup w TSM zawsze jest inkrementalny (przyrostowy - z wyjatkiem pierwszego,ktory jest full) - jest to tak zwany progresywny backup, a w archiwum zawsze jest typ full.Mateusz Kowalski edytował(a) ten post dnia 26.03.11 o godzinie 23:56
Link do wypowiedziLink
Andrzej Zieliński

Andrzej Zieliński Administrator
Systemów
Informatycznych, Sp.
z.o.o

Temat: polecenie checkout i wyczyszczenie nazwy z bazy (listy)...

Taśmy zawsze będa widoczne w q vol, niezależnie od ich stanu (czy są w bibliotece czy nie). Polecenie q vol nie opisuje stanu fizycznego tasiemek tylko stan logiczny z punktu widzenia TSM. Stan fizyczny (z punktu widzenia TSM) opisuje q libvol ale też nie zawsze bo mogło się coś pomieszać w bibliotece i wiedza TSM nie odpowiada stanowi faktycznemu (np ktoś poprzekładał tasiemki, wystąpiła awaria).

Musisz pamiętać aby do każdego zestawu tasiemek archiwalnych była dołączona taśma z kopią bazy wykonaną po zmigrowaniu danych na taśmy które wynosisz. Może być również nowsza kopia bazy - dlatego dane o taśmach zostają w bazie. Z archiwami sprawa jest prosta - wszystkie dane są przechowywane razem (inaczej niż w backupach). Archiwa mają tą wadę że bardzo mocno wpływają na bazę, każda kolejna kopia ładuje dane do bazy, w przypadku dużej ilości plików baza puchnie. Dlatego ja dla serwerów z dużą ilością danych przechodzę na backupy zamiast archiwów.

Jeśli minie czas przechowywania danych w archiwum to polecenie expire inventory usunie wpisy z bazy i tasiemki w q vol znikną i będzie je można wczytać jak czyste taśmy.
Link do wypowiedziLink
Mateusz Kowalski

Mateusz Kowalski Informatyk

Temat: polecenie checkout i wyczyszczenie nazwy z bazy (listy)...

ufff i o to mi chodzilo:) Dzięki.

Tez słyszalem ze bazka puchnie po wykonywaniu kopii arch, ale nie mam wyjscia..backup inkrementalny zamiast archiwum nie ma chyba sensu na dluzsza mete.
>>Dlatego ja dla serwerów z dużą ilością danych przechodzę na backupy zamiast archiwów.
na backup pełny, tak?

a tak z innej beczki jaką wartosc scratch proponował byś uwstawić podczas def. nowej stg puli albo klasy (..dawno to robilem) typu lto, zależną od retencji tasm, taką jak ilosc tasm w bibliotece czy 999? Ja ustawilem 3x ilosc tasm.Mateusz Kowalski edytował(a) ten post dnia 27.03.11 o godzinie 12:21
Link do wypowiedziLink
Andrzej Zieliński

Andrzej Zieliński Administrator
Systemów
Informatycznych, Sp.
z.o.o

Temat: polecenie checkout i wyczyszczenie nazwy z bazy (listy)...

Właśnie backup przyrostowy (incremental) jest najlepszy. Ma tylko jedną wadę - długi czas odtwarzania danych, poza tym same zalety (mały przyrost bazy, mały przyrost danych, krótki czas backupu).

Ja mam ustawioną max scratch volumes na 1000 dla copypuli. Nie ma to większego znaczenia, nigdy nie miałem z tym problemu.
Link do wypowiedziLink
Mateusz Kowalski

Mateusz Kowalski Informatyk

Temat: polecenie checkout i wyczyszczenie nazwy z bazy (listy)...

widzisz, ja copypool w ogóle nie mam. Jesli chodzi o backup incremental. i
odtwarzanie to mam jedno pytanko, do odtworzenia bede potrzebował pierwszej full kopii (skąd ją wziąć?jest na dyskach, a nie tasmach) i ostatnią inkrementalną , czy tylko ostatnią inkremental? (to by była rewelacja) sorki nigdy tego nie robilem, dlatego pytam.Mateusz Kowalski edytował(a) ten post dnia 27.03.11 o godzinie 22:59
Link do wypowiedziLink
Andrzej Zieliński

Andrzej Zieliński Administrator
Systemów
Informatycznych, Sp.
z.o.o

Temat: polecenie checkout i wyczyszczenie nazwy z bazy (listy)...

Właśnie dlatego trzeba robić 2 kopie danych - pierwsza w bibliotece (primary pool) i drugą do wyniesienia na copy pool.

Backup przyrostowy jest przyrostowy i pliki są rozrzucone po wielu taśmach (moze nawet po wszystkich). Pierwszy backup przyrostowy działa jak backup pełny (przyrost od niczego czyli kopiowane jest wszystko). Później kopiowane są tylko zmienione/nowe pliki. Do odtworzenia takiego backupu potrzebujesz wielu (może nawet wszystkich) taśm - szczególnie jak minął dłuższy okres czasu. Z tego powodu odtwarzanie nawet jednego katalogu może trwać długo - załadowanie wielu taśm i ich przewijanie trwa.
Można ograniczyć rozrzucanie plików po taśmach przez uruchomienie kolokacji plików ale wtedy zwiększasz ilość używanych taśm.
Generalnie przy backupie nia ma szans na wyciąganie taśm z primary pool tak jak ty to robisz ale jak pisałem to co ty robisz nie jest normalnym postępowaniem.
Link do wypowiedziLink
Mateusz Kowalski

Mateusz Kowalski Informatyk

Temat: polecenie checkout i wyczyszczenie nazwy z bazy (listy)...

ale ja wyciagam tasmy nie z backupem a archiwum. Poza tym nie wiem po co robic kopie backupowe na tasmy + copy pool? ja mam pierwszą kopię(teraz mowa o backupie) ustawioną na backuppool (dyski) a pozniej jak przekroczą lo=90 migrowane sa na tasmy, których nie wyciagam, a wiec odtwarzanie trwa dosc krótko. Ale caly czas chce ustalic archiwalne kopie wynoszone poza serwerownie (czyli tzw. kopie typu off-site). Ustalilismy ze kopie archiwalne ok, ale wada jest puchnąca baza, wiec napisales ze Ty robisz w miejsce archiwum poprostu backup, ale to sie troche jak sam przyzales w ost. poscie mija z celem:
1) do odtworzenia potrzeba od groma tasiemek (pełna + wszystkie inc)
2) odtwarzanie trwa dłuuugo
3) skąd mamy pewnosc ze tasma x z grupy xxx tas nie jest uszkodzona??

wiec, mysle ze jednak bez kopii typu archive nie mozna sie obejsc jesli chcemy wyciagac na jakis czas (3miechy) tasmy..zgadza sie?..

Ps. zmieniłem okres expiracji dla archiwum na 1 dzien. Musze to dokladniej przetestowac.Mateusz Kowalski edytował(a) ten post dnia 28.03.11 o godzinie 00:56
Link do wypowiedziLink
Andrzej Zieliński

Andrzej Zieliński Administrator
Systemów
Informatycznych, Sp.
z.o.o

Temat: polecenie checkout i wyczyszczenie nazwy z bazy (listy)...

Po to są 2 kopie danych aby mieć zabezpieczenie przez padem tasiemki lub awarią całego Data Center. Gdy padnie taśma to odtwarzam ją z copy pool z off site.
Backup jest mimo wszystko lepszy bo mniej zapycha bazę - w moim TSM chyba z 90% bazy to dane archiwów. Zmieniam więc je na backupy - mniej danych, mniejsza baza, szybsze działanie.

Okres ekspiracji działa podczas wprowadzania danych do TSMa więc jak zmieniłeś na 1 dzień to efekty będą dopiero po wykonaniu archiwum.Andrzej Zieliński edytował(a) ten post dnia 28.03.11 o godzinie 00:56
Link do wypowiedziLink
« Wróć do tematów
Odpowiedz

Podobne tematy


Następna dyskusja:

TSM wersja 6




Wyślij zaproszenie do
Anuluj