Archiwizacja danych

< Podręcznik użytkownika KDM < Dostęp do KDM < Archiwizacja danych

!

Regulamin korzystania: Użytkownik może archiwizować wyłącznie dane wejściowe, pośrednie i końcowe używane do obliczeń realizowanych jedynie na komputerach KDM WCSS - archiwizowanie innych danych używanych prywatnie, służbowo i w innych centrach KDM jest zabronione. Zabronione jest zapełnianie katalogu /archiwum w 100% - prowadzi to do przeciążenia systemu archiwizacji. Zabronione jest składowanie plików mniejszych niż 50 megabajtów ze względu na fakt że obsługa wielu małych plików prowadzi do przeciążenia systemu archiwizacji.

Archiwizacja danych dla użytkowników KDM możliwa jest przez katalog /archiwum/$USER dostępny na wszystkich maszynach obliczeniowych WCSS. Na serwerach Tezro i Leo katalog dostępny jest po zalogowaniu. Korzystanie z archiwum na klastrze Supernova odbywa się za pośrednictwem dedykowanego węzła - serwera archiwum.wcss.pl.

Jeżeli użytkownik potrzebuje miejsca na przechowywanie dużej ilości danych, powinien w tym celu skorzystać z archiwum.

System archiwizacji automatycznie tworzy kopie zapasowe składowanych plików z maksymalną częstotliwością trzy razy na dobę. Częstotliwość jest regulowana przez administratorów.

Nie należy sugerować się pojemnością katalogu /archiwum ani jego podkatalogów pokazywaną przez narzędzie takie jak df czy du. Katalog ten jest jest tylko "wierzchołkiem góry lodowej" - po jego zapełnieniu powyżej wartości progowej dane są automatycznie przenoszone na robota taśmowego bez zmiany charakteru dostępu. Dlatego odczytywanie pliku z archiwum może potrwać nawet kilkadziesiąt minut (w zależności od jego wielkości), w tym czasie plik, jeśli został wcześniej zarchiwizowany, jest automatycznie przywracany i udostępniany w odpowiednim katalogu archiwum użytkownika.

W katalogu /archiwum użytkownicy mają do dyspozycji prywatne archiwa. Pliki widziane w tym katalogu mogą zostać automatycznie przeniesione do systemu archiwizacji.

Korzystanie z archiwum nie różni się od korzystania ze zwykłego katalogu na dysku. Aby przenieść dane do archiwum wystarczy je skopiować, np. dla użytkownika user1:

> cd /home/user1
> cp plik.txt /archiwum/user1/
> ls /archiwum/user1/
plik.txt

Po skopiowaniu pliku należy usunąć go z dotychczasowej lokalizacji (/home lub /scratch), aby zwolnić miejsce zajmowane przez niego na dysku, np:

> cd /home/user1
> rm plik.txt 

Aby ponownie skorzystać z pliku wystarczy skopiować go do swojego katalogu w przestrzeni /home lub /scratch, np:

> cp /archiwum/user1/plik.txt /home/user1/
> ls /home/user1/plik.txt

Jeżeli nie ma potrzeby przechowywania pliku w archiwum, można go stamtąd usunąć, np:

> ls /archiwum/user1/
plik.txt
> rm /archiwum/user1/plik.txt 

Pakowanie i kompresowanie większej liczby małych plików w paczki TAR:

> tar czvf nazwa_paczki.tar.gz <lista plikow do spakowania>

Rozpakowywanie narzędziem TAR:

> tar xzvf nazwa_paczki.tar.gz [<opcjonalna lista plikow do rozpakowania>]

Sprawdzanie zawartości archiwum TAR:

> tar tzvf nazwa_paczki.tar.gz

Pakowanie i kompresowanie większej liczby małych plików w paczki ZIP:

> zip -r9 nazwa_paczki.zip <lista plikow do spakowania>

Rozpakowywanie narzędziem ZIP:

> unzip nazwa_paczki.zip [<opcjonalna lista plikow do rozpakowania>]

Sprawdzanie zawartości archiwum ZIP:

> zipinfo nazwa_paczki.zip