Archiwizacja danych: Różnice pomiędzy wersjami
Linia 1: | Linia 1: | ||
<small>< [[Podręcznik użytkownika KDM]] < [[Dostęp do KDM]] < Archiwizacja danych</small> | <small>< [[Podręcznik użytkownika KDM]] < [[Dostęp do KDM]] < Archiwizacja danych</small> | ||
+ | |||
+ | Jeżeli użytkownik potrzebuje miejsca na przechowywanie dużej ilości danych, powinien w tym celu skorzystać z archiwum. Archiwizacja danych dla użytkowników [[KDM]] możliwa jest przez katalog '''/archiwum/$USER''' dostępny na wszystkich [[maszyny obliczeniowe|maszynach obliczeniowych]] WCSS. Katalog ten jest prywatnym archiwum użytkownika, niedostępnym dla innych użytkowników. | ||
+ | |||
+ | System archiwizacji automatycznie tworzy kopie zapasowe składowanych plików, z maksymalną częstotliwością trzy razy na dobę. Częstotliwość jest regulowana przez administratorów. | ||
+ | |||
+ | Nie należy sugerować się pojemnością katalogu /archiwum ani jego podkatalogów pokazywaną przez narzędzie takie jak <code>df</code> czy <code>du</code>. Katalog ten jest jest tylko "wierzchołkiem góry lodowej" - po jego zapełnieniu powyżej wartości progowej dane są automatycznie przenoszone na robota taśmowego, bez zmiany sposobu dostępu dla użytkownika. Dlatego odczytywanie pliku z archiwum może potrwać nawet kilkadziesiąt minut (w zależności od jego wielkości), w tym czasie plik, jeśli został wcześniej zarchiwizowany, jest automatycznie przywracany i udostępniany w odpowiednim katalogu archiwum użytkownika. | ||
{{uwaga2|Regulamin korzystania: | {{uwaga2|Regulamin korzystania: | ||
Linia 6: | Linia 12: | ||
* Zabronione jest składowanie plików mniejszych niż 50 megabajtów ze względu na fakt że obsługa wielu małych plików prowadzi do przeciążenia systemu archiwizacji. | * Zabronione jest składowanie plików mniejszych niż 50 megabajtów ze względu na fakt że obsługa wielu małych plików prowadzi do przeciążenia systemu archiwizacji. | ||
* Zabronione jest zmienianie nazw plików i katalogów po skopiowaniu.}} | * Zabronione jest zmienianie nazw plików i katalogów po skopiowaniu.}} | ||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
=== Dostęp do archiwum === | === Dostęp do archiwum === |
Wersja z 06:49, 26 paź 2012
< Podręcznik użytkownika KDM < Dostęp do KDM < Archiwizacja danych
Jeżeli użytkownik potrzebuje miejsca na przechowywanie dużej ilości danych, powinien w tym celu skorzystać z archiwum. Archiwizacja danych dla użytkowników KDM możliwa jest przez katalog /archiwum/$USER dostępny na wszystkich maszynach obliczeniowych WCSS. Katalog ten jest prywatnym archiwum użytkownika, niedostępnym dla innych użytkowników.
System archiwizacji automatycznie tworzy kopie zapasowe składowanych plików, z maksymalną częstotliwością trzy razy na dobę. Częstotliwość jest regulowana przez administratorów.
Nie należy sugerować się pojemnością katalogu /archiwum ani jego podkatalogów pokazywaną przez narzędzie takie jak df
czy du
. Katalog ten jest jest tylko "wierzchołkiem góry lodowej" - po jego zapełnieniu powyżej wartości progowej dane są automatycznie przenoszone na robota taśmowego, bez zmiany sposobu dostępu dla użytkownika. Dlatego odczytywanie pliku z archiwum może potrwać nawet kilkadziesiąt minut (w zależności od jego wielkości), w tym czasie plik, jeśli został wcześniej zarchiwizowany, jest automatycznie przywracany i udostępniany w odpowiednim katalogu archiwum użytkownika.
! | Regulamin korzystania:
|
Dostęp do archiwum
Korzystanie z archiwum na klastrze Supernova odbywa się za pośrednictwem dedykowanego węzła archiwum.wcss.pl. Z tego węzła użytkownik ma dostęp do katalogu domowego i swojego katalogu na roboczym systemie plików. Aby przenieść swoje dane z katalogu domowego lub tymczasowego do/z archiwum należy zalogować się na ten węzeł i wykonać potrzebne operacje na danych.
- Można zalogować się bezpośrednio na węzeł archiwum:
> ssh archiwum.wcss.pl
- lub najpierw na węzeł dostępowy klastra Supernova, a następnie na węzeł archiwum:
> ssh supernova.wcss.pl supernova> ssh archiwum
Operacje na plikach
Korzystanie z archiwum nie różni się od korzystania ze zwykłego katalogu na dysku.
- Archiwizacja danych
Aby przenieść dane do archiwum wystarczy je skopiować, np. dla użytkownika user1
:
> cd /home/user1 > cp plik.txt /archiwum/user1/ > ls /archiwum/user1/ plik.txt
Po skopiowaniu pliku należy usunąć go z dotychczasowej lokalizacji (/home lub /lustre/scratch), aby zwolnić miejsce zajmowane przez niego na dysku, np:
> cd /home/user1 > rm plik.txt
- Przywracanie danych
Aby ponownie skorzystać z pliku wystarczy skopiować go do swojego katalogu w przestrzeni /home lub /lustre/scratch, np:
> cp /archiwum/user1/plik.txt /home/user1/ > ls /home/user1/plik.txt
Jeżeli nie ma potrzeby przechowywania pliku w archiwum, można go stamtąd usunąć, np:
> ls /archiwum/user1/ plik.txt > rm /archiwum/user1/plik.txt
- Pakowanie i kompresja (TAR)
Pakowanie i kompresowanie większej liczby małych plików w paczki TAR:
> tar czvf nazwa_paczki.tar.gz <lista plikow do spakowania>
Rozpakowywanie narzędziem TAR:
> tar xzvf nazwa_paczki.tar.gz [<opcjonalna lista plikow do rozpakowania>]
Sprawdzanie zawartości archiwum TAR:
> tar tzvf nazwa_paczki.tar.gz
- Pakowanie i kompresja (ZIP)
Pakowanie i kompresowanie większej liczby małych plików w paczki ZIP:
> zip -r9 nazwa_paczki.zip <lista plikow do spakowania>
Rozpakowywanie narzędziem ZIP:
> unzip nazwa_paczki.zip [<opcjonalna lista plikow do rozpakowania>]
Sprawdzanie zawartości archiwum ZIP:
> zipinfo nazwa_paczki.zip