Archiwizacja danych: Różnice pomiędzy wersjami

Z KdmWiki
Przejdź do nawigacji Przejdź do wyszukiwania
Linia 1: Linia 1:
 
<small>< [[Podręcznik użytkownika KDM]] < [[Dostęp do KDM]] < Archiwizacja danych</small>
 
<small>< [[Podręcznik użytkownika KDM]] < [[Dostęp do KDM]] < Archiwizacja danych</small>
 +
 +
Jeżeli użytkownik potrzebuje miejsca na przechowywanie dużej ilości danych, powinien w tym celu skorzystać z archiwum. Archiwizacja danych dla użytkowników [[KDM]] możliwa jest przez katalog '''/archiwum/$USER''' dostępny na wszystkich [[maszyny obliczeniowe|maszynach obliczeniowych]] WCSS. Katalog ten jest prywatnym archiwum użytkownika, niedostępnym dla innych użytkowników.
 +
 +
System archiwizacji automatycznie tworzy kopie zapasowe składowanych plików, z maksymalną częstotliwością trzy razy na dobę. Częstotliwość jest regulowana przez administratorów.
 +
 +
Nie należy sugerować się pojemnością katalogu /archiwum ani jego podkatalogów pokazywaną przez narzędzie takie jak <code>df</code> czy <code>du</code>. Katalog ten jest jest tylko "wierzchołkiem góry lodowej" - po jego zapełnieniu powyżej wartości progowej dane są automatycznie przenoszone na robota taśmowego, bez zmiany sposobu dostępu dla użytkownika. Dlatego odczytywanie pliku z archiwum może potrwać nawet kilkadziesiąt minut (w zależności od jego wielkości), w tym czasie plik, jeśli został wcześniej zarchiwizowany, jest automatycznie przywracany i udostępniany w odpowiednim katalogu archiwum użytkownika.
  
 
{{uwaga2|Regulamin korzystania:
 
{{uwaga2|Regulamin korzystania:
Linia 6: Linia 12:
 
* Zabronione jest składowanie plików mniejszych niż 50 megabajtów ze względu na fakt że obsługa wielu małych plików prowadzi do przeciążenia systemu archiwizacji.
 
* Zabronione jest składowanie plików mniejszych niż 50 megabajtów ze względu na fakt że obsługa wielu małych plików prowadzi do przeciążenia systemu archiwizacji.
 
* Zabronione jest zmienianie nazw plików i katalogów po skopiowaniu.}}
 
* Zabronione jest zmienianie nazw plików i katalogów po skopiowaniu.}}
 
Jeżeli użytkownik potrzebuje miejsca na przechowywanie dużej ilości danych, powinien w tym celu skorzystać z archiwum. Archiwizacja danych dla użytkowników [[KDM]] możliwa jest przez katalog '''/archiwum/$USER''' dostępny na wszystkich [[maszyny obliczeniowe|maszynach obliczeniowych]] WCSS. Katalog ten jest prywatnym archiwum użytkownika, niedostępnym dla innych użytkowników.
 
 
System archiwizacji automatycznie tworzy kopie zapasowe składowanych plików, z maksymalną częstotliwością trzy razy na dobę. Częstotliwość jest regulowana przez administratorów.
 
 
Nie należy sugerować się pojemnością katalogu /archiwum ani jego podkatalogów pokazywaną przez narzędzie takie jak <code>df</code> czy <code>du</code>. Katalog ten jest jest tylko "wierzchołkiem góry lodowej" - po jego zapełnieniu powyżej wartości progowej dane są automatycznie przenoszone na robota taśmowego, bez zmiany sposobu dostępu dla użytkownika. Dlatego odczytywanie pliku z archiwum może potrwać nawet kilkadziesiąt minut (w zależności od jego wielkości), w tym czasie plik, jeśli został wcześniej zarchiwizowany, jest automatycznie przywracany i udostępniany w odpowiednim katalogu archiwum użytkownika.
 
  
 
=== Dostęp do archiwum ===
 
=== Dostęp do archiwum ===

Wersja z 06:49, 26 paź 2012

< Podręcznik użytkownika KDM < Dostęp do KDM < Archiwizacja danych

Jeżeli użytkownik potrzebuje miejsca na przechowywanie dużej ilości danych, powinien w tym celu skorzystać z archiwum. Archiwizacja danych dla użytkowników KDM możliwa jest przez katalog /archiwum/$USER dostępny na wszystkich maszynach obliczeniowych WCSS. Katalog ten jest prywatnym archiwum użytkownika, niedostępnym dla innych użytkowników.

System archiwizacji automatycznie tworzy kopie zapasowe składowanych plików, z maksymalną częstotliwością trzy razy na dobę. Częstotliwość jest regulowana przez administratorów.

Nie należy sugerować się pojemnością katalogu /archiwum ani jego podkatalogów pokazywaną przez narzędzie takie jak df czy du. Katalog ten jest jest tylko "wierzchołkiem góry lodowej" - po jego zapełnieniu powyżej wartości progowej dane są automatycznie przenoszone na robota taśmowego, bez zmiany sposobu dostępu dla użytkownika. Dlatego odczytywanie pliku z archiwum może potrwać nawet kilkadziesiąt minut (w zależności od jego wielkości), w tym czasie plik, jeśli został wcześniej zarchiwizowany, jest automatycznie przywracany i udostępniany w odpowiednim katalogu archiwum użytkownika.

Dostęp do archiwum

Korzystanie z archiwum na klastrze Supernova odbywa się za pośrednictwem dedykowanego węzła archiwum.wcss.pl. Z tego węzła użytkownik ma dostęp do katalogu domowego i swojego katalogu na roboczym systemie plików. Aby przenieść swoje dane z katalogu domowego lub tymczasowego do/z archiwum należy zalogować się na ten węzeł i wykonać potrzebne operacje na danych.

  • Można zalogować się bezpośrednio na węzeł archiwum:
> ssh archiwum.wcss.pl
  • lub najpierw na węzeł dostępowy klastra Supernova, a następnie na węzeł archiwum:
> ssh supernova.wcss.pl
supernova> ssh archiwum

Operacje na plikach

Korzystanie z archiwum nie różni się od korzystania ze zwykłego katalogu na dysku.

Archiwizacja danych

Aby przenieść dane do archiwum wystarczy je skopiować, np. dla użytkownika user1:

> cd /home/user1
> cp plik.txt /archiwum/user1/
> ls /archiwum/user1/
plik.txt

Po skopiowaniu pliku należy usunąć go z dotychczasowej lokalizacji (/home lub /lustre/scratch), aby zwolnić miejsce zajmowane przez niego na dysku, np:

> cd /home/user1
> rm plik.txt 
Przywracanie danych

Aby ponownie skorzystać z pliku wystarczy skopiować go do swojego katalogu w przestrzeni /home lub /lustre/scratch, np:

> cp /archiwum/user1/plik.txt /home/user1/
> ls /home/user1/plik.txt

Jeżeli nie ma potrzeby przechowywania pliku w archiwum, można go stamtąd usunąć, np:

> ls /archiwum/user1/
plik.txt
> rm /archiwum/user1/plik.txt 
Pakowanie i kompresja (TAR)

Pakowanie i kompresowanie większej liczby małych plików w paczki TAR:

> tar czvf nazwa_paczki.tar.gz <lista plikow do spakowania>

Rozpakowywanie narzędziem TAR:

> tar xzvf nazwa_paczki.tar.gz [<opcjonalna lista plikow do rozpakowania>]

Sprawdzanie zawartości archiwum TAR:

> tar tzvf nazwa_paczki.tar.gz
Pakowanie i kompresja (ZIP)

Pakowanie i kompresowanie większej liczby małych plików w paczki ZIP:

> zip -r9 nazwa_paczki.zip <lista plikow do spakowania>

Rozpakowywanie narzędziem ZIP:

> unzip nazwa_paczki.zip [<opcjonalna lista plikow do rozpakowania>]

Sprawdzanie zawartości archiwum ZIP:

> zipinfo nazwa_paczki.zip