https://kdm.wcss.pl/w/index.php?title=Lustre_Best_Practices&feed=atom&action=historyLustre Best Practices - Historia wersji2024-03-29T09:57:46ZHistoria wersji tej strony wikiMediaWiki 1.35.2https://kdm.wcss.pl/w/index.php?title=Lustre_Best_Practices&diff=3223&oldid=prevAsk o 08:50, 19 lip 20122012-07-19T08:50:00Z<p></p>
<table class="diff diff-contentalign-left diff-editfont-monospace" data-mw="interface">
<col class="diff-marker" />
<col class="diff-content" />
<col class="diff-marker" />
<col class="diff-content" />
<tr class="diff-title" lang="pl">
<td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">← poprzednia wersja</td>
<td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">Wersja z 08:50, 19 lip 2012</td>
</tr><tr><td colspan="2" class="diff-lineno" id="mw-diff-left-l1" >Linia 1:</td>
<td colspan="2" class="diff-lineno">Linia 1:</td></tr>
<tr><td colspan="2"> </td><td class='diff-marker'>+</td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;"><small>< [[Podręcznik użytkownika KDM]] < [[Dostęp do KDM]] < [[Dostępna przestrzeń dyskowa]] < Lustre Best Practices</small></ins></div></td></tr>
<tr><td colspan="2"> </td><td class='diff-marker'>+</td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;"></ins></div></td></tr>
<tr><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>System plików Lustre dostarcza przestrzeń /lustre/scratch służącą do obliczeń. Współdzieli on wiele zasobów i jego nieodpowiednie używanie może doprowadzić do niepotrzebnie dużego obciążenia lub w skrajnych przypadkach do awarii tego podsystemu. Bardzo proszę zapoznać się ze zbiorem najlepszych praktyk dotyczących file systemu Lustre i ich używanie co pozwoli na optymalne wykorzystanie zasobów.</div></td><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>System plików Lustre dostarcza przestrzeń /lustre/scratch służącą do obliczeń. Współdzieli on wiele zasobów i jego nieodpowiednie używanie może doprowadzić do niepotrzebnie dużego obciążenia lub w skrajnych przypadkach do awarii tego podsystemu. Bardzo proszę zapoznać się ze zbiorem najlepszych praktyk dotyczących file systemu Lustre i ich używanie co pozwoli na optymalne wykorzystanie zasobów.</div></td></tr>
<tr><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"></td><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"></td></tr>
<tr><td colspan="2" class="diff-lineno" id="mw-diff-left-l12" >Linia 12:</td>
<td colspan="2" class="diff-lineno">Linia 14:</td></tr>
<tr><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>* '''Jeśli to tylko możliwe należy używać dużych, sekwencyjnych odczytów/zapisów.''' Jako, że file system Lustre stara się odczytywać/zapisywać dane 1 megabajtowymi blokami, takie działanie pozwali na uzyskanie najlepszej wydajności.</div></td><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>* '''Jeśli to tylko możliwe należy używać dużych, sekwencyjnych odczytów/zapisów.''' Jako, że file system Lustre stara się odczytywać/zapisywać dane 1 megabajtowymi blokami, takie działanie pozwali na uzyskanie najlepszej wydajności.</div></td></tr>
<tr><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>* '''Jeśli to możliwe należy otwierać pliki w trybie „read-only”.''' Jeśli program nie będzie zapisywał do pliku, przy jego otwarciu należy użyć flagi O_RDONLY. Jeśli dodatkowo nie jest ważny czas dostępu do pliku dobrą praktyką jest użycie flagi O_NOATIME.</div></td><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>* '''Jeśli to możliwe należy otwierać pliki w trybie „read-only”.''' Jeśli program nie będzie zapisywał do pliku, przy jego otwarciu należy użyć flagi O_RDONLY. Jeśli dodatkowo nie jest ważny czas dostępu do pliku dobrą praktyką jest użycie flagi O_NOATIME.</div></td></tr>
<tr><td colspan="2"> </td><td class='diff-marker'>+</td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;"></ins></div></td></tr>
<tr><td colspan="2"> </td><td class='diff-marker'>+</td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;">[[Kategoria:Podręcznik użytkownika]]</ins></div></td></tr>
</table>Askhttps://kdm.wcss.pl/w/index.php?title=Lustre_Best_Practices&diff=2941&oldid=prevPdubaniewicz: Utworzył nową stronę „System plików Lustre dostarcza przestrzeń /lustre/scratch służącą do obliczeń. Współdzieli on wiele zasobów i jego nieodpowiednie używanie może doprowadz...”2012-04-12T10:56:06Z<p>Utworzył nową stronę „System plików Lustre dostarcza przestrzeń /lustre/scratch służącą do obliczeń. Współdzieli on wiele zasobów i jego nieodpowiednie używanie może doprowadz...”</p>
<p><b>Nowa strona</b></p><div>System plików Lustre dostarcza przestrzeń /lustre/scratch służącą do obliczeń. Współdzieli on wiele zasobów i jego nieodpowiednie używanie może doprowadzić do niepotrzebnie dużego obciążenia lub w skrajnych przypadkach do awarii tego podsystemu. Bardzo proszę zapoznać się ze zbiorem najlepszych praktyk dotyczących file systemu Lustre i ich używanie co pozwoli na optymalne wykorzystanie zasobów.<br />
<br />
===Jak działa Lustre?===<br />
<br />
Kiedy program chce dostać się do danych składowanych na Lustre, odpytuje najpierw serwer MDS (metadata server) o położenie pliku. Mając te informacje może zwrócić się bezpośrednio do serwera lub serwerów OSS (Object Storage Server), który to pozwala na dostęp do danych, dopisanie danych do plików itp. <br />
<br />
===Jak korzystać z Lustre?===<br />
<br />
* '''Nie należy nadużywać polecenia ls -l.''' Aby wyświetlić output polecenia ls -l, klient dla każdego wylistowanego pliku wysyła żądanie zarówno do serwera MDS jak i do serwera(ów) OSS. Nie należy używać również ls z kolorowaniem składni. Aby wylistować zawartość katalogu powinno się uruchomić ls bez dodatkowych argumentów, ewentualnie programy find lub lfs (z opcją find). <br />
* '''Należy ograniczyć liczbę plików w katalogach.''' Operacja otwarcia pliku zakłada blokadę na katalog nadrzędny. Aby zmniejszyć negatywny efekt przy otwieraniu wielu plików powinno się utworzyć strukturę podkatalogów i rozmieścić w niej pliki.<br />
* '''Nie powinno się korzystać z małych plików na Lustre.''' Ten file system nie jest przystosowany do obsługi takich plików. Jeśli tylko można należy połączyć małe pliki w jeden większy lub korzystać z nich tylko na swoim katalogu /home<br />
* '''Jeśli to tylko możliwe należy używać dużych, sekwencyjnych odczytów/zapisów.''' Jako, że file system Lustre stara się odczytywać/zapisywać dane 1 megabajtowymi blokami, takie działanie pozwali na uzyskanie najlepszej wydajności.<br />
* '''Jeśli to możliwe należy otwierać pliki w trybie „read-only”.''' Jeśli program nie będzie zapisywał do pliku, przy jego otwarciu należy użyć flagi O_RDONLY. Jeśli dodatkowo nie jest ważny czas dostępu do pliku dobrą praktyką jest użycie flagi O_NOATIME.</div>Pdubaniewicz