Supernova

< Podręcznik użytkownika KDM < Maszyny obliczeniowe

!	Klaster Nova jest w trakcie rozbudowy, niektóre z poniższych informacji zostaną zaktualizowane po zakończeniu prac.

Nova - klaster zainstalowany w WCSS, włączony w struktury projektu EGEE i PL-Grid. Architektura wszystkich komputerów to x86_64 (Intel Core micro Architecture, EM64T).

Elementy klastra:

• węzeł dostępowy (nova),
• dwa węzły usługowe (darkmass/SE i dwarf/CE),
• 732 węzły obliczeniowe (wn001 - wn732),
• sieć obliczeniowa - Infiniband DDR fat-tree full-cbb,
• sieć zarządzania - gigabit ethernet.

Zasoby obliczeniowe klastra:

• 6864 rdzeni obliczeniowych,
• >13 TB pamięci operacyjnej (2GB/rdzeń)
• ~100 TB przestrzeni dyskowej (NFS + Lustre),
• komunikacja pomiędzy węzłami klastra: przepływność 20Gbps, opóźnienia < 5 us.

Zestawienie

klaster : moc obliczeniowa : węzły : CPU : liczba CPU : cache L2 : pamięć : dysk /home : dysk /scratch : system operacyjny :

nova.wcss.wroc.pl 19 TFLOPS dostępowy Intel Xeon 5160 3GHz 2x dual-core 4MB 16GB NFS 10TB - ScientificLinux

obliczeniowe generacji I (152) Intel Xeon X3220 2.4 GHz 1 quad-core 8MB 8GB NFS 10TB Lustre ScientificLinux

obliczeniowe generacji II (136) Intel Xeon E5345 2.33 GHz 2x quad-core 8MB 16GB NFS 10TB Lustre ScientificLinux

obliczeniowe generacji III (40) Intel Xeon L5420 2.5 GHz 2x quad-core 12MB 16GB NFS 10TB Lustre ScientificLinux

obliczeniowe generacji IV(404) Intel Xeon X5650 2.67 GHz GHz 2x six-core 12MB 24GB NFS 10TB Lustre ScientificLinux

Oprogramowanie

Aplikacje

Abaqus, ACES2, Autodock, CAMFR, CPMD, FDS-SMV ,GAMESS, Gaussian, LAMMPS, Meep, MOLCAS, Molpro, Matlab, NWChem, R, TURBOMOLE aplikacje własne użytkowników.

Kompilatory

GNU GCC, Intel, PGI

Biblioteki

• MVAPICH1,
• MVAPICH2,
• MKL (/opt/intel/mkl/WERSJA/lib/em64t/),
• GotoBLAS (/usr/local/lib/),
• ATLAS 3.8.3 (/usr/local/atlas-3.8.3)
• ...

Narzedzia

• MPIEXEC

System kolejkowania

PBS

RSA key fingerprint

d5:85:f7:5a:92:9b:72:7d:d3:74:67:ab:e4:46:28:e9

Zalecenia

• na dysku /home wprowadzone zostały kwoty dyskowe: limit miękki 20GB, limit twardy 25GB, limit czasowy 7 dni; sprawdzenie stanu:

quota

opis systemu kwot:

man quota

• zainstalowane zostały nowe kompilatory Intela oraz nowa biblioteka MKL; oprogramowanie korzystające ze starych bibliotek może nie uruchamiać się lub pracować nieoptymalnie - wymagana jest rekompilacja;

• oprogramowanie zrównoleglone w standardze MPI musi zostać przekompilowane, aby mogło korzystać z sieci Infiniband; domyślna implementacja MPI to MVAPICH1;

• zadania MPI uruchamiane poprzez sieć Ethernet a nie Infiniband bądą zabijane bez ostrzeżenia - sieć Ethernet jest dedykowana dla NFS;

• zadania MPI należy uruchamiac poprzez narzędzie MPIEXEC a nie mpirun;

• oprogramowanie zrównoleglone w innym standardze niż MPI musi zostać przekonfigurowane - prosimy o kontakt użytkownikow takich aplikacji;

• zalecenia dotyczące współdzielonego dysku scratch - Lustre

Zobacz też

• Jak korzystać z kolejek?
• Maszyny obliczeniowe
• Przekierowanie wyświetlania
• Programy badawcze
• Galeria zdjęć (Nova)
• Galeria zdjęć z uruchomienia

Maszyny obliczeniowe	Bem ⋅ Klaster kampusowy