Supernova: Różnice pomiędzy wersjami

Z KdmWiki
Przejdź do nawigacji Przejdź do wyszukiwania
m
 
(Nie pokazano 34 wersji utworzonych przez 4 użytkowników)
Linia 1: Linia 1:
−
<small>< [[Podręcznik użytkownika KDM]] < [[Maszyny obliczeniowe]]</small>
+
<small>< [[Podręcznik użytkownika KDM]] < [[Maszyny obliczeniowe]] < Supernova</small>
−
{{uwaga2|Klaster Nova jest w trakcie rozbudowy, niektóre z poniższych informacji zostaną zaktualizowane po zakończeniu prac.}}
+
<!--{{note|Klaster jest chwilowo niedostępny - trwa przerwa serwisowa, podłączane są nowe zasoby. Przepraszamy za niedogodności.}} -->
−
 
+
{{note|Przerwa serwisowa klastra: 13 sierpnia - 21 sierpnia 2015}}
−
{{serwer|zdjęcie=[[Grafika:Nova 2009 001.jpg|thumb|right|200px|Klaster Nova]] |admini=nova&nbsp;@&nbsp;kdm.wcss.wroc.pl}}
+
{{serwer
−
'''Nova''' - klaster zainstalowany w [[WCSS]], włączony w struktury projektu [[EGEE]] i [[PL-Grid]]. Architektura wszystkich komputerów to x86_64 (Intel Core micro Architecture, EM64T).
+
|nazwa=Supernova
 +
|zdjęcie=Nova 2011 01.jpg
 +
|admini=kdm@wcss.pl
 +
}}
 +
'''Supernova''' - klaster zainstalowany w [[WCSS]], włączony w infrastruktury obliczeniowe  EGI i PL-Grid. Architektura wszystkich komputerów to x86_64 (Intel Core micro Architecture, EM64T).
  
 
Elementy klastra:  
 
Elementy klastra:  
−
* węzeł dostępowy (nova),
+
* węzeł dostępowy (supernova.wcss.pl, sn.wcss.pl),
−
* dwa węzły usługowe (darkmass/SE i dwarf/CE),
+
* węzeł do archiwizacji (archiwum.wcss.pl)
−
* 328 węzłów obliczeniowych (wn001 - wn328),
+
* 2 węzły serwisowe
−
* sieć obliczeniowa - [[Infiniband]] DDR fat-tree full-cbb,
+
* 4 węzły usługowe (darkmass/SE i dwarf/CE, endor/QCG, lalande/UNICORE),
 +
* 423 węzły obliczeniowe,
 +
* sieć obliczeniowa - [[Infiniband]] DDR (II i III), [[Infiniband]] QDR (pomiędzy węzłami IV i Lustre)
 
* sieć zarządzania - gigabit ethernet.
 
* sieć zarządzania - gigabit ethernet.
 
Zasoby obliczeniowe klastra:
 
Zasoby obliczeniowe klastra:
−
* 2016 rdzeni obliczeniowych,
+
* 5168 rdzeni obliczeniowych,
−
* ~4 TB pamięci operacyjnej (2GB/rdzeń)
+
* >10,4 TB pamięci operacyjnej (2GB/rdzeń, 4GB/rdzeń)
−
* ~100 TB przestrzeni dyskowej (dyski lokalne + [[Lustre]]),
+
* ~525 TB przestrzeni dyskowej (40 TB NFS + 485 TB [[Lustre]]),
−
* komunikacja pomiędzy węzłami klastra: przepływność 20Gbps, opóźnienia < 5 us.
+
* komunikacja pomiędzy węzłami klastra: przepływność 20 lub 40 Gbps (w zależności od klasy węzła), opóźnienia < 5 us.
  
  
 
===Zestawienie===
 
===Zestawienie===
−
{|
+
{|style="vertical-align: top;"
−
|style="vertical-align: top;" align="right"|  
+
|align="right"|klaster : ||'''supernova.wcss.wroc.pl''' || || || ||
−
klaster : <br />
+
|-style="vertical-align: top;"
−
moc obliczeniowa : <br />
+
|align="right"|przestrzeń&nbsp;home :||NFS 10TB || || || ||
−
węzły : <br />
+
|-style="vertical-align: top;"
−
CPU : <br />
+
|align="right"|przestrzeń&nbsp;scratch :||[[Lustre]] || || || ||
−
liczba CPU : <br />
+
|-style="vertical-align: top;"
−
cache : <br />
+
|align="right"|system&nbsp;operacyjny :||ScientificLinux || || || ||
−
pamięć : <br />
+
|-style="vertical-align: top;"
−
dysk /home : <br />
+
|align="right"|moc&nbsp;obliczeniowa :||'''67,54 TFLOPS''' || || || ||
−
dysk /scratch : <br />
+
|-style="vertical-align: top;"
−
system operacyjny : <br />
+
|align="right"|węzły :|| '''obliczeniowe generacji II (2)'''||'''obliczeniowe generacji III (14)''' ||'''obliczeniowe generacji IV (404)''' || '''GPU (3)'''
−
|style="vertical-align: top;"|
+
|-style="vertical-align: top;"
−
'''nova.wcss.wroc.pl''' <br />
+
|align="right"|CPU :||Intel Xeon E5345 2.33 GHz <br/>(Core-based "Clovertown", 65 nm)|| Intel Xeon L5420 2.5 GHz <br/>(Core-based "Harpertown", 45 nm)||Intel Xeon X5650 2.67 GHz <br/>(Nehalem-based Westmere-EP, 32 nm)||AMD Opteron 6274(6200 series, 32nm)
−
'''19 TFLOPS''' <br />
+
|-style="vertical-align: top;"
−
'''dostępowy''' <br />
+
|align="right"|liczba&nbsp;CPU :
−
Intel Xeon 3GHz<br />
+
|8(2x quad-core)
−
2x dual-core<br />
+
|8(2x quad-core)
−
4MB<br />
+
|12(2x six-core)
−
16GB<br />
+
|64(4x sixteen-core)
−
500GB<br />
+
|-style="vertical-align: top;"
−
-<br />
+
|align="right"|cache&nbsp;L1/L2/L3 :
−
ScientificLinux<br />
+
|128KB/8MB/-
−
|style="vertical-align: top;"|
+
|256KB/12MB/-
−
<br />
+
|64KB/1536KB/12MB
−
<br />
+
|48KB/1000KB/16MB
−
'''obliczeniowe (328)''' <br />
+
|-style="vertical-align: top;"
−
Intel Xeon 2.33/2.4/2.5 GHz<br />
+
|align="right"|pamięć :
−
1 lub 2x quad-core<br />
+
|16GB
−
4MB<br />
+
|16GB
−
2GB/core<br />
+
|24GB
−
-<br />
+
|256GB
−
160GB/node + [[Lustre]]<br />
+
|-style="vertical-align: top;"
−
ScientificLinux<br />
+
|align="right"|uwagi :
−
|-
+
|dyski lokalne + lustre
 +
|dyski lokalne + lustre
 +
|lustre
 +
|dyski lokalne + lustre + 2x Tesla M2075(448 rdzeni, 6GB pamięci)
 
|}
 
|}
  
 
===Oprogramowanie===
 
===Oprogramowanie===
 
;Aplikacje
 
;Aplikacje
−
[[Abaqus]], [[ACES2]], [[Autodock]], [[CAMFR]], [[CPMD]], [[FDS-SMV]] ,[[GAMESS]], [[Gaussian]], [[LAMMPS]], [[Meep]], [[MOLCAS]], [[Molpro]], [[Matlab]], [[NWChem]], [[R]], [[TURBOMOLE]] aplikacje własne użytkowników.
+
[[Abaqus]], [[ABINIT]], [[Accelrys]], [[Amber]], [[ANSYS]], [[ANSYS CFX]], [[ANSYS Fluent]], [[APBS]], [[AutoDock]], [[AutoDock Vina]], [[Cfour]], [[CPMD]], [[CRYSTAL09]], [[Dalton]], [[FDS-SMV]], [[GAMESS]], [[Gaussian]], [[Gromacs]], [[Hmmer]], [[LAMMPS]], [[Materials Studio]], [[Mathematica]], [[Matlab]], [[Meep]], [[MOLCAS]], [[Molden]], [[Molpro]], [[MOPAC]], [[NAMD]], [[NWChem]], [[OpenFOAM]], [[Orca]], [[R]], [[Siesta]], [[TURBOMOLE]], [[Xaim]], aplikacje własne użytkowników.
  
 
;Kompilatory
 
;Kompilatory
−
[[GNU GCC]], [[Intel]], [[PGI]]
+
[[GNU GCC]], [[Intel]], [[PGI]], nvcc
  
−
;Biblioteki
+
;Biblioteki i narzędzia
−
* [[MVAPICH1]],
 
 
* [[MVAPICH2]],
 
* [[MVAPICH2]],
 +
* [[MPIEXEC]],
 +
* OpenMPI
 
* [[MKL]] (/opt/intel/mkl/WERSJA/lib/em64t/),
 
* [[MKL]] (/opt/intel/mkl/WERSJA/lib/em64t/),
−
* GotoBLAS (/usr/local/lib/),
+
* GotoBLAS2 (/usr/local/GotoBLAS2/),
−
* ATLAS 3.8.3 (/usr/local/atlas-3.8.3)
+
* ATLAS (/usr/local/atlas/)
 +
* HDF
 +
* Python + SciPy + NumPy
 +
* CUDA
 
* ...
 
* ...
−
 
−
;Narzedzia
 
−
* [[MPIEXEC]]
 
  
 
;System kolejkowania  
 
;System kolejkowania  
−
[[PBS]]
+
[[PBSPro]]
  
 
===RSA key fingerprint===
 
===RSA key fingerprint===
Linia 82: Linia 92:
 
===Zalecenia===
 
===Zalecenia===
  
−
* na dysku /home wprowadzone zostały kwoty dyskowe: limit miękki 20GB, limit twardy 25GB, limit czasowy 7 dni; sprawdzenie stanu:
+
* na dysku /home wprowadzone zostały kwoty dyskowe: limit miękki 20GB, limit twardy 40GB, limit czasowy 7 dni; sprawdzenie stanu:
 
  quota
 
  quota
 
opis systemu kwot:
 
opis systemu kwot:
Linia 89: Linia 99:
 
* zainstalowane zostały nowe kompilatory Intela oraz nowa biblioteka [[MKL]]; oprogramowanie korzystające ze starych bibliotek może nie uruchamiać się lub pracować nieoptymalnie - wymagana jest rekompilacja;
 
* zainstalowane zostały nowe kompilatory Intela oraz nowa biblioteka [[MKL]]; oprogramowanie korzystające ze starych bibliotek może nie uruchamiać się lub pracować nieoptymalnie - wymagana jest rekompilacja;
  
−
* oprogramowanie zrównoleglone w standardze MPI musi zostać przekompilowane, aby mogło korzystać z sieci [[Infiniband]]; domyślna implementacja MPI to [[MVAPICH1]];
+
* oprogramowanie zrównoleglone w standardzie MPI musi zostać przekompilowane, aby mogło korzystać z sieci [[Infiniband]]; domyślna implementacja MPI to [[MVAPICH2]];
  
−
* zadania MPI uruchamiane poprzez sieć Ethernet a nie [[Infiniband]] bądą zabijane bez ostrzeżenia - sieć Ethernet jest dedykowana dla NFS;
+
* zadania MPI uruchamiane poprzez sieć Ethernet a nie [[Infiniband]] będą zabijane bez ostrzeżenia - sieć Ethernet jest dedykowana dla NFS;
  
−
* zadania MPI należy uruchamiac poprzez narzędzie [[MPIEXEC]] a nie mpirun;
+
* zadania MPI należy uruchamiać poprzez narzędzie [[MPIEXEC]] a nie mpirun;
  
−
* oprogramowanie zrównoleglone w innym standardze niż MPI musi zostać przekonfigurowane - prosimy o kontakt użytkownikow takich aplikacji;
+
* oprogramowanie zrównoleglone w innym standardzie niż MPI musi zostać przekonfigurowane - prosimy o kontakt użytkowników takich aplikacji;
  
−
* zalecenia dotyczące współdzielonego dysku scratch - [[Lustre]]
+
* zalecenia dotyczące współdzielonego dysku scratch - [[Lustre]].
  
 
===Zobacz też===
 
===Zobacz też===
Linia 103: Linia 113:
 
*[[Maszyny obliczeniowe]]
 
*[[Maszyny obliczeniowe]]
 
*[[Przekierowanie wyświetlania]]
 
*[[Przekierowanie wyświetlania]]
−
*[[Programy badawcze]]
 
 
*[[Galeria zdjęć (Nova)]]
 
*[[Galeria zdjęć (Nova)]]
−
*[http://sun1000.pwr.wroc.pl/PrezentacjaKDM/index.html Galeria zdjęć z uruchomienia]
 
  
 
{{maszyny obliczeniowe}}
 
{{maszyny obliczeniowe}}

Aktualna wersja na dzień 10:58, 27 lip 2015

< Podręcznik użytkownika KDM < Maszyny obliczeniowe < Supernova

! Przerwa serwisowa klastra: 13 sierpnia - 21 sierpnia 2015
Supernova
noframe
Kontakt
kdm@wcss.pl

Supernova - klaster zainstalowany w WCSS, włączony w infrastruktury obliczeniowe EGI i PL-Grid. Architektura wszystkich komputerów to x86_64 (Intel Core micro Architecture, EM64T).

Elementy klastra:

  • węzeł dostępowy (supernova.wcss.pl, sn.wcss.pl),
  • węzeł do archiwizacji (archiwum.wcss.pl)
  • 2 węzły serwisowe
  • 4 węzły usługowe (darkmass/SE i dwarf/CE, endor/QCG, lalande/UNICORE),
  • 423 węzły obliczeniowe,
  • sieć obliczeniowa - Infiniband DDR (II i III), Infiniband QDR (pomiędzy węzłami IV i Lustre)
  • sieć zarządzania - gigabit ethernet.

Zasoby obliczeniowe klastra:

  • 5168 rdzeni obliczeniowych,
  • >10,4 TB pamięci operacyjnej (2GB/rdzeń, 4GB/rdzeń)
  • ~525 TB przestrzeni dyskowej (40 TB NFS + 485 TB Lustre),
  • komunikacja pomiędzy węzłami klastra: przepływność 20 lub 40 Gbps (w zależności od klasy węzła), opóźnienia < 5 us.


Zestawienie

klaster : supernova.wcss.wroc.pl
przestrzeń home : NFS 10TB
przestrzeń scratch : Lustre
system operacyjny : ScientificLinux
moc obliczeniowa : 67,54 TFLOPS
węzły : obliczeniowe generacji II (2) obliczeniowe generacji III (14) obliczeniowe generacji IV (404) GPU (3)
CPU : Intel Xeon E5345 2.33 GHz
(Core-based "Clovertown", 65 nm)		 Intel Xeon L5420 2.5 GHz
(Core-based "Harpertown", 45 nm)		 Intel Xeon X5650 2.67 GHz
(Nehalem-based Westmere-EP, 32 nm)		 AMD Opteron 6274(6200 series, 32nm)
liczba CPU : 8(2x quad-core) 8(2x quad-core) 12(2x six-core) 64(4x sixteen-core)
cache L1/L2/L3 : 128KB/8MB/- 256KB/12MB/- 64KB/1536KB/12MB 48KB/1000KB/16MB
pamięć : 16GB 16GB 24GB 256GB
uwagi : dyski lokalne + lustre dyski lokalne + lustre lustre dyski lokalne + lustre + 2x Tesla M2075(448 rdzeni, 6GB pamięci)

Oprogramowanie

Aplikacje

Abaqus, ABINIT, Accelrys, Amber, ANSYS, ANSYS CFX, ANSYS Fluent, APBS, AutoDock, AutoDock Vina, Cfour, CPMD, CRYSTAL09, Dalton, FDS-SMV, GAMESS, Gaussian, Gromacs, Hmmer, LAMMPS, Materials Studio, Mathematica, Matlab, Meep, MOLCAS, Molden, Molpro, MOPAC, NAMD, NWChem, OpenFOAM, Orca, R, Siesta, TURBOMOLE, Xaim, aplikacje własne użytkowników.

Kompilatory

GNU GCC, Intel, PGI, nvcc

Biblioteki i narzędzia
  • MVAPICH2,
  • MPIEXEC,
  • OpenMPI
  • MKL (/opt/intel/mkl/WERSJA/lib/em64t/),
  • GotoBLAS2 (/usr/local/GotoBLAS2/),
  • ATLAS (/usr/local/atlas/)
  • HDF
  • Python + SciPy + NumPy
  • CUDA
  • ...
System kolejkowania

PBSPro

RSA key fingerprint

d5:85:f7:5a:92:9b:72:7d:d3:74:67:ab:e4:46:28:e9

Zalecenia

  • na dysku /home wprowadzone zostały kwoty dyskowe: limit miękki 20GB, limit twardy 40GB, limit czasowy 7 dni; sprawdzenie stanu:
quota

opis systemu kwot: 

man quota
  • zainstalowane zostały nowe kompilatory Intela oraz nowa biblioteka MKL; oprogramowanie korzystające ze starych bibliotek może nie uruchamiać się lub pracować nieoptymalnie - wymagana jest rekompilacja;
  • oprogramowanie zrównoleglone w standardzie MPI musi zostać przekompilowane, aby mogło korzystać z sieci Infiniband; domyślna implementacja MPI to MVAPICH2;
  • zadania MPI uruchamiane poprzez sieć Ethernet a nie Infiniband będą zabijane bez ostrzeżenia - sieć Ethernet jest dedykowana dla NFS;
  • zadania MPI należy uruchamiać poprzez narzędzie MPIEXEC a nie mpirun;
  • oprogramowanie zrównoleglone w innym standardzie niż MPI musi zostać przekonfigurowane - prosimy o kontakt użytkowników takich aplikacji;
  • zalecenia dotyczące współdzielonego dysku scratch - Lustre.

Zobacz też

Maszyny obliczeniowe Bem ⋅ Klaster kampusowy


Źródło: „https://kdm.wcss.pl/w/index.php?title=Supernova&oldid=5217”