Infiniband

InfiniBand w WCSS

Lustre w KDM WCSS

Sieć InfiniBand służy do komunikacji obliczeniowej w klastrze Nova oraz do komunikacji klastra z systemem plików Lustre. Sieć korzysta z technologii DDR z teoretyczną przepływnością 20Gbps. Topologia to Fat-Tree, Full-CBB.

Siec sklada sie z 3 stref:

• strefa rdzeniowa:
  • przelacznik Flextronics F-XR430084, chassis z 288 portami, 270 portow zajete
  • przelacznik Voltaire ISR2012, chassis dla 288 portow, zainstalowane 3 plyty po 24 porty oraz 1 plyta z 22 portami IB i 2 portami 10Gig Ethernet, wszystkie porty zajete

• strefa brzegowa dla klastra Nova:
  • 28 przelacznikow Voltaire ISR9024, kazdy po 24 porty, zajete lacznie 332 porty
  • 328 wezłów obliczeniowych klastra Nova
  • 2 wezly uslugowe klastra Nova
  • wezel główny klastra Nova

• strefa brzegowa dla Lustre:
  • 4 przełączniki Voltaire ISR9024, kazdy po 24 porty, zajetosc portow jak na rysunku
  • dwie macierze DDN S2A9900
  • dwa serwery Lustre MDS
  • osiem serwerow Lustre OSS