Infiniband

Z KdmWiki
Przejdź do nawigacji Przejdź do wyszukiwania

InfiniBand w WCSS

Lustre w KDM WCSS

Sieć InfiniBand służy do komunikacji obliczeniowej w klastrze Nova oraz do komunikacji klastra z systemem plików Lustre. Sieć korzysta z technologii DDR z teoretyczną przepływnością 20Gbps. Topologia to Fat-Tree, Full-CBB.

Siec sklada sie z 3 stref:

  • strefa rdzeniowa:
    • przelacznik Flextronics F-XR430084, chassis z 288 portami, 270 portow zajete
    • przelacznik Voltaire ISR2012, chassis dla 288 portow, zainstalowane 3 plyty po 24 porty oraz 1 plyta z 22 portami IB i 2 portami 10Gig Ethernet, wszystkie porty zajete
  • strefa brzegowa dla klastra Nova:
    • 28 przelacznikow Voltaire ISR9024, kazdy po 24 porty, zajete lacznie 332 porty
    • 328 wezłów obliczeniowych klastra Nova
    • 2 wezly uslugowe klastra Nova
    • wezel główny klastra Nova
  • strefa brzegowa dla Lustre:
    • 4 przełączniki Voltaire ISR9024, kazdy po 24 porty, zajetosc portow jak na rysunku
    • dwie macierze DDN S2A9900
    • dwa serwery Lustre MDS
    • osiem serwerow Lustre OSS