Narzędzia monitorujące wykorzystanie zasobów na klastrze Bem

Na klastrze Bem dostępne są narzędzia ułatwiające monitorowanie wykorzystania zasobów (pamięć operacyjna oraz czas wykonywania) przez zakończone zadania (resused i resstat).

Aby uzyskać informacje o wykorzystaniu zasobów przez zakończone zadania można skorzystać z polecenia:

> resused number_of_jobs

gdzie jako parametr należy podać liczbę zadań z zakresu od 1 do 500, np.

> resused 5

Polecenie wyświetli tabelę zawierającą informacje o wykorzystaniu zasobów przez każde z 5-ciu ostatnio zakończonych zadań. Tabela powinna wyglądać podobnie do poniższej:

Resource usage of the last 5 jobs

  Job Id  Job Name   Memory    Used/Req [GB]    Walltime    Used/Req [h]
--------  ---------- --------  ---------------  ----------  --------------
    2000  test_1     OK        6.86/7.81        OK          71/100          
    2001  test_2     OK        6.86/7.81        OK          7/10          
    2002  test_3     OK        6.86/7.81        OK          5/5        
    2003  test_4     CRITICAL  0.86/7.81        OK          12/12           
    2004  cc1        WARNING   4.00/10.00       WARNING     4/12            

Kolejne kolumny powyższej tabeli oznaczają:

• identyfikator zadania (Job Id)
• nazwę zadania (Job Name)
• komunikat dotyczący wykorzystania pamięci przez zadanie (Memory)
• ilość pamięci wykorzystanej i zaalokowanej dla zadania w GB (Used/Req [GB])
• komunikat dotyczący wykorzystania walltime'u przez zadanie (Walltime)
• liczbę godzin wykorzystanych i zarezerwowanych dla zadania (Used/Req [h])

Komunikaty CRITICAL, WARNING oraz OK w kolumnach Memory i Walltime odpowiadają następującemu wykorzystaniu zasobów przez zadanie:

Wykorzystanie zasobów:     Komunikat:
0-30%                      CRITICAL
31-70%                     WARNING
71-100%                    OK

Przykład: zadanie o nazwie test_1 (identyfikator 2000) wykorzystało 6.86 GB pamięci z zarezerwowanych 7.81 GB (ok. 88%) . Zadanie wykorzystało 71% zarezerwowanego czasu (obliczenia trwały 71h, natomiast zarezerwowano 100h).

Dodanie opcji -c do polecenia resused wyświetli dodatkowe informacje:

> resused -c 5

Resource usage of the last 5 jobs

  Job Id  Job Name   Memory    Used/Req [GB]    Walltime    Used/Req [h]    CPUTime    Used/Wall*ncpus [h]
--------  ---------- --------  ---------------  ----------  --------------  ---------  ---------------------
    2000  test_1     OK        6.86/7.81        OK          71/1000         OK         71/100
    2001  test_2     OK        6.86/7.81        OK          7/10            OK         15/20
    2002  test_3     OK        6.86/7.81        OK          5/5             CRITICAL   4/20
    2003  test_4     CRITICAL  0.86/7.81        OK          12/12           CRITICAL   1/12
    2004  cc1        WARNING   4.00/10.00       WARNING     4/12            WARNING    4/12

Dwie końcowe kolumny w powyższej tabeli oznaczają:

• komunikat dotyczący wykorzystania czasu CPU przez zadanie (CPUTime)
• liczbę godzin CPU wykorzystanych przez zadanie (Used) oraz iloczyn: liczba_zaalokowanych_godzin_walltime*liczba_zaalokowanych_rdzeni (Wall*ncpus)

Przykład: zadanie o nazwie test_1 (identyfikator 2000) było zlecone na jeden rdzeń (ncpus=1) i wykorzystało 71h czasu CPU oraz 71h walltime'u. Procentowe wykorzystanie czasu CPU jest zatem równe 71%.

W celu sprawdzenia statystyki wykorzystania zasobów przez 10, 100 oraz 1000 ostatnio zakończonych zadań można skorzystać z komendy:

> resstat

Polecenie wyświetla tabelę podobną do poniższej:

Total usage by the last:

             Memory used/req [GB]    [%]    Walltime used/req [h]    [%]
---------  ----------------------  -----  -----------------------  -----
  10 jobs                 111/117     95                4036/5040     80
 100 jobs               1118/1172     95              25030/50400     50
1000 jobs               8937/9850     89            209631/498418     42

Tabela ta zawiera następujące informacje:

• sumaryczną ilość pamięci wykorzystanej i zaalokowanej przez 10, 100 i 1000 ostatnio zakończonych zadań w GB (Memory used/req [GB])
• sumaryczną liczbę godzin wykorzystanych i zaalokowanych przez 10, 100 i 1000 ostatnio zakończonych zadań (Walltime used/req [GB])
• procentowe wykorzystanie pamięci i walltime'u przez 10, 100 i 1000 ostatnio zakończonych zadań

Przykład: 10 ostatnio zakończonych zadań użytkownika wykorzystało łącznie 111 GB pamięci z zarezerwowanych 117 GB, co stanowi 95%. Te same zadania wykorzystały łącznie 4036h czasu obliczeniowego z zaalokowanych 5040h (80%).

Uwaga

Po zalogowaniu na klaster Bem wyświetlane są dwie tabele. Pierwsza z nich prezentuje informację o wykorzystaniu pamięci oraz walltime'u przez 10 ostatnio zakończonych zadań użytkownika (wynik działania komendy resused 10), natomiast druga przedstawia statystyki wykorzystania tych zasobów przez ostatnich 10, 100 oraz 1000 zadań (wynik działania komendy resstat).