System kolejkowy

< Podręcznik użytkownika KDM < System kolejkowy

System kolejkowy - jeden z elementów środowiska serwerów obliczeniowych WCSS. System kolejkowy pozwala na uporządkowane uruchamianie oprogramowania użytkowników oraz umożliwia optymalne wykorzystanie dostępnego sprzętu, definiowanie i obsługę polityki przydziału zasobów, ustalanie priorytetów zadań, czy też przydzielanie użytkownikom limitów czasowych.

Na serwerach KDM działa system kolejkowania PBSPro.

Inne systemy kolejkowe to np. SLURM, OpenPBS, Torque/PBS, SGE, NQS, LoadLeveler, LSF.

W obrębie każdego z systemów utworzone są kolejki dopasowane do określonych typów zadań.

Każda kolejka posiada zestaw parametrów z nią związanych: priorytet (priority), maksymalną liczbę zadań (jobs), limit zadań dla użytkownika, limit zadań na host, limit pamięci na zadanie, grupy użytkowników i inne.

Kolejka o wyższym priorytecie (np. 40) uruchomi zadanie przed kolejką o niższym priorytecie (np. 20). Maksymalna liczba zadań w odniesieniu do kolejki dotyczy zadań równocześnie uruchomionych (status running), nie wpływając na liczbę zadań oczekujących na uruchomienie (status pending), za co odpowiedzialny jest osobny parametr, który na serwerach KDM domyślnie jest nieograniczony. Limit zadań dla użytkownika określa ile zadań danego użytkownika może liczyć się w danej kolejce, natomiast limit zadań na host decyduje ile maksymalnie zadań można uruchomić na jednym hoście (np. jeżeli limit ten jest 2 dla kolejki i 2 zadania już się liczą, następne zadanie z tej kolejki uruchomi się dopiero wtedy, gdy jedno z działających zakończy się).

Odpowiednio dobrana kombinacja parametrów kolejek, jak i całego systemu kolejkowania, pozwala na sprawne uruchamianie zadań i efektywne wykorzystanie zasobów.

Uruchamianie typowych obliczeń na klastrze Bem nie wymaga podawania kolejki, gdyż wyboru odpowiedniej kolejki dokonuje system kolejkowy na podstawie podanych przez użytkownika wymagań odnośnie czasu wykonania.
Ogólna zasada jest następująca: wszystkie zadania należy zlecać do kolejki main, która w zależności od czasu trwania zadania przekieruje je do kolejki o odpowiednio długim czasie wykonywania.
Dla przykładu zadanie o czasie 123h trafi do kolejki shoth168h. Każda z kolejek ma inny priorytet. W ogólności im krótsza kolejka tym wyższy priorytet. Kolejka normal o maksymalnej długości zadania do 504h ma najniższy priorytet i ograniczone zasoby. Pozostałe kolejki korzystają ze wszystkich zasobów.

Zobacz też: Jak korzystać z kolejek PBS?

Systemy kolejkowe	PBSPro