WIKI KDM - Wkład użytkownika [pl]

Zlecanie zadań przez system kolejkowy SLURM

2018-07-05T13:37:46Z

Pbrona:

== Zlecanie zadań ==
 
Przed zleceniem zadania, należy je obudować w odpowiedni skrypt zrozumiały dla systemu kolejkowego, np.:
<pre>
/home/users/user/submit_script.sl
</pre>
Przykładowy skrypt SLURM:
<pre>
#!/bin/bash -l
#SBATCH -N 1
#SBATCH --mem 5000
#SBATCH --time=20:00:00

/sciezka/do/pliku/binarnego/plik_binarny.in >/sciezka/do/pliku/wyjsciowego.out
</pre>

Aby zlecić zadanie do konkretnej kolejki używamy parametru #SBATCH -p np.
<pre>
#!/bin/bash -l
#SBATCH -N 1
#SBATCH --mem 5000
#SBATCH --time=20:00:00
#SBATCH -p standard

/sciezka/do/pliku/binarnego/plik_binarny.in >/siezka/do/pliku/wyjsciowego.out
</pre>
Zadanie należy następnie zlecić komendą '''sbatch'''
<pre>
sbatch /home/users/user/submit_script.sl
</pre>

=== Zlecanie zadań interaktywnych ===
 
Zadania interaktywne możemy podzielić na dwie grupy:

:* zadanie interaktywne (praca w trybie tekstowym)
:* zadanie interaktywne

==== Zadanie interaktywne (praca w trybie tekstowym) ====
 
Zlecanie zadań interaktywnych jest bardzo proste i w najprostszym przypadku sprowadza się do wydania poniższego polecenia.

<pre>
srun --pty /bin/bash
</pre>

==== Zadanie interaktywne z przekierowaniem X-ów (praca w trybie graficznym) ====
 
Aby zlecić zadanie z przekierowaniem X-ów należy zalogować się na maszynę z uruchomioną usługą X

<pre>
ssh -X eagle.man.poznan.pl
</pre>
 
UWAGA: W systemie Windows należy mieć zainstalowany serwer X np. Xming oraz w programie Putty aktywować przekierowanie X11

Gdy zalogujemy się na maszynę za pomocą X należy zlecić zadanie interaktywne
<pre>
srun --x11 -n28 --pty /bin/bash
</pre>
 
Następnie uruchamiamy przykładowy program (wyświetla stan kolejki na maszynie eagle)

<pre>
sview &
</pre>

== Zlecanie zadan na węzły z kartami GPU ==

W celu zlecenia zadania na węzły z kartami GPU należy do skryptu zadaniowego dodać poniższe parametry:

<pre>
#SBATCH --gres=gpu:2
#SBATCH --partition=tesla
</pre>

== Sprawdzanie stanu systemu kolejkowego ==
 
Aby sprawdzić jakie zadania zostały zlecone przez użytkownika należy wykonać polecenie:
Przykład:
<pre>
squeue -u nazwa_uzytkownika
</pre>
 
Wyświetlenie listy zadań

<pre>
squeue -p standard
</pre>

 Wyświetlenie informacji o konkretnym zadaniu

<pre>
scontrol show job <job_id>
</pre>

== Usuwanie zadań ==

Jeżeli z jakiegoś powodu istnieje potrzeba usunięcia zadania - należy skorzystać z polecenia '''scancel''', które przyjmuje jako parametr identyfikator zadania. Można kasować zadania zarówno oczekujące w kolejce jak i uruchomione.
 
Przykład:
<pre>
scancel numer_zadania
</pre>

Namd

2017-09-27T12:51:17Z

Pbrona:

== Opis programu ==

NAMD to pakiet oprogramowania do symulacji zachowania cząsteczek i układów cząsteczek złożonych z ogromnej liczby atomów. Powstał na amerykańskim Uniwersytecie Illinois i jest używany głównie w biologii molekularnej. Pozwala badać strukturę oraz zachowanie genów i białek; za pomocą NAMD zbudowano na przykład model kapsydu wirusa HIV – białkowej otoczki chroniącej kod genetyczny wirusa. Takie modele mogą posłużyć do opracowania leków niszczących niepożądane białka dzięki swojemu kształtowi, dopasowanemu do zastosowania.

NAMD wykorzystuje model programowania Charm++, dzięki czemu skaluje się nawet w zastosowaniach superkomputerowych.

== Wersje ==

Na maszynach obliczeniowych dostępnych jest kilka wersji oraz podwersji oprogramowania NAMD.

=== 2.12 ===

* Linux-x86_64-multicore (64-bit Intel/AMD single node)
* Linux-x86_64 (64-bit Intel/AMD with ethernet)
* Linux-x86_64-TCP (TCP may be better on gigabit)
* Linux-x86_64-ibverbs (InfiniBand via OpenFabrics OFED, not for Omni-Path, no MPI needed)
* [[#Linux-x86_64-ibverbs-smp|Linux-x86_64-ibverbs-smp]] (InfiniBand plus shared memory, no MPI needed)
* Linux-x86_64-multicore-CUDA (NVIDIA CUDA acceleration)
* Linux-x86_64-ibverbs-smp-CUDA (NVIDIA CUDA with InfiniBand)
* Linux-x86_64-netlrts (Multi-copy algorithms)
* Linux-x86_64-verbs (Multi-copy algorithms on InfiniBand)
* Linux-x86_64-verbs-smp (Multi-copy algorithms on InfiniBand)
* Linux-x86_64-verbs-smp-CUDA (Multi-copy algorithms on InfiniBand)
* Linux-KNL-multicore (Intel Xeon Phi KNL processor single node)

== Moduły ==

W celu skorzystania z oprogramowania NAMD należy załadować odpowiedni moduł. Wyświetlenie listy dostępnych modułów jest możliwe po wydaniu w konsoli poniższego polecenia.

<pre>
module avail namd
</pre>

Więcej informacji na temat modułów znajduję się na stronie [[Podstawowe_informacje#Za.C5.82adowanie_modu.C5.82u|Ładowanie modułów]].

== Uruchamianie obliczeń ==

=== Linux-x86_64-ibverbs-smp ===

==== SLURM (eagle) ====

* Skrypt zlecający + przykładowe dane wejściowe -> [[File:slurm.namd.smtv.tar.gz|slurm.namd.smtv.tar.gz]]

Skrypt zlecający:

<pre>
#!/bin/bash
#SBATCH --nodes 8
#SBATCH --tasks-per-node=28
#SBATCH --partition=fast
#SBATCH --job-name=stmv-benchmark
#SBATCH --mem-per-cpu=1GB
#SBATCH --time=01:00:00
#SBATCH --error=job-%A-%a.err
#SBATCH --output=job-%A-%a.out
#SBATCH --exclusive

# Load module
module load namd/2.12-ibverbs-smp
module load openmpi

# Set personal variables
#export INPUT_DIR="/home/admins/pbrona/benchmarks/namd/STMV_virus_benchmark/stmv"
export INPUT_DIR="/home/admins/pbrona/benchmarks/namd/STMV_virus_benchmark"

# Set ${TMPDIR} - shared storage
mkdir -p /tmp/lustre_shared/${USER}/${SLURM_JOB_ID}
export TMPDIR=/tmp/lustre_shared/${USER}/${SLURM_JOB_ID}

NODELIST="${TMPDIR}/nodelist"

## Create nodelist
echo "group main" >> ${TMPDIR}/nodelist
for NODE in $(scontrol show hostname ${SLURM_JOB_NODELIST}); do
echo "host ${NODE}" >> ${TMPDIR}/nodelist
# ib
#echo "host ${NODE}-ib" >> ${TMPDIR}/nodelist
done

# Copy data files
#cp ${INPUT_DIR}/{stmv.*,*.inp} ${TMPDIR}
#cd ${TMPDIR}

cp -r ${INPUT_DIR}/stmv.tar.gz ${TMPDIR}
cd ${TMPDIR}
tar -zxvf stmv.tar.gz
cd stmv

# Run namd
${namd_root}/charmrun ++ppn ${SLURM_NTASKS_PER_NODE} ++verbose ++usehostname ++scalable-start ${namd_root}/namd2 +p ${SLURM_NTASKS} ++nodelist ${NODELIST} stmv.namd > stmv.out

# Copy the results of calculations
cp -r ${TMPDIR} ${SLURM_SUBMIT_DIR}
rm -rf ${TMPDIR}
</pre>

==== PBS/Torque (inula) ====

* Skrypt zlecający + przykładowe dane wejściowe -> [[File:torque.namd.smtv.tar.gz|torque.namd.smtv.tar.gz]]

Skrypt zlecający:

<pre>
...
</pre>

Namd

2017-09-27T12:45:52Z

Pbrona: Utworzono nową stronę " == Opis programu == NAMD to pakiet oprogramowania do symulacji zachowania cząsteczek i układów cząsteczek złożonych z ogromnej liczby atomów. Powstał na ameryk..."

== Opis programu ==

NAMD to pakiet oprogramowania do symulacji zachowania cząsteczek i układów cząsteczek złożonych z ogromnej liczby atomów. Powstał na amerykańskim Uniwersytecie Illinois i jest używany głównie w biologii molekularnej. Pozwala badać strukturę oraz zachowanie genów i białek; za pomocą NAMD zbudowano na przykład model kapsydu wirusa HIV – białkowej otoczki chroniącej kod genetyczny wirusa. Takie modele mogą posłużyć do opracowania leków niszczących niepożądane białka dzięki swojemu kształtowi, dopasowanemu do zastosowania.

NAMD wykorzystuje model programowania Charm++, dzięki czemu skaluje się nawet w zastosowaniach superkomputerowych.

== Wersje ==

Na maszynach obliczeniowych dostępnych jest kilka wersji oraz podwersji oprogramowania NAMD.

=== 2.12 ===

* Linux-x86_64-multicore (64-bit Intel/AMD single node)
* Linux-x86_64 (64-bit Intel/AMD with ethernet)
* Linux-x86_64-TCP (TCP may be better on gigabit)
* Linux-x86_64-ibverbs (InfiniBand via OpenFabrics OFED, not for Omni-Path, no MPI needed)
* [[Namd#Linux-x86_64-ibverbs-smp|Linux-x86_64-ibverbs-smp]] (InfiniBand plus shared memory, no MPI needed)
* Linux-x86_64-multicore-CUDA (NVIDIA CUDA acceleration)
* Linux-x86_64-ibverbs-smp-CUDA (NVIDIA CUDA with InfiniBand)
* Linux-x86_64-netlrts (Multi-copy algorithms)
* Linux-x86_64-verbs (Multi-copy algorithms on InfiniBand)
* Linux-x86_64-verbs-smp (Multi-copy algorithms on InfiniBand)
* Linux-x86_64-verbs-smp-CUDA (Multi-copy algorithms on InfiniBand)
* Linux-KNL-multicore (Intel Xeon Phi KNL processor single node)

== Moduły ==

W celu skorzystania z oprogramowania NAMD należy załadować odpowiedni moduł. Wyświetlenie listy dostępnych modułów jest możliwe po wydaniu w konsoli poniższego polecenia.

<pre>
module avail namd
</pre>

Więcej informacji na temat modułów znajduję się na stronie [[Podstawowe_informacje#Za.C5.82adowanie_modu.C5.82u|Ładowanie modułów]].

== Uruchamianie obliczeń ==

=== Linux-x86_64-ibverbs-smp ===

==== SLURM (eagle) ====

* Skrypt zlecający + przykładowe dane wejściowe -> [[File:slurm.namd.smtv.tar.gz|slurm.namd.smtv.tar.gz]]

Skrypt zlecający:

<pre>
#!/bin/bash
#SBATCH --nodes 8
#SBATCH --tasks-per-node=28
#SBATCH --partition=fast
#SBATCH --job-name=stmv-benchmark
#SBATCH --mem-per-cpu=1GB
#SBATCH --time=01:00:00
#SBATCH --error=job-%A-%a.err
#SBATCH --output=job-%A-%a.out
#SBATCH --exclusive

# Load module
module load namd/2.12-ibverbs-smp
module load openmpi

# Set personal variables
#export INPUT_DIR="/home/admins/pbrona/benchmarks/namd/STMV_virus_benchmark/stmv"
export INPUT_DIR="/home/admins/pbrona/benchmarks/namd/STMV_virus_benchmark"

# Set ${TMPDIR} - shared storage
mkdir -p /tmp/lustre_shared/${USER}/${SLURM_JOB_ID}
export TMPDIR=/tmp/lustre_shared/${USER}/${SLURM_JOB_ID}

NODELIST="${TMPDIR}/nodelist"

## Create nodelist
echo "group main" >> ${TMPDIR}/nodelist
for NODE in $(scontrol show hostname ${SLURM_JOB_NODELIST}); do
echo "host ${NODE}" >> ${TMPDIR}/nodelist
# ib
#echo "host ${NODE}-ib" >> ${TMPDIR}/nodelist
done

# Copy data files
#cp ${INPUT_DIR}/{stmv.*,*.inp} ${TMPDIR}
#cd ${TMPDIR}

cp -r ${INPUT_DIR}/stmv.tar.gz ${TMPDIR}
cd ${TMPDIR}
tar -zxvf stmv.tar.gz
cd stmv

# Run namd
${namd_root}/charmrun ++ppn ${SLURM_NTASKS_PER_NODE} ++verbose ++usehostname ++scalable-start ${namd_root}/namd2 +p ${SLURM_NTASKS} ++nodelist ${NODELIST} stmv.namd > stmv.out

# Copy the results of calculations
cp -r ${TMPDIR} ${SLURM_SUBMIT_DIR}
rm -rf ${TMPDIR}
</pre>

==== PBS/Torque (inula) ====

* Skrypt zlecający + przykładowe dane wejściowe -> [[File:torque.namd.smtv.tar.gz|torque.namd.smtv.tar.gz]]

Skrypt zlecający:

<pre>
...
</pre>

Namd-old

2017-09-27T12:44:43Z

Pbrona: Pbrona przeniósł stronę Namd old do Namd-old

Opis programu:
 NAMD (NAnoscale Molecular Dynamics) - oprogramowanie chemiczne do symulacji dynamiki molekularnej dla bardzo dużych układów.

Wersje:
<pre>
Name: NAMD
Version: 2.10
Platform: x86_64
Category: Applications/Engineering
URL: http://www.ks.uiuc.edu/Research/namd/
</pre>
Poniżej znajduje się informacja jak załadować moduł do oprogramowania: 
[https://wiki.man.poznan.pl/kdm/index.php/Podstawowe_informacje#Za.C5.82adowanie_modu.C5.82u| Odnośnik do ładowania modułów] 
Przykładowy skrypt uruchomieniowy PBS:
<pre>

</pre>

Przykładowy skrypt uruchomieniowy SLURM:
<pre>

</pre>

Przykładowe dane wejściowe:
<pre>

</pre>

Namd-old

2017-09-27T12:43:46Z

Pbrona: Pbrona przeniósł stronę Namd do Namd old

Strona główna

2016-10-06T14:46:33Z

Pbrona:

__NOTITLE__
{| class="wikitable"; id="customers"
! style="font-weight: bold;" | '''Aktualności'''
|-
|-class="alt"
|
'''Niedostępność maszyn obliczeniowych PCSS''' 

Szanowni Panstwo,

Od poniedzialku (03.10) wystepuje problem z systemem plikow lustre. Nasi
administratorzy wraz z inzynierami z firmy DDN caly czas pracują nad
przywroceniem pelnej funkcjonalnosci systemu. Do czasu usuniecia awarii
uruchamianie zadan na maszynach obliczeniowych jest niemozliwe. Zadania
zleceanie do systemu sa kolejkowane, ale nie sa uruchamiane. Prepraszamy
za zaistniele problemy i prosimy jeszcze o kilka godzin cierpliwosci.

Z powazaniem
Administratorzy
|-
|'''Konkurs na Najlepszy Artykuł w CMST''' 
Zapraszamy do zgłoszenia artykułów, które ukażą się w najnowszym numerze czasopisma CMST!

Informacja dla autorów: http://cmst.eu/notes-for-authors/ 
Spośród zgłoszonych prac wyłonione zostaną dwie najlepsze. 
Nagroda główna: 3000 zł netto dla zwycięskiego artykułu, 
Wyróżnienie: nagroda rzeczowa ufundowana przez sponsora Konferencji Użytkowników KDM 2016.

- Zgłoszenia publikacji do 31 października 2016 r. 
- Rozstrzygnięcie konkursu do 30 grudnia 2016 r.

Regulamin konkursu: http://konferencjakdm.pcss.pl/2016/konkursy
|}
[[Aktualności]]

<Center>
== Zasoby obliczeniowe PCSS ==
 
{| class="wikitable"
|style="text-align: center;"|[[Plik:eagle.jpg|240px|link=Eagle]]
|style="text-align: center;"|[[Plik:Inula.jpg|240px|link=Inula]]
|style="text-align: center;"|[[Plik:Chimera.jpg|240px|link=Chimera]]
|style="text-align: center;"|[[Plik:Inula.jpg|240px|link=Cane]]
|-
|style="text-align: center;"|'''[[Eagle]]'''
|style="text-align: center;"|'''[[Inula]]'''
|style="text-align: center;"|'''[[Chimera]]'''
|style="text-align: center;"|'''[[Cane]]'''
|-
! colspan="4" | 24h active nodes
|-
|https://wiki.man.poznan.pl/kdm/static-content/eagle_processors.png
|https://wiki.man.poznan.pl/kdm/static-content/inula_processors.png
|https://wiki.man.poznan.pl/kdm/static-content/chimera_processors.png
|https://wiki.man.poznan.pl/kdm/static-content/cane_processors.png
|-
! colspan="4" | Current load
|-
|https://wiki.man.poznan.pl/kdm/static-content/eagle_load.png
|https://wiki.man.poznan.pl/kdm/static-content/inula_load.png
|https://wiki.man.poznan.pl/kdm/static-content/chimera_load.png
|https://wiki.man.poznan.pl/kdm/static-content/cane_load.png
|-
! colspan="4" | Monthly load
|-
|https://wiki.man.poznan.pl/kdm/static-content/eagle_monthly_load.png
|https://wiki.man.poznan.pl/kdm/static-content/inula_monthly_load.png
|https://wiki.man.poznan.pl/kdm/static-content/chimera_monthly_load.png
|https://wiki.man.poznan.pl/kdm/static-content/cane_monthly_load.png
|}