https://wiki.man.poznan.pl/kdm/api.php?action=feedcontributions&feedformat=atom&user=RadekjWIKI KDM - Wkład użytkownika [pl]2026-05-18T10:58:32ZWkład użytkownikaMediaWiki 1.38.1https://wiki.man.poznan.pl/kdm?title=Kompilacja_oprogramowania&diff=2209Kompilacja oprogramowania2024-11-22T12:20:55Z<p>Radekj: </p>
<hr />
<div>{{DISPLAYTITLE:Kompilacja oprogramowania}}<br />
= Kompilacja oprogramowania =<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold; |'''Proszę nie uruchamiać kompilacji na węźle dostępowym!!'''<br />
|}<br />
Aby skompilować oprogramowanie na klastrze musimy uzyskać dostęp do konsoli interaktywnej. Aby tego dokonać należy zlecić [[Kompilacja_oprogramowania#Zadania_interaktywne|zadanie interaktywne]].<br><br />
Zadania kompilujemy w trybie interaktywnym ponieważ uzyskujemy w ten sposób dostęp bezpośrednio do węzła maszyny na którym mamy więcej zasobów. <br><br />
Węzeł dostępowy nie nadaje się do kompilowania (oraz obliczeń) ponieważ posiada on ograniczone zasoby potrzebne tylko do przeglądania danych i zlecania zadań.<br />
<br><br />
Przykład Slurm:<br />
<pre><br />
srun --pty /bin/bash<br />
</pre><br />
Aby uzyskać dostęp do węzła z określą wolną liczbą rdzeni należy dodać parametr -n<br />
<pre><br />
srun --pty -n 12 /bin/bash<br />
</pre><br />
<br />
Gdy chcemy zarezerwować sobie dodatkowo określoną liczbę pamieć RAM dodajemy parametr --mem<br />
<pre><br />
srun --pty -n 12 --mem 16000 /bin/bash<br />
</pre><br />
Gdy uzyskamy dostęp do konsoli bezpośrednio na węźle musimy [[Kompilacja_oprogramowania#Modu.C5.82y|załadować moduły]] z odpowiednimi kompilatorami potrzebnymi do skompilowania naszego oprogramowania<br><br />
Przykład:<br />
<pre><br />
module load gcc<br />
</pre><br />
Ostatnim krokiem jest skompilowanie oprogramowania w katalogu projektowym według zaleceń producenta<br><br />
Przykład:<br />
<pre><br />
./configure --prefix=$HOME/<grant>/project_data/<br />
make<br />
make install</pre><br />
Aby wykonać kompilacje na deklarowanej liczbie rdzeni należy dodać parametr -j <br />
<pre><br />
make -j 12<br />
</pre><br />
<br />
= Zadania interaktywne =<br />
<br />
Zadanie interaktywne pozwala użytkownikowi na uzyskanie powłoki (shell-a) na węźle obliczeniowym. Ponieważ kompilacja oraz uruchamianie wszelkich programów na maszynie dostępowej do klastra (ui.inula.man.poznan.pl) jest niedozwolone, zdania interaktywne są jednym ze sposobów, aby uruchomić oprogramowanie z graficznym interfejsem użytkownika (np. Matlab, Maple, itp.) lub skompilować swoją aplikację. Poniżej przedstawiony został przykład jak uruchomić zadanie w trybie interaktywnym.<br />
<br><br />
'''Z linii poleceń'''<br />
<br><br />
Najprostszym sposobem uruchomienia zadania interaktywnego jest wykonanie poniższego polecenia.<br />
<!--<br />
== Zadania interaktywne PBS ==<br />
<pre><br />
[username@ui ~]$ qsub -I<br />
qsub: waiting for job 102004.creamce.inula.man.poznan.pl to start<br />
qsub: job 102004.creamce.inula.man.poznan.pl ready<br />
<br />
[username@c085 ~]$<br />
</pre><br />
<br />
Oczywiście można i w większości przypadków należy podać dodatkowe parametry do polecenia 'qsub' tj. ilość potrzebnych procesorów czy ilość potrzebnej pamięci.<br />
--><br />
== Zadania interaktywne SLURM==<br />
<br><br />
Zadania interaktywne możemy podzielić na dwie grupy:<br />
<br />
:* zadanie interaktywne (praca w trybie tekstowym)<br />
:* zadanie interaktywne z przekierowaniem X-ów (praca w trybie graficznym)<br />
<br />
=== Zadanie interaktywne (praca w trybie tekstowym) ===<br />
<br><br />
Zlecanie zadań interaktywnych jest bardzo proste i w najprostszym przypadku sprowadza się do wydania poniższego polecenia.<br />
<br />
<pre><br />
srun --pty /bin/bash<br />
</pre><br />
<br />
Aby uzyskać dostęp do węzła z określą wolną liczbą rdzeni należy dodać parametr -n<br />
<pre><br />
srun --pty -n 12 /bin/bash<br />
</pre><br />
<br />
Gdy chcemy zarezerwować sobie dodatkowo określoną liczbę pamieć RAM dodajemy parametr --mem<br />
<br />
<pre><br />
srun --pty -n 12 --mem 16000 /bin/bash<br />
</pre><br />
<br />
<!--<br />
lub<br />
<br />
<pre><br />
srun -u /bin/bash -i<br />
</pre><br />
<br />
=== Zadanie interaktywne (praca w trybie graficznym) ===<br />
<br><br />
Zlecanie zadań interaktywnych w trybie graficznym jest nieco bardziej skomplikowane z punktu widzenia administratora systemu. Z punktu widzenia użytkownika wystarczy zalogować się na klaster z przekierowaniem X-ów (opcja -X)<br />
<br />
<pre><br />
ssh -X bellis<br />
</pre><br />
<br />
oraz uruchomić poniższe polecenie polecenie<br />
<br />
<pre><br />
srun-interactive -N 1 -n 1<br />
</pre><br />
--><br />
<!--<br />
=Moduły=<br />
<br />
== Informacje ogólne ==<br />
<br />
Standardową metoda wykorzystywaną do zarządzania środowiskiem użytkownika na klastrach (Inula, Eagle) są moduły. Podejście oparte na modułach powoduje, że użytkownik nie musi określać ścieżek dla różnych wersji aplikacji oraz dbać o ustawienie zależnych zmiennych środowiskowych. Wystarczy, że użytkownik 'załaduje' moduł powiązany z daną aplikacją, aby wszystkie wymagane zmienne środowiskowe (PATH, LD_LIBRARY_PATH, INCLUDE i in.) zostały ustawione w środowisku użytkownika. Jeżeli użytkownik chce skorzystać z innej wersji aplikacji wystarczy, że 'załaduje' moduł powiązany ze starą aplikacja i 'załaduje' moduł powiązany z nową wersją.<br />
<br />
== Podstawy korzystania ==<br />
<br />
=== Wyświetlenie listy załadowanych modułów ===<br />
<br />
W celu wyświetlenia listy załadowanych modułów należy użyć poniższego polecenia.<br />
<br />
<pre><br />
module list<br />
</pre><br />
<br />
Przykładowy wynik tego polecenia został pokazany poniżej.<br />
<br />
<pre><br />
[username@hostname ~]$ module list<br />
Currently Loaded Modulefiles:<br />
1) open64-4.2.5.2<br />
</pre><br />
<br />
=== Wyświetlenie listy dostępnych modułów ===<br />
<br />
W celu wyświetlenia listy wszystkich dostępnych dla danego użytkownika modułów należy użyć poniższego polecenia.<br />
<br />
<pre><br />
module avail<br />
</pre><br />
<br />
Przykładowy wynik tego polecenia został pokazany poniżej.<br />
<br />
<pre><br />
[username@hostname ~]$ module avail<br />
<br />
----------- /usr/share/Modules/PSNC/Development/Languages -----------<br />
open64-4.2.5.2<br />
<br />
----------- /usr/share/Modules/PSNC/Development/Libraries -----------<br />
openmpi-gcc-x86_64 openmpi-opencc-x86_64<br />
</pre><br />
<br />
=== Wyświetlenie dodatkowych informacji na temat modułu ===<br />
<br />
Aby wyświetlić dodatkowe informacje na temat danego modułu należy użyć następującego polecenia.<br />
<br />
<pre><br />
module help <nazwa_modulu><br />
</pre><br />
<br />
Poniżej przykład wywołania polecenia dla modułu 'open64-4.2.5.2'.<br />
<br />
<pre><br />
[username@hostname ~]$ module help open64-4.2.5.2<br />
<br />
----------- Module Specific Help for 'open64-4.2.5.2' ---------------------------<br />
<br />
Name: AMD x86 Open64 Compiler Suite<br />
Version: 4.2.5.2<br />
Platform: x86_64<br />
Category: Development/Languages<br />
URL http://developer.amd.com<br />
Provides: opencc, openCC, openf90, openf95<br />
<br />
Description:<br />
<br />
The x86 Open64 compiler system is a high performance, production<br />
quality code generation tool designed for high performance parallel<br />
computing workloads. The x86 Open64 environment provides the developer<br />
the essential choices when building and optimizing C, C++, and Fortran<br />
applications targeting 32-bit and 64-bit Linux platforms.<br />
<br />
The x86 Open64 compiler system offers a high level of advanced<br />
optimizations, multi-threading, and processor support that includes<br />
global optimization, vectorization, interprocedural analysis, feedback<br />
directed optimizations, loop transformations, and code generation<br />
which extracts the optimal performance from each x86 processor core.<br />
<br />
man pages: no<br />
Restrictions: none<br />
<br />
-------------------------------------------------------------------------------<br />
</pre><br />
<br />
=== Załadowanie modułu ===<br />
<br />
Załadowanie nowego modułu odbywa się pomocą poniższego polecenia.<br />
<br />
<pre><br />
module load <nazwa_modulu><br />
</pre><br />
<br />
=== Wyładowanie modułu ===<br />
<br />
Wyładowanie modułu odbywa się pomocą poniższego polecenia.<br />
<br />
<pre><br />
module unload <nazwa_modulu><br />
</pre><br />
<br />
=== Sprawdzenie jakie zmienne środowiskowe są modyfikowane przez dany moduł ===<br />
<br />
W celu uzyskania informacji o tym, które zmienne środowiskowe są modyfikowane przez dany moduł można posłużyć się następującym poleceniem.<br />
<br />
<pre><br />
module show <nazwa_modulu><br />
</pre><br />
<br />
Przykładowy wynik polecenia przedstawiony został poniżej.<br />
<br />
<pre><br />
[username@hostname ~]$ module show open64-4.2.5.2<br />
-------------------------------------------------------------------<br />
/usr/share/Modules/PSNC/Development/Languages/open64-4.2.5.2:<br />
<br />
module-whatis AMD x86 Open64 Compiler Suite, 4.2.5.2 <br />
setenv open64_root /opt/x86_open64-4.2.5.2 <br />
prepend-path PATH /opt/x86_open64-4.2.5.2/bin <br />
prepend-path LD_LIBRARY_PATH /opt/x86_open64-4.2.5.2/lib <br />
prepend-path INCLUDE /opt/x86_open64-4.2.5.2/include <br />
-------------------------------------------------------------------<br />
</pre><br />
<br />
=== Personalizacja ustawień ===<br />
<br />
W środowisku, w którym wykorzystywane są moduły użytkownik ma możliwość zadecydowania, które moduły będą załadowane po zalogowaniu się do systemu. W tym celu należy wyedytować plik ~/.bashrc lub ~/.bash_profile i dopisać odpowiednie linie. Poniżej zamieszczony został przykład, w którym do zmiennej MODULEPATH dodana została ścieżka do katalogu, w którym znajdują się moduły użytkownika oraz ładowany jest moduł kompilatora open64 w wersji 4.2.5.2.<br />
<br />
<pre><br />
[username@hostname ~]$ cat ~/.bash_profile <br />
...<br />
# Environment Modules<br />
<br />
# Prepend directory to the MODULEPATH environment variable.<br />
module use --append $HOME/.modules/my_modules<br />
<br />
# Modules loaded at login time.<br />
module load open64-4.2.5.2<br />
...<br />
</pre><br />
<br />
=== Dodatkowe informacje ===<br />
<br />
Dodatkowe informacje na temat używania modułów można znaleźć w podręczniku systemowym wydając jedno z poniższych poleceń.<br />
<br />
<pre><br />
# Informacje na temat używania modułów<br />
man module<br />
<br />
# Informacje na temat pisania własnych modułów<br />
man modulefile<br />
</pre></div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Eagle&diff=2208Eagle2024-09-11T07:26:42Z<p>Radekj: </p>
<hr />
<div>__NOTOC__<br />
__NOTITLE__<br />
== PROXIMA ==<br />
{| class="wikitable"; id="customers"<br />
! style="font-weight: bold;" colspan=1 | '''Charakterystyka sprzętowa'''<br />
! style="text-align: center; font-weight: bold;" | Proxima<br />
|-<br />
|typ <br />
|klaster PC<br />
|-class="alt"<br />
|Architektura <br />
|Intel Xeon Platinum 8480+<br />
<br />
|-<br />
|Interfejsy sieciowe <br />
|InfiniBand NDR, Ethernet 10,25,100Gbit<br />
|-class="alt"<br />
|Sieć połączeń wewnetrznych <br />
| Infiniband NDR<br />
|-<br />
|Liczba kart GPU <br />
|'''348'''<br />
|-class="alt"<br />
|Sumaryczna moc obliczeniowa<br />
|'''23,7 PFLOPS'''<br />
|-<br />
|Wielkość pamięci systemowej<br />
|'''66,8 TB'''<br />
|-class="alt"<br />
|Pojemność pamięci dyskowej <br />
|<br />
|}<br />
<br />
== ALTAIR ==<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="font-weight: bold;" colspan=1 | '''Charakterystyka sprzętowa'''<br />
! style="text-align: center; font-weight: bold;" | Altair<br />
|-<br />
|typ <br />
|klaster PC<br />
|-class="alt"<br />
|Architektura <br />
|Intel Xeon Platinium 8268<br />
<br />
|-<br />
|Interfejsy sieciowe <br />
|InfiniBand EDR/NDR, Ethernet 10,25,100Gbit<br />
|-class="alt"<br />
|Sieć połączeń wewnetrznych <br />
| Infiniband EDR/NDR<br />
|-<br />
|Liczba rdzeni CPU <br />
|'''63360'''<br />
|-class="alt"<br />
|Sumaryczna moc obliczeniowa<br />
|'''5,9 PFLOPS'''<br />
|-<br />
|Wielkość pamięci systemowej<br />
|'''300 TB'''<br />
|-class="alt"<br />
|Pojemność pamięci dyskowej <br />
|<br />
|}<br />
<br />
== Węzły CPU Proxima==<br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa handlowa węzła<br />
! style="text-align: center; font-weight: bold;" | Model CPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
węzłów<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
procesorów i rdzeni<br />
! style="text-align: center; font-weight: bold;" | Ilość pamięci RAM<br />
w węźle<br />
! style="text-align: center; font-weight: bold;" | Moc obliczeniowa<br />
węzła<br />
! style="text-align: center; font-weight: bold;" | Tag klasy węzła<br />
|-<br />
| style="font-weight: bold;" | Hewlett Packard Enterprise<br />
|Intel Xeon Platinum 8480+<br />
| style="text-align: center;" | 60 <br />
| style="text-align: center;" | 2x56<br />
| style="text-align: center;" | 384 GB<br />
| style="text-align: center;" | 7 TFLOPS<br />
| style="text-align: center;" | intel,<br />
<br />
|}<br />
<br />
== Węzły GPU Proxima==<br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa handlowa węzła<br />
! style="text-align: center; font-weight: bold;" | Model CPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
węzłów<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
procesorów i rdzeni<br />
! style="text-align: center; font-weight: bold;" | Ilość pamięci RAM<br />
w węźle<br />
! style="text-align: center; font-weight: bold;" | Model GPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
kart graficznych w węźle<br />
! style="text-align: center; font-weight: bold;" | Moc obliczeniowa węzła<br />
GPU<br />
! style="text-align: center; font-weight: bold;" | Tag klasy węzła<br />
|-<br />
| style="font-weight: bold;" | HPE Cray XD665<br />
| style="text-align: center;" | AMD EPYC 9334<br />
| style="text-align: center;" | 87<br />
| style="text-align: center;" | 2x32<br />
| style="text-align: center;" | 768 GB<br />
| style="text-align: center;" | Nvidia H100-94 SXM5, 94GB HBM2e <br />
| style="text-align: center;" | 4<br />
| style="text-align: center;" | 268 TFLOPS<br />
| style="text-align: center;" |<br />
|}<br />
<br />
== Węzły CPU Altair==<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa handlowa węzła<br />
! style="text-align: center; font-weight: bold;" | Model CPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
węzłów<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
procesorów i rdzeni<br />
! style="text-align: center; font-weight: bold;" | Ilość pamięci RAM<br />
w węźle<br />
! style="text-align: center; font-weight: bold;" | Moc obliczeniowa<br />
węzła<br />
! style="text-align: center; font-weight: bold;" | Tag klasy węzła<br />
|-<br />
| style="font-weight: bold;" | HUAWEI CH121 V5<br />
| Intel Xeon Platinium 8268<br />
| style="text-align: center;" | 1320 <br />
| style="text-align: center;" | 2 x 24<br />
| style="text-align: center;" | 192/384 GB<br />
| style="text-align: center;" | 4,4 TFLOPS<br />
| style="text-align: center;" | intel, cascade<br />
<br />
|}<br />
<br />
== Węzły GPU Eagle==<br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa handlowa węzła<br />
! style="text-align: center; font-weight: bold;" | Model CPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
węzłów<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
procesorów i rdzeni<br />
! style="text-align: center; font-weight: bold;" | Ilość pamięci RAM<br />
w węźle<br />
! style="text-align: center; font-weight: bold;" | Model GPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
kart graficznych w węźle<br />
! style="text-align: center; font-weight: bold;" | Moc obliczeniowa węzła<br />
GPU<br />
! style="text-align: center; font-weight: bold;" | Tag klasy węzła<br />
|-<br />
| style="font-weight: bold;" | <br />
| style="text-align: center;" | Xeon Gold Gold 5115<br />
| style="text-align: center;" | 3<br />
| style="text-align: center;" | 2x10<br />
| style="text-align: center;" | 92 GB<br />
| style="text-align: center;" | Nvidia V100 32GB <br />
| style="text-align: center;" | 2<br />
| style="text-align: center;" | 15,6 TFLOPS<br />
| style="text-align: center;" |<br />
|}<br />
<br />
== Węzły GPU Altair==<br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa handlowa węzła<br />
! style="text-align: center; font-weight: bold;" | Model CPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
węzłów<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
procesorów i rdzeni<br />
! style="text-align: center; font-weight: bold;" | Ilość pamięci RAM<br />
w węźle<br />
! style="text-align: center; font-weight: bold;" | Model GPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
kart graficznych w węźle<br />
! style="text-align: center; font-weight: bold;" | Moc obliczeniowa węzła<br />
GPU<br />
! style="text-align: center; font-weight: bold;" | Tag klasy węzła<br />
|-<br />
| style="font-weight: bold;" | <br />
| style="text-align: center;" |Intel Xeon 6242 <br />
| style="text-align: center;" |9<br />
| style="text-align: center;" |2x16 <br />
| style="text-align: center;" |384 GB <br />
| style="text-align: center;" |Nvidia V100 32GB <br />
| style="text-align: center;" |8<br />
| style="text-align: center;" |62,4 TFLOPS<br />
| style="text-align: center;" |<br />
|}<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="font-weight: bold;" colspan=3 | '''Inne informacje'''<br />
|-<br />
| colspan=2 | '''System operacyjny'''<br />
|-class="alt"<br />
|typ <br />
|GNU Linux<br />
|-<br />
|nazwa domenowa komputera <br />
|eagle.man.poznan.pl<br />
|-class="alt"<br />
|system zarządzania zadaniami w trybie wsadowym <br />
|SLURM<br />
|}<br />
<br />
== Kolejki ==<br />
<br />
Uruchamianie obliczeń poprzez system SLURM odbywa się w ramach kolejek, które różnią się między sobą priorytetem, limitami czy prawami dostępu (a czasem również dostępnymi zasobami)<br><br />
Posiadamy następujące kolejki:<br />
<center><br><br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa <br />
Kolejki<br />
! style="text-align: center; font-weight: bold;" | Limit czasu<br />
zadania<br />
! style="text-align: center; font-weight: bold;" | Domyślny limit <br />
czasu zadania<br />
! style="text-align: center; font-weight: bold;" | Standardowa ilość <br />
pamięci RAM/rdzeń<br />
! style="text-align: center; font-weight: bold;" | Uwagi<br />
|-<br />
|-<br />
| style="text-align: center; font-weight: bold;" | standard<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Domyślna kolejka, można uruchamiać zarówno zadania równoległe jak i sekwencyjne <br />
|-class="alt"<br />
| style="text-align: center; font-weight: bold;" | fast<br />
| style="text-align: center;" | 1 godzina<br />
| style="text-align: center;" | 10 minut<br />
| style="text-align: center;" | -<br />
| wysoki priorytet; maksymalna ilość węzłów 1<br />
|-<br />
| style="text-align: center; font-weight: bold;" | tesla<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Kolejka z węzłami GPU<br />
|}<br />
</center><br />
<br />
== Kolejki Altair ==<br />
<center><br><br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa <br />
Kolejki Altair<br />
! style="text-align: center; font-weight: bold;" | Limit czasu<br />
zadania<br />
! style="text-align: center; font-weight: bold;" | Domyślny limit <br />
czasu zadania<br />
! style="text-align: center; font-weight: bold;" | Standardowa ilość <br />
pamięci RAM/rdzeń<br />
! style="text-align: center; font-weight: bold;" | Uwagi<br />
|-<br />
|-<br />
| style="text-align: center; font-weight: bold;" | altair<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Domyślna kolejka, można uruchamiać zarówno zadania równoległe jak i sekwencyjne <br />
|<br />
|-class="alt"<br />
| style="text-align: center; font-weight: bold;" | altair-gpu<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Kolejka z węzłami GPU<br />
|}<br />
</center></div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Zlecanie_zada%C5%84_przez_system_kolejkowy_SLURM&diff=2196Zlecanie zadań przez system kolejkowy SLURM2024-08-14T07:43:37Z<p>Radekj: </p>
<hr />
<div>== Zlecanie zadań ==<br />
<br><br />
Przed zleceniem zadania, należy je obudować w odpowiedni skrypt zrozumiały dla systemu kolejkowego, np.:<br />
<pre><br />
/home/users/user/submit_script.sh<br />
</pre><br />
Przykładowy skrypt SLURM:<br />
<code><br />
<pre><br />
#!/bin/bash<br />
#SBATCH --nodes=1<br />
#SBATCH --ntasks-per-node=4<br />
#SBATCH --mem=4gb<br />
#SBATCH --time=01:00:00<br />
<br />
# Ustawiamy sciezki lub ladujemy odpowiednie moduly<br />
module load plink/1.90<br />
<br />
# Ustawiamy zmienna $TMPDIR<br />
export TMPDIR=$HOME/grant_$SLURM_JOB_ACCOUNT/scratch/$USER/$SLURM_JOB_ID<br />
<br />
# Ustawiamy zmienne aplikacji<br />
export SCR=${TMPDIR}<br />
<br />
# Ustawiamy zmienne pomocnicze<br />
INPUT_DIR="input"<br />
OUTPUT_DIR="output"<br />
OUTPUT_FILE="OUTPUT"<br />
<br />
# Tworzymy katalog tymczasowy<br />
mkdir -p ${TMPDIR}<br />
<br />
# Kopiujemy dane wejsciowe do katalogu wskazywanego zmienna $TMPDIR<br />
cp ${SLURM_SUBMIT_DIR}/${INPUT_DIR}/* ${TMPDIR}<br />
<br />
# Przechodzimy do katalogu $TMPDIR<br />
cd $TMPDIR<br />
<br />
# Wykonujemy obliczenia<br />
plink --noweb --file hapmap1<br />
<br />
# Konczymy obliczenia, zawartosc katalogu $TMPDIR/output kopiujemy <br />
# do katalogu z ktorego zakolejkowano zadanie.<br />
mkdir $SLURM_SUBMIT_DIR/${OUTPUT_DIR}<br />
cp -r $TMPDIR/* $SLURM_SUBMIT_DIR/${OUTPUT_DIR}/<br />
<br />
# Czyscimy katalog roboczy<br />
rm -rf $TMPDIR<br />
</pre><br />
</code><br />
Przykładowe dane wejściowe:<br><br />
Poniżej znajdują się pliki które powinny znaleźć się w katalogu input. <br><br />
[[Plik:Plink_input.zip]]<br />
<br><br><br />
Zadanie należy następnie zlecić komendą '''sbatch'''<br />
<pre><br />
sbatch /home/users/user/submit_script.sh<br />
</pre><br />
<br />
=== Zlecanie zadań interaktywnych ===<br />
<br><br />
Zadania interaktywne możemy podzielić na dwie grupy:<br />
<br />
:* zadanie interaktywne (praca w trybie tekstowym)<br />
:* zadanie interaktywne<br />
<br />
==== Zadanie interaktywne (praca w trybie tekstowym) ====<br />
<br><br />
Zlecanie zadań interaktywnych jest bardzo proste i w najprostszym przypadku sprowadza się do wydania poniższego polecenia.<br />
<br />
<pre><br />
srun --pty /bin/bash<br />
</pre><br />
<br />
<b> Uwaga! Takie zadanie domyślnie ma dostępny 1 CPU i 2 GB pamięci RAM co może być niewystarczające dla wszystkich zastosowań </b><br />
Zasoby dostepne dla zadań interaktywnych można definiować tak samo jak w przypadku innych zadań czyli <br />
<pre><br />
srun -c <liczba rdzeni> --mem=<ilość ramu> --pty /bin/bash <br />
np<br />
srun -c 2 --mem=10G --pty /bin/bash<br />
</pre><br />
<br />
<br />
==== Zadanie interaktywne z przekierowaniem X-ów (praca w trybie graficznym) ====<br />
<br><br />
Aby zlecić zadanie z przekierowaniem X-ów należy zalogować się na maszynę z uruchomioną usługą X<br />
<br />
<pre><br />
ssh -X eagle.man.poznan.pl<br />
</pre><br />
<br><br />
UWAGA: W systemie Windows należy mieć zainstalowany serwer X np. Xming oraz w programie Putty aktywować przekierowanie X11<br />
<br />
Gdy zalogujemy się na maszynę za pomocą X należy zlecić zadanie interaktywne<br />
<pre><br />
srun --x11 -n28 --pty /bin/bash <br />
</pre><br />
<br><br />
Następnie uruchamiamy przykładowy program (wyświetla stan kolejki na maszynie eagle)<br />
<br />
<pre><br />
sview & <br />
</pre><br />
<br />
== Zlecanie zadań na węzły z kartami GPU ==<br />
<br />
W celu zlecenia zadania na węzły z kartami GPU należy <br />
zlecić zadanie na partycję '''tesla''' oraz do skryptu zadaniowego dodać poniższe parametry:<br />
<br />
<pre><br />
#SBATCH #SBATCH --gpus-per-node=<liczba kart GPU dla danego zadania><br />
</pre><br />
<br />
przykładowo dla zadania wymagającego 2 kart:<br />
<pre><br />
#SBATCH #SBATCH --gpus-per-node=2<br />
#SBATCH --partition=tesla<br />
</pre><br />
<br />
Dla części aplikacji wsparcie dla GPU jest zaszyte w parametrach, część posiada specjalną wersję modułu, zazwyczaj zawierającą "CUDA" w nazwie np:<br />
<br />
<pre><br />
namd/2.10-ibverbs-smp-cuda <- wersja ze wsparciem GPU<br />
namd/2.10-multicore(default)<br />
namd/2.10-multicore-cuda <- wersja ze wsparciem GPU<br />
namd/2.10-multicore-mic<br />
namd/2.12-ibverbs<br />
namd/2.12-ibverbs-smp<br />
namd/2.12-ibverbs-smp-CUDA <- wersja ze wsparciem GPU<br />
</pre><br />
<br />
== Sprawdzanie stanu systemu kolejkowego ==<br />
<br><br />
Aby sprawdzić jakie zadania zostały zlecone przez użytkownika należy wykonać polecenie:<br />
Przykład:<br />
<pre><br />
squeue -u nazwa_uzytkownika<br />
</pre><br />
<br><br />
Wyświetlenie listy zadań w danej partycji<br />
<br />
<pre><br />
squeue -p standard<br />
</pre><br />
<br />
<br>Wyświetlenie informacji o konkretnym zadaniu<br />
<br />
<pre><br />
scontrol show job numer_zadania<br />
</pre><br />
<br />
== Usuwanie zadań ==<br />
<br />
Jeżeli z jakiegoś powodu istnieje potrzeba usunięcia zadania - należy skorzystać z polecenia '''scancel''', które przyjmuje jako parametr identyfikator zadania. Można kasować zadania zarówno oczekujące w kolejce jak i uruchomione.<br />
<br><br />
Przykład:<br />
<pre><br />
scancel numer_zadania<br />
</pre></div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Eagle&diff=2186Eagle2024-06-12T07:46:10Z<p>Radekj: </p>
<hr />
<div>__NOTOC__<br />
__NOTITLE__<br />
== ALTAIR ==<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="font-weight: bold;" colspan=1 | '''Charakterystyka sprzętowa'''<br />
! style="text-align: center; font-weight: bold;" | Altair<br />
|-<br />
|typ <br />
|klaster PC<br />
|-class="alt"<br />
|Architektura <br />
|Intel Xeon Platinium 8268<br />
<br />
|-<br />
|Interfejsy sieciowe <br />
|InfiniBand EDR/NDR, Ethernet 10,25,100Gbit<br />
|-class="alt"<br />
|Sieć połączeń wewnetrznych <br />
| Infiniband EDR/NDR<br />
|-<br />
|Liczba rdzeni CPU <br />
|'''63360'''<br />
|-class="alt"<br />
|Sumaryczna moc obliczeniowa<br />
|'''5,9 PFLOPS'''<br />
|-<br />
|Wielkość pamięci systemowej<br />
|'''300 TB'''<br />
|-class="alt"<br />
|Pojemność pamięci dyskowej <br />
|<br />
|}<br />
<!--<br />
== Węzły CPU Eagle ==<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa handlowa węzła<br />
! style="text-align: center; font-weight: bold;" | Model CPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
węzłów<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
procesorów i rdzeni<br />
! style="text-align: center; font-weight: bold;" | Ilość pamięci RAM<br />
w węźle<br />
! style="text-align: center; font-weight: bold;" | Moc obliczeniowa<br />
węzła<br />
! style="text-align: center; font-weight: bold;" | Tag klasy węzła<br />
|-<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 560<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 64 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | intel,haswell,huawei<br />
|-class="alt"<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 530<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 128 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | intel,haswell,huawei<br />
|-<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 81<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 256 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | intel,haswell,huawei<br />
|-class="alt"<br />
| style="font-weight: bold;" | HUAWEI CH121 V4<br />
| Intel Xeon E5-2682 v4<br />
| style="text-align: center;" | 55<br />
| style="text-align: center;" | 2x16<br />
| style="text-align: center;" | 128 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | intel,broadwell,huawei<br />
|}<br />
--><br />
<br />
== Węzły CPU Proxima==<br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa handlowa węzła<br />
! style="text-align: center; font-weight: bold;" | Model CPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
węzłów<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
procesorów i rdzeni<br />
! style="text-align: center; font-weight: bold;" | Ilość pamięci RAM<br />
w węźle<br />
! style="text-align: center; font-weight: bold;" | Moc obliczeniowa<br />
węzła<br />
! style="text-align: center; font-weight: bold;" | Tag klasy węzła<br />
|-<br />
| style="font-weight: bold;" | Hewlett Packard Enterprise<br />
|Intel Xeon Platinum 8480+<br />
| style="text-align: center;" | 60 <br />
| style="text-align: center;" | 2x56<br />
| style="text-align: center;" | 384 GB<br />
| style="text-align: center;" | 7 TFLOPS<br />
| style="text-align: center;" | intel,<br />
<br />
|}<br />
<br />
== Węzły GPU Proxima==<br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa handlowa węzła<br />
! style="text-align: center; font-weight: bold;" | Model CPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
węzłów<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
procesorów i rdzeni<br />
! style="text-align: center; font-weight: bold;" | Ilość pamięci RAM<br />
w węźle<br />
! style="text-align: center; font-weight: bold;" | Model GPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
kart graficznych w węźle<br />
! style="text-align: center; font-weight: bold;" | Moc obliczeniowa węzła<br />
GPU<br />
! style="text-align: center; font-weight: bold;" | Tag klasy węzła<br />
|-<br />
| style="font-weight: bold;" | HPE Cray XD665<br />
| style="text-align: center;" | AMD EPYC 9334<br />
| style="text-align: center;" | 87<br />
| style="text-align: center;" | 2x32<br />
| style="text-align: center;" | 768 GB<br />
| style="text-align: center;" | Nvidia H100-94 SXM5, 94GB HBM2e <br />
| style="text-align: center;" | 4<br />
| style="text-align: center;" | 268 TFLOPS<br />
| style="text-align: center;" |<br />
|}<br />
<br />
== Węzły CPU Altair==<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa handlowa węzła<br />
! style="text-align: center; font-weight: bold;" | Model CPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
węzłów<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
procesorów i rdzeni<br />
! style="text-align: center; font-weight: bold;" | Ilość pamięci RAM<br />
w węźle<br />
! style="text-align: center; font-weight: bold;" | Moc obliczeniowa<br />
węzła<br />
! style="text-align: center; font-weight: bold;" | Tag klasy węzła<br />
|-<br />
| style="font-weight: bold;" | HUAWEI CH121 V5<br />
| Intel Xeon Platinium 8268<br />
| style="text-align: center;" | 1320 <br />
| style="text-align: center;" | 2 x 24<br />
| style="text-align: center;" | 192/384 GB<br />
| style="text-align: center;" | 4,4 TFLOPS<br />
| style="text-align: center;" | intel, cascade<br />
<br />
|}<br />
<br />
== Węzły GPU Eagle==<br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa handlowa węzła<br />
! style="text-align: center; font-weight: bold;" | Model CPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
węzłów<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
procesorów i rdzeni<br />
! style="text-align: center; font-weight: bold;" | Ilość pamięci RAM<br />
w węźle<br />
! style="text-align: center; font-weight: bold;" | Model GPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
kart graficznych w węźle<br />
! style="text-align: center; font-weight: bold;" | Moc obliczeniowa węzła<br />
GPU<br />
! style="text-align: center; font-weight: bold;" | Tag klasy węzła<br />
|-<br />
| style="font-weight: bold;" | <br />
| style="text-align: center;" | Xeon Gold Gold 5115<br />
| style="text-align: center;" | 3<br />
| style="text-align: center;" | 2x10<br />
| style="text-align: center;" | 92 GB<br />
| style="text-align: center;" | Nvidia V100 32GB <br />
| style="text-align: center;" | 2<br />
| style="text-align: center;" | 15,6 TFLOPS<br />
| style="text-align: center;" |<br />
|}<br />
<br />
== Węzły GPU Altair==<br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa handlowa węzła<br />
! style="text-align: center; font-weight: bold;" | Model CPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
węzłów<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
procesorów i rdzeni<br />
! style="text-align: center; font-weight: bold;" | Ilość pamięci RAM<br />
w węźle<br />
! style="text-align: center; font-weight: bold;" | Model GPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
kart graficznych w węźle<br />
! style="text-align: center; font-weight: bold;" | Moc obliczeniowa węzła<br />
GPU<br />
! style="text-align: center; font-weight: bold;" | Tag klasy węzła<br />
|-<br />
| style="font-weight: bold;" | <br />
| style="text-align: center;" |Intel Xeon 6242 <br />
| style="text-align: center;" |9<br />
| style="text-align: center;" |2x16 <br />
| style="text-align: center;" |384 GB <br />
| style="text-align: center;" |Nvidia V100 32GB <br />
| style="text-align: center;" |8<br />
| style="text-align: center;" |62,4 TFLOPS<br />
| style="text-align: center;" |<br />
|}<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="font-weight: bold;" colspan=3 | '''Inne informacje'''<br />
|-<br />
| colspan=2 | '''System operacyjny'''<br />
|-class="alt"<br />
|typ <br />
|GNU Linux<br />
|-<br />
|nazwa domenowa komputera <br />
|eagle.man.poznan.pl<br />
|-class="alt"<br />
|system zarządzania zadaniami w trybie wsadowym <br />
|SLURM<br />
|}<br />
<br />
== Kolejki ==<br />
<br />
Uruchamianie obliczeń poprzez system SLURM odbywa się w ramach kolejek, które różnią się między sobą priorytetem, limitami czy prawami dostępu (a czasem również dostępnymi zasobami)<br><br />
Posiadamy następujące kolejki:<br />
<center><br><br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa <br />
Kolejki<br />
! style="text-align: center; font-weight: bold;" | Limit czasu<br />
zadania<br />
! style="text-align: center; font-weight: bold;" | Domyślny limit <br />
czasu zadania<br />
! style="text-align: center; font-weight: bold;" | Standardowa ilość <br />
pamięci RAM/rdzeń<br />
! style="text-align: center; font-weight: bold;" | Uwagi<br />
|-<br />
|-<br />
| style="text-align: center; font-weight: bold;" | standard<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Domyślna kolejka, można uruchamiać zarówno zadania równoległe jak i sekwencyjne <br />
|-class="alt"<br />
| style="text-align: center; font-weight: bold;" | fast<br />
| style="text-align: center;" | 1 godzina<br />
| style="text-align: center;" | 10 minut<br />
| style="text-align: center;" | -<br />
| wysoki priorytet; maksymalna ilość węzłów 1<br />
|-<br />
| style="text-align: center; font-weight: bold;" | bigmem<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Kolejka/partycja przeznaczona dla zadań wymagających więcej niż 128GB per węzeł. Wysoki priorytet ale tylko 81 węzłów należy do tej partycji<br />
|-class="alt"<br />
| style="text-align: center; font-weight: bold;" | tesla<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Kolejka z węzłami GPU<br />
|}<br />
</center><br />
<br />
== Kolejki Altair ==<br />
<center><br><br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa <br />
Kolejki Altair<br />
! style="text-align: center; font-weight: bold;" | Limit czasu<br />
zadania<br />
! style="text-align: center; font-weight: bold;" | Domyślny limit <br />
czasu zadania<br />
! style="text-align: center; font-weight: bold;" | Standardowa ilość <br />
pamięci RAM/rdzeń<br />
! style="text-align: center; font-weight: bold;" | Uwagi<br />
|-<br />
|-<br />
| style="text-align: center; font-weight: bold;" | altair<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Domyślna kolejka, można uruchamiać zarówno zadania równoległe jak i sekwencyjne <br />
|<br />
|-class="alt"<br />
| style="text-align: center; font-weight: bold;" | altair-gpu<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Kolejka z węzłami GPU<br />
|}<br />
</center></div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Dane_na_klastrze_Eagle&diff=2100Dane na klastrze Eagle2024-02-14T12:05:18Z<p>Radekj: </p>
<hr />
<div>== Nowa struktura danych. ==<br />
<--<br />
<pre style="color: red"><br />
Uwaga: od listopada 2023 wdrożony został nowy portal (https://pcss.plcloud.pl/) <br />
a co za tym idzie zmieniło się nazewnictwo grantów. Dotychczasowy schemat <br />
"grant_<numer grantu>" zastąpiony został po prostu sygnaturą grantu/usługi, np '''pl0001-01'''<br />
Dla grantów które w momencie wdrożenia nowego portalu były aktywne utworzono w <br />
nowym portalu przestrzenie o nazwie ("Przestrzeń dla grantu <nr grantu> z <br />
hpc.man.poznan.pl" wraz usługa o parametrach takich jak miał orginalny grant. <br />
Prosimy przenieść dane ze starych grantów do przestrzeni dyskowej nowego.<br />
</pre><br />
--><br />
<br />
'''Katalog domowy:''' jest to ograniczona przestrzeń na dane z niewielkim limitem pojemności 1GB. W praktyce jest to "worek" na '''katalogi projektowe'''.<br />
<br />
'''Katalog projektowy''' Każdy użytkownik posiadający aktywny grant obliczeniowy (naukowy bądź komercyjny) na klastrze w swoim '''Katalogu domowym''' posiada automatycznie utworzony katalog o nazwie takiej jak nazwa usługi w portalu, np '''pl0001-01''' dla każdego grantu w którym dany użytkownik bierze udział. W katalogu tym znajdują się dwa ważne podkatalogi: <br />
*'''archive''' - jest to przestrzeń przeznaczona na przechowywanie danych, które nie są aktywnie wykorzystywane, np. przetworzonych wyników obliczeń itp. Przestrzeń ta jest wolniejsza niż "project_data" oraz "scratch", ale ma znacznie większy rozmiar - możliwe jest przechowywanie dziesiątków, bądź (jeśli jest to konieczne), setek TB danych;<br />
*'''project_data''' - jest to katalog '''współdzielony''' miedzy wszystkimi użytkownikami danego grantu. Dane znajdujące się we wszystkich podkatalogach tego katalogu zabezpieczone przed przypadkowym usunięciem mechanizmem automatycznych kopii zapasowych. PCSS zapewnia dla tego katalogu gwarantowaną przestrzeń na dane w wielkości przyznanej w ramach wniosku grantowego lub komercyjnej umowy. Limit ten może być wykorzystywany wyłącznie przez użytkowników. W ramach tego katalogu użytkownicy mogą w dowolny sposób tworzyć i usuwać pliki/katalogi oraz manipulować prawami dostępu. '''Domyślna przestrzeń dostępna w tym katalogu to 5TB;'''<br />
*'''scratch''' - jest to '''dedykowana''' dla danego grantu przestrzeń przeznaczona do prowadzenia obliczeń/przechowywania danych wejściowych. Zasady korzystania są identyczne do obecnie wykorzystywanej przestrzeni scratch. '''Domyślna wielkość tej przestrzeni to 10TB.'''<br />
<br />
Dane dostępne w katalogu '''project_data''' dostępne będą przez cały okres trwania grantu poszerzony o pewien dodatkowy czas, dzięki któremu możliwe będzie zarchiwizowanie danych lub przeniesienie ich do przestrzeni nowego grantu. Obecnie dane udostępniane są przez okres 6 miesięcy od zakończenia grantu oraz dodatkowe 6 miesięcy, podczas których można odzyskać dane na żądanie. Nowa struktura danych wygląda następująco (przykładowo dla usługi/grantu o identyfikatorze pl0001-01:<br />
<br />
<nowiki><br />
-> ~<nazwa_użytkownika> : katalog domowy<br />
--> pl0001-01<br />
---> project_data : współdzielona przestrzeń na dane dla grantu pl0001-01<br />
---> scratch : przestrzeń danych przeznaczona dla danych w czasie obliczeń dla pl0001-01<br />
---> archive : współdzielona przestrzeń na dane archiwalne dla grantu pl0001-01<br />
<br />
</nowiki><br />
<br />
<br />
W przyszłości pojawią się dodatkowe katalogi zapewniające m.in. łatwiejszy dostęp do systemu archiwizacji lub też możliwość wymiany danych z usługą box.pionier.net.pl<br />
<br />
Uwaga: katalogi '''project_data''' oraz '''scratch''' są linkami symbolicznymi do faktycznego miejsca montowania systemu składowania. Użytkownicy proszeni są o używanie wyłącznie ścieżek względnych (np. ~<nazwa_użytkownika>/grant_id/project_data), a nie fizycznych ścieżek montowania gdyż mogą się one zmieniać. Nowa struktura danych umożliwia nam dynamiczne przenoszenie grantów pomiędzy różnymi systemami składowania niejako "w locie", więc nie ma gwarancji, że przez cały okres trwania grantu dane przechowywane będą na tym samym fizycznym systemie. <br />
<br />
Obecnie wykorzystywane systemy składowania są wycofywane od końca 2021 r. - zniknie katalog /tmp/lustre oraz znacząco zostanie ograniczone miejsce w '''katalogu domowym''' - głównym miejscem przechowywania danych powinny stać się katalogi '''project_data''' oraz '''scratch''' grantów. O wszelkich planowanych pracach użytkownicy będą informowani z co najmniej dwumiesięcznym wyprzedzeniem, aby umożliwić migrację danych.<br />
<br />
Aby sprawdzić ile dany katalog (archive, project_data, scratch) zajmuje miejsaca oraz jaki ma limint należy użyć następujących poleceń:<br />
<br />
sprawdzanie quoty dla archive:<br />
<br />
<pre><br />
getfattr -n ceph.quota.max_bytes /some/dir - quota na wielkosc<br />
getfattr -n ceph.quota.max_files /some/dir - quota na ilosc plikow<br />
</pre><br />
<br />
sprawdzanie quoty dla project_data i scratch:<br />
<br />
<pre><br />
project_data:<br />
lfs quota -h -p 399 /mnt/storage_2/project_data/grant_399<br />
<br />
scratch:<br />
lfs quota -h -p 3990000 /mnt/storage_2/scratch/grant_399<br />
</pre></div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Dane_na_klastrze_Eagle&diff=2099Dane na klastrze Eagle2024-01-29T09:38:39Z<p>Radekj: </p>
<hr />
<div>== Nowa struktura danych. ==<br />
<--<br />
<pre style="color: red"><br />
Uwaga: od listopadzie 2023 wdrożony został nowy portal (https://pcss.plcloud.pl/) <br />
a co za tym idzie zmieniło się nazewnictwo grantów. Dotychczasowy schemat <br />
"grant_<numer grantu>" zastąpiony został po prostu sygnaturą grantu/usługi, np '''pl0001-01'''<br />
Dla grantów które w momencie wdrożenia nowego portalu były aktywne utworzono w <br />
nowym portalu przestrzenie o nazwie ("Przestrzeń dla grantu <nr grantu> z <br />
hpc.man.poznan.pl" wraz usługa o parametrach takich jak miał orginalny grant. <br />
Prosimy przenieść dane ze starych grantów do przestrzeni dyskowej nowego.<br />
</pre><br />
--><br />
<br />
'''Katalog domowy:''' jest to ograniczona przestrzeń na dane z niewielkim limitem pojemności 1GB. W praktyce jest to "worek" na '''katalogi projektowe'''.<br />
<br />
'''Katalog projektowy''' Każdy użytkownik posiadający aktywny grant obliczeniowy (naukowy bądź komercyjny) na klastrze w swoim '''Katalogu domowym''' posiada automatycznie utworzony katalog o nazwie takiej jak nazwa usługi w portalu, np '''pl0001-01''' dla każdego grantu w którym dany użytkownik bierze udział. W katalogu tym znajdują się dwa ważne podkatalogi: <br />
*'''archive''' - jest to przestrzeń przeznaczona na przechowywanie danych, które nie są aktywnie wykorzystywane, np. przetworzonych wyników obliczeń itp. Przestrzeń ta jest wolniejsza niż "project_data" oraz "scratch", ale ma znacznie większy rozmiar - możliwe jest przechowywanie dziesiątków, bądź (jeśli jest to konieczne), setek TB danych;<br />
*'''project_data''' - jest to katalog '''współdzielony''' miedzy wszystkimi użytkownikami danego grantu. Dane znajdujące się we wszystkich podkatalogach tego katalogu zabezpieczone przed przypadkowym usunięciem mechanizmem automatycznych kopii zapasowych. PCSS zapewnia dla tego katalogu gwarantowaną przestrzeń na dane w wielkości przyznanej w ramach wniosku grantowego lub komercyjnej umowy. Limit ten może być wykorzystywany wyłącznie przez użytkowników. W ramach tego katalogu użytkownicy mogą w dowolny sposób tworzyć i usuwać pliki/katalogi oraz manipulować prawami dostępu. '''Domyślna przestrzeń dostępna w tym katalogu to 5TB;'''<br />
*'''scratch''' - jest to '''dedykowana''' dla danego grantu przestrzeń przeznaczona do prowadzenia obliczeń/przechowywania danych wejściowych. Zasady korzystania są identyczne do obecnie wykorzystywanej przestrzeni scratch. '''Domyślna wielkość tej przestrzeni to 10TB.'''<br />
<br />
Dane dostępne w katalogu '''project_data''' dostępne będą przez cały okres trwania grantu poszerzony o pewien dodatkowy czas, dzięki któremu możliwe będzie zarchiwizowanie danych lub przeniesienie ich do przestrzeni nowego grantu. Obecnie dane udostępniane są przez okres 6 miesięcy od zakończenia grantu oraz dodatkowe 6 miesięcy, podczas których można odzyskać dane na żądanie. Nowa struktura danych wygląda następująco (przykładowo dla usługi/grantu o identyfikatorze pl0001-01:<br />
<br />
<nowiki><br />
-> ~<nazwa_użytkownika> : katalog domowy<br />
--> pl0001-01<br />
---> project_data : współdzielona przestrzeń na dane dla grantu pl0001-01<br />
---> scratch : przestrzeń danych przeznaczona dla danych w czasie obliczeń dla pl0001-01<br />
---> archive : współdzielona przestrzeń na dane archiwalne dla grantu pl0001-01<br />
<br />
</nowiki><br />
<br />
<br />
W przyszłości pojawią się dodatkowe katalogi zapewniające m.in. łatwiejszy dostęp do systemu archiwizacji lub też możliwość wymiany danych z usługą box.pionier.net.pl<br />
<br />
Uwaga: katalogi '''project_data''' oraz '''scratch''' są linkami symbolicznymi do faktycznego miejsca montowania systemu składowania. Użytkownicy proszeni są o używanie wyłącznie ścieżek względnych (np. ~<nazwa_użytkownika>/grant_id/project_data), a nie fizycznych ścieżek montowania gdyż mogą się one zmieniać. Nowa struktura danych umożliwia nam dynamiczne przenoszenie grantów pomiędzy różnymi systemami składowania niejako "w locie", więc nie ma gwarancji, że przez cały okres trwania grantu dane przechowywane będą na tym samym fizycznym systemie. <br />
<br />
Obecnie wykorzystywane systemy składowania są wycofywane od końca 2021 r. - zniknie katalog /tmp/lustre oraz znacząco zostanie ograniczone miejsce w '''katalogu domowym''' - głównym miejscem przechowywania danych powinny stać się katalogi '''project_data''' oraz '''scratch''' grantów. O wszelkich planowanych pracach użytkownicy będą informowani z co najmniej dwumiesięcznym wyprzedzeniem, aby umożliwić migrację danych.<br />
<br />
Aby sprawdzić ile dany katalog (archive, project_data, scratch) zajmuje miejsaca oraz jaki ma limint należy użyć następujących poleceń:<br />
<br />
sprawdzanie quoty dla archive:<br />
<br />
<pre><br />
getfattr -n ceph.quota.max_bytes /some/dir - quota na wielkosc<br />
getfattr -n ceph.quota.max_files /some/dir - quota na ilosc plikow<br />
</pre><br />
<br />
sprawdzanie quoty dla project_data i scratch:<br />
<br />
<pre><br />
project_data:<br />
lfs quota -h -p 399 /mnt/storage_2/project_data/grant_399<br />
<br />
scratch:<br />
lfs quota -h -p 3990000 /mnt/storage_2/scratch/grant_399<br />
</pre></div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Dane_na_klastrze_Eagle&diff=2098Dane na klastrze Eagle2024-01-29T09:17:09Z<p>Radekj: </p>
<hr />
<div>== Nowa struktura danych. ==<br />
<!--<br />
<pre style="color: red"><br />
Uwaga: od listopadzie 2023 wdrożony został nowy portal (https://pcss.plcloud.pl/) a co za tym idzie zmieniło się nazewnictwo grantów. Dotychczasowy schemat "grant_<numer grantu>" zastąpiony został po prostu sygnaturą grantu/usługi, np '''pl0001-01'''<br />
Dla grantów które w momencie wdrożenia nowego portalu były aktywne utworzono w nowym portalu przestrzenie o nazwie ("Przestrzeń dla grantu <nr grantu> z hpc.man.poznan.pl" wraz usługa o parametrach takich jak miał orginalny grant. Prosimy przenieść dane ze starych grantów do przestrzeni dyskowej nowego.<br />
</pre><br />
--><br />
<br />
'''Katalog domowy:''' jest to ograniczona przestrzeń na dane z niewielkim limitem pojemności 1GB. W praktyce jest to "worek" na '''katalogi projektowe'''.<br />
<br />
'''Katalog projektowy''' Każdy użytkownik posiadający aktywny grant obliczeniowy (naukowy bądź komercyjny) na klastrze w swoim '''Katalogu domowym''' posiada automatycznie utworzony katalog o nazwie takiej jak nazwa usługi w portalu, np '''pl0001-01''' dla każdego grantu w którym dany użytkownik bierze udział. W katalogu tym znajdują się dwa ważne podkatalogi: <br />
*'''archive''' - jest to przestrzeń przeznaczona na przechowywanie danych, które nie są aktywnie wykorzystywane, np. przetworzonych wyników obliczeń itp. Przestrzeń ta jest wolniejsza niż "project_data" oraz "scratch", ale ma znacznie większy rozmiar - możliwe jest przechowywanie dziesiątków, bądź (jeśli jest to konieczne), setek TB danych;<br />
*'''project_data''' - jest to katalog '''współdzielony''' miedzy wszystkimi użytkownikami danego grantu. Dane znajdujące się we wszystkich podkatalogach tego katalogu zabezpieczone przed przypadkowym usunięciem mechanizmem automatycznych kopii zapasowych. PCSS zapewnia dla tego katalogu gwarantowaną przestrzeń na dane w wielkości przyznanej w ramach wniosku grantowego lub komercyjnej umowy. Limit ten może być wykorzystywany wyłącznie przez użytkowników. W ramach tego katalogu użytkownicy mogą w dowolny sposób tworzyć i usuwać pliki/katalogi oraz manipulować prawami dostępu. '''Domyślna przestrzeń dostępna w tym katalogu to 5TB;'''<br />
*'''scratch''' - jest to '''dedykowana''' dla danego grantu przestrzeń przeznaczona do prowadzenia obliczeń/przechowywania danych wejściowych. Zasady korzystania są identyczne do obecnie wykorzystywanej przestrzeni scratch. '''Domyślna wielkość tej przestrzeni to 10TB.'''<br />
<br />
Dane dostępne w katalogu '''project_data''' dostępne będą przez cały okres trwania grantu poszerzony o pewien dodatkowy czas, dzięki któremu możliwe będzie zarchiwizowanie danych lub przeniesienie ich do przestrzeni nowego grantu. Obecnie dane udostępniane są przez okres 6 miesięcy od zakończenia grantu oraz dodatkowe 6 miesięcy, podczas których można odzyskać dane na żądanie. Nowa struktura danych wygląda następująco (przykładowo dla usługi/grantu o identyfikatorze pl0001-01:<br />
<br />
<nowiki><br />
-> ~<nazwa_użytkownika> : katalog domowy<br />
--> pl0001-01<br />
---> project_data : współdzielona przestrzeń na dane dla grantu pl0001-01<br />
---> scratch : przestrzeń danych przeznaczona dla danych w czasie obliczeń dla pl0001-01<br />
---> archive : współdzielona przestrzeń na dane archiwalne dla grantu pl0001-01<br />
<br />
</nowiki><br />
<br />
<br />
W przyszłości pojawią się dodatkowe katalogi zapewniające m.in. łatwiejszy dostęp do systemu archiwizacji lub też możliwość wymiany danych z usługą box.pionier.net.pl<br />
<br />
Uwaga: katalogi '''project_data''' oraz '''scratch''' są linkami symbolicznymi do faktycznego miejsca montowania systemu składowania. Użytkownicy proszeni są o używanie wyłącznie ścieżek względnych (np. ~<nazwa_użytkownika>/grant_id/project_data), a nie fizycznych ścieżek montowania gdyż mogą się one zmieniać. Nowa struktura danych umożliwia nam dynamiczne przenoszenie grantów pomiędzy różnymi systemami składowania niejako "w locie", więc nie ma gwarancji, że przez cały okres trwania grantu dane przechowywane będą na tym samym fizycznym systemie. <br />
<br />
Obecnie wykorzystywane systemy składowania są wycofywane od końca 2021 r. - zniknie katalog /tmp/lustre oraz znacząco zostanie ograniczone miejsce w '''katalogu domowym''' - głównym miejscem przechowywania danych powinny stać się katalogi '''project_data''' oraz '''scratch''' grantów. O wszelkich planowanych pracach użytkownicy będą informowani z co najmniej dwumiesięcznym wyprzedzeniem, aby umożliwić migrację danych.<br />
<br />
Aby sprawdzić ile dany katalog (archive, project_data, scratch) zajmuje miejsaca oraz jaki ma limint należy użyć następujących poleceń:<br />
<br />
sprawdzanie quoty dla archive:<br />
<br />
<pre><br />
getfattr -n ceph.quota.max_bytes /some/dir - quota na wielkosc<br />
getfattr -n ceph.quota.max_files /some/dir - quota na ilosc plikow<br />
</pre><br />
<br />
sprawdzanie quoty dla project_data i scratch:<br />
<br />
<pre><br />
project_data:<br />
lfs quota -h -p 399 /mnt/storage_2/project_data/grant_399<br />
<br />
scratch:<br />
lfs quota -h -p 3990000 /mnt/storage_2/scratch/grant_399<br />
</pre></div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Eagle&diff=1796Eagle2022-04-27T10:37:38Z<p>Radekj: /* Węzły CPU Altair */</p>
<hr />
<div>__NOTOC__<br />
== ALTAIR ==<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="font-weight: bold;" colspan=1 | '''Charakterystyka sprzętowa'''<br />
! style="text-align: center; font-weight: bold;" | Eagle<br />
! style="text-align: center; font-weight: bold;" | Altair<br />
|-<br />
|typ <br />
|klaster PC<br />
|klaster PC<br />
|-class="alt"<br />
|Architektura <br />
|Intel Xeon E5-2697<br />
|Intel Xeon Platinium 8268<br />
<br />
|-<br />
|Interfejsy sieciowe <br />
|Infiniband FDR<br />
|InfiniBand EDR<br />
|-class="alt"<br />
|Sieć połączeń wewnetrznych <br />
| <br />
|<br />
|-<br />
|Liczba rdzeni CPU <br />
|'''32984'''<br />
|'''63360'''<br />
|-class="alt"<br />
|Sumaryczna moc obliczeniowa<br />
|'''1,3 PFLOPS'''<br />
|'''5,9 PFLOPS'''<br />
|-<br />
|Wielkość pamięci systemowej<br />
|'''120,6 TB'''<br />
|'''300 TB'''<br />
|-class="alt"<br />
|Pojemność pamięci dyskowej <br />
| <br />
|<br />
|}<br />
<br />
== Węzły CPU Eagle ==<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa handlowa węzła<br />
! style="text-align: center; font-weight: bold;" | Model CPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
węzłów<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
procesorów i rdzeni<br />
! style="text-align: center; font-weight: bold;" | Ilość pamięci RAM<br />
w węźle<br />
! style="text-align: center; font-weight: bold;" | Moc obliczeniowa<br />
węzła<br />
! style="text-align: center; font-weight: bold;" | Tag klasy węzła<br />
|-<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 560<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 64 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | intel,haswell,huawei<br />
|-class="alt"<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 530<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 128 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | intel,haswell,huawei<br />
|-<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 81<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 256 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | intel,haswell,huawei<br />
|-class="alt"<br />
| style="font-weight: bold;" | HUAWEI CH121 V4<br />
| Intel Xeon E5-2682 v4<br />
| style="text-align: center;" | 55<br />
| style="text-align: center;" | 2x16<br />
| style="text-align: center;" | 128 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | intel,broadwell,huawei<br />
|}<br />
<br />
== Węzły CPU Altair==<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa handlowa węzła<br />
! style="text-align: center; font-weight: bold;" | Model CPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
węzłów<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
procesorów i rdzeni<br />
! style="text-align: center; font-weight: bold;" | Ilość pamięci RAM<br />
w węźle<br />
! style="text-align: center; font-weight: bold;" | Moc obliczeniowa<br />
węzła<br />
! style="text-align: center; font-weight: bold;" | Tag klasy węzła<br />
|-<br />
| style="font-weight: bold;" | HUAWEI CH121 V5<br />
| Intel Xeon Platinium 8268<br />
| style="text-align: center;" | 1320 <br />
| style="text-align: center;" | 2 x 24<br />
| style="text-align: center;" | 192/384 GB<br />
| style="text-align: center;" | 4,4 TFLOPS<br />
| style="text-align: center;" | intel, cascade<br />
<br />
|}<br />
<br />
== Węzły GPU Eagle==<br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa handlowa węzła<br />
! style="text-align: center; font-weight: bold;" | Model CPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
węzłów<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
procesorów i rdzeni<br />
! style="text-align: center; font-weight: bold;" | Ilość pamięci RAM<br />
w węźle<br />
! style="text-align: center; font-weight: bold;" | Model GPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
kart graficznych w węźle<br />
! style="text-align: center; font-weight: bold;" | Moc obliczeniowa węzła<br />
GPU<br />
! style="text-align: center; font-weight: bold;" | Tag klasy węzła<br />
|-<br />
| style="font-weight: bold;" | <br />
| style="text-align: center;" | Xeon Gold Gold 5115<br />
| style="text-align: center;" | 3<br />
| style="text-align: center;" | 2x10<br />
| style="text-align: center;" | 92 GB<br />
| style="text-align: center;" | Nvidia V100 32GB <br />
| style="text-align: center;" | 2<br />
| style="text-align: center;" | 15,6 TFLOPS<br />
| style="text-align: center;" |<br />
|}<br />
<br />
== Węzły GPU Altair==<br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa handlowa węzła<br />
! style="text-align: center; font-weight: bold;" | Model CPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
węzłów<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
procesorów i rdzeni<br />
! style="text-align: center; font-weight: bold;" | Ilość pamięci RAM<br />
w węźle<br />
! style="text-align: center; font-weight: bold;" | Model GPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
kart graficznych w węźle<br />
! style="text-align: center; font-weight: bold;" | Moc obliczeniowa węzła<br />
GPU<br />
! style="text-align: center; font-weight: bold;" | Tag klasy węzła<br />
|-<br />
| style="font-weight: bold;" | <br />
| style="text-align: center;" |Intel Xeon 6242 <br />
| style="text-align: center;" |9<br />
| style="text-align: center;" |2x16 <br />
| style="text-align: center;" |384 GB <br />
| style="text-align: center;" |Nvidia V100 32GB <br />
| style="text-align: center;" |8<br />
| style="text-align: center;" |62,4 TFLOPS<br />
| style="text-align: center;" |<br />
|}<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="font-weight: bold;" colspan=3 | '''Inne informacje'''<br />
|-<br />
| colspan=2 | '''System operacyjny'''<br />
|-class="alt"<br />
|typ <br />
|GNU Linux<br />
|-<br />
|nazwa domenowa komputera <br />
|eagle.man.poznan.pl<br />
|-class="alt"<br />
|system zarządzania zadaniami w trybie wsadowym <br />
|SLURM<br />
|}<br />
<br />
== Kolejki ==<br />
<br />
Uruchamianie obliczeń poprzez system SLURM odbywa się w ramach kolejek, które różnią się między sobą priorytetem, limitami czy prawami dostępu (a czasem również dostępnymi zasobami)<br><br />
Posiadamy następujące kolejki:<br />
<center><br><br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa <br />
Kolejki<br />
! style="text-align: center; font-weight: bold;" | Limit czasu<br />
zadania<br />
! style="text-align: center; font-weight: bold;" | Domyślny limit <br />
czasu zadania<br />
! style="text-align: center; font-weight: bold;" | Standardowa ilość <br />
pamięci RAM/rdzeń<br />
! style="text-align: center; font-weight: bold;" | Uwagi<br />
|-<br />
|-<br />
| style="text-align: center; font-weight: bold;" | standard<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Domyślna kolejka, można uruchamiać zarówno zadania równoległe jak i sekwencyjne <br />
|-class="alt"<br />
| style="text-align: center; font-weight: bold;" | fast<br />
| style="text-align: center;" | 1 godzina<br />
| style="text-align: center;" | 10 minut<br />
| style="text-align: center;" | -<br />
| wysoki priorytet; maksymalna ilość węzłów 1<br />
|-<br />
| style="text-align: center; font-weight: bold;" | bigmem<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Kolejka/partycja przeznaczona dla zadań wymagających więcej niż 128GB per węzeł. Wysoki priorytet ale tylko 81 węzłów należy do tej partycji<br />
|-class="alt"<br />
| style="text-align: center; font-weight: bold;" | tesla<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Kolejka z węzłami GPU<br />
|}<br />
</center><br />
<br />
== Kolejki Altair ==<br />
<center><br><br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa <br />
Kolejki Altair<br />
! style="text-align: center; font-weight: bold;" | Limit czasu<br />
zadania<br />
! style="text-align: center; font-weight: bold;" | Domyślny limit <br />
czasu zadania<br />
! style="text-align: center; font-weight: bold;" | Standardowa ilość <br />
pamięci RAM/rdzeń<br />
! style="text-align: center; font-weight: bold;" | Uwagi<br />
|-<br />
|-<br />
| style="text-align: center; font-weight: bold;" | altair<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Domyślna kolejka, można uruchamiać zarówno zadania równoległe jak i sekwencyjne <br />
|<br />
|-class="alt"<br />
| style="text-align: center; font-weight: bold;" | altair-gpu<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Kolejka z węzłami GPU<br />
|}<br />
</center></div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Kopiowanie_danych&diff=1795Kopiowanie danych2022-02-24T12:19:20Z<p>Radekj: </p>
<hr />
<div>Kopiowanie danych z lustre do project_data prosimy wykonywać w trybie interaktywny na serwerze obliczeniowym. Sesję interaktywną inicjuje się w następujący sposób <br />
<pre><br />
srun --pty /bin/bash<br />
</pre><br />
Wszystkie duże operacje nie powinny być wykonywane na węźle dostępowym ponieważ konsekwencje odczują wszyscy użytkownicy w postaci powolnego działania UI<br />
<br />
Węzły obliczeniowe połączone są połączone są szybką siecią co znacznie przyspiesza transfer plików<br />
<br />
Operacje tą można jeszcze przyspieszyć wykorzystując zainstalowane na klastrze narzędzie '''rclone''' kopiując dane równolegle<br />
<br />
Poniżej przesyłam przykład użycia:<br />
<br />
<pre><br />
rclone copy <source path > <target path> --progress --multi-thread-streams=N<br />
</pre><br />
W testy wykazały że powyżej N=8 nie ma już dodatkowych korzyści w postaci szybszego transferu danych.</div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Dane_na_klastrze_Eagle&diff=1794Dane na klastrze Eagle2022-02-15T10:45:50Z<p>Radekj: </p>
<hr />
<div>== Obecna struktura danych na klastrze ==<br />
<br />
<pre style="color: red"><br />
Uwaga: ta struktura stopniowo będzie wycofywana z końcem 2021r<br />
</pre><br />
<br />
'''Katalog domowy''' : Każdy użytkownik po zalogowaniu na serwer dostępowy ma do dyspozycji osobistą przestrzeń do składowania plików która służy do przechowywania końcowych rezultatów obliczeń oraz innych cennych informacji. Przestrzeń ta zazwyczaj znajduje się w katalogu /home/users/<nazwa użytkownika>. Katalog ten jest dostępny na serwerze dostępowym oraz wszystkich serwerach obliczeniowych klastra pod tą samą ścieżką. PCSS wykonuje regularnie kopie zapasowe tych danych tak więc istnieje możliwość odtworzenia plików w przypadku awarii systemu składowania bądź omyłkowego skasowania danych przez właściciela danych.Katalogu tego, zgodnie z regulaminem, nie wolno udostępniać innym osobom.<br />
<br />
'''Katalog do prowadzenia obliczeń / scratch.''' Każdy użytkownik ma dostęp do osobistej przestrzeni szybkiego systemu składowania. System ten jest przeznaczony do przechowywania danych wykorzystywanych w czasie obliczeń oraz jest to miejsce gdzie powinny być zapisywane dane tymczasowe generowane w trakcie działania aplikacji. Przestrzeń ta dostępna jest pod ścieżką '''/tmp/lustre/<nazwa użytkownika>'''. System ten jest wielokrotnie większy niż przestrzeń Katalogów Domowych oraz oferuje kilkunastokrotnie większą wydajność niemniej ta przestrzeń nie jest chroniona przez automatyczne wykonywanie kopii zapasowych - omyłkowo bądź celowo skasowanych danych nie da się odzyskać.Zarówno Katalogi domowe jak i przestrzeń scratch oferują całą dostępną przestrzeń dla każdego użytkownika. <br />
<br />
Rozwiązanie to było niewątpliwie wygodne, niemniej błąd w zarządzaniu danymi pojedynczego użytkownika polegający na zajęciu całego dostępnego miejsca skutkował zablokowaniem możliwości prowadzenia obliczeń przez wszystkich użytkowników.Ze względu na cyklicznie występujące problemy z dostępnością miejsca i zapewnieniem odpowiedniej jakości świadczonej usługi zdecydowaliśmy się na stopniowe odejście od tego modelu na rzecz nowej struktury opisanej poniżej. Innym powodem dla którego zdecydowaliśmy się zmienić strukturę katalogów jest problematyczna migracja z pojedynczego centralnego systemu plików na inny. Obecnie wszystkie projekty na klastrze zajmują wiele petabajtów przestrzeni. Migracja tych danych na nowy system składowania tak, aby nie wpływało to znacząco na bieżące funkcjonowanie klastra, zajęło by wiele miesięcy. <br />
<br />
== Nowa struktura danych. ==<br />
<pre style="color: red"><br />
NA chwilę obecną nowa struktura danych dostępna jest dla użytkowników lokalnych oraz projektu PRACE. <br />
Z przyczyn technicznych na razie użytkownicy PLGRID nie mają dostępu do tej przestrzeni.<br />
Uwaga: od lipca 2021 ta struktura dostępna jest równolegle ze starą struktura. <br />
Do sierpnia 2021 przestrzeń będzie traktowana jako przedprodukcyjna - trwa faza optymalizacji wydajności.<br />
</pre><br />
<br />
'''Katalog domowy''' Ograniczona przestrzeń na dane z niewielkim limitem pojemności rzędu kilkuset megabajtów. W praktyce jest to worek na '''katalogi projektowe'''<br />
<br />
'''Katalog projektowy''' Każdy użytkownik mający aktywny grant obliczeniowy (naukowy bądź komercyjny) na klastrze w swoim '''Katalogu domowym''' posiada automatycznie utworzony katalog o nazwie '''grant_<nr_grantu>''' dla każdego grantu w którym dany użytkownik bierze udział. W katalogu tym znajdują się dwa istotne podkatalogi: <br />
*'''archive''' - jest to przestrzeń przeznaczona na przechowywanie danych które nie są aktywnie wykorzystywane, np przetworzone wyniki obliczeń itp. Przestrzeń ta jest wolniejsza niż "project_data" oraz "scratch" ale ma znacznie większy rozmiar - możliwe jest przechowywanie dziesiątków bądź (jeśli jest to konieczne) setek TB danych.<br />
*'''project_data''' - jest to katalog '''współdzielony''' miedzy wszystkimi użytkownikami danego grantu. Dane znajdujące się we wszystkich podkatalogach tego katalogu zabezpieczone przed przypadkowym usunięciem mechanizmem automatycznych kopii zapasowych. Dla tego katalogu PCSS zapewnia gwarantowaną przestrzeń na dane w wielkości która przyznana była w ramach wniosku grantowego lub komercyjnej umowy. Limit ten może być wykorzystywany wyłącznie przez użytkowników W ramach tego katalogu użytkownicy mogą w dowolny sposób tworzyć i osuwać pliki/katalogi oraz manipulować prawami dostępu. '''Domyślna przestrzeń dostępna w tym katalogu to 5TB'''<br />
*'''scratch''' - '''dedykowana''' dla danego grantu przestrzeń przeznaczona do prowadzenia obliczeń/przechowywania danych wejściowych. Zasady korzystania są identyczne do obecnie wykorzystywanej przestrzeni scratch. '''Domyślna wielkość tej przestrzeni to 10TB'''<br />
<br />
Dane dostępne w katalogu '''project_data''' dostępne będą przez cały okres trwania grantu plus pewien dodatkowy czas dzięki któremu możliwe będzie zarchiwizowanie danych lub przeniesienie ich do przestrzeni nowego grantu. Na chwilę obecną dane udostępniane są przez okres 6 miesięcy od zakończenia grantu plus dodatkowe 6 miesięcy w czasie których na żądanie jesteśmy w stanie odzyskać dane. Nowa struktura danych wygląda więc następująco<br />
<br />
<nowiki><br />
-> ~<nazwa_użytkownika> : katalog domowy<br />
--> grant_X<br />
---> project_data : współdzielona przestrzeń na dane dla grantu_X<br />
---> scratch : przestrzeń danych przeznaczona dla danych w czasie obliczeń dla grantu_x<br />
---> archive : współdzielona przestrzeń na dane archiwalne dla grantu_X<br />
<br />
--> grant_y<br />
---> project_data : współdzielona przestrzeń na dane dla grantu_Y<br />
---> scratch : przestrzeń danych przeznaczona dla danych w czasie obliczeń dla grantu_Y<br />
---> archive : współdzielona przestrzeń na dane archiwalne dla grantu_Y<br />
<br />
</nowiki><br />
W przyszłości pojawią się dodatkowe katalogi zapewniające np łatwiejszy dostęp do systemu archiwizacji lub też możliwość wymiany danych z usługą box.pionier.net.pl<br />
<br />
Uwaga: katalogi '''project_data''' oraz '''scratch''' są linkami symbolicznymi do faktycznego miejsca montowania systemu składowania. Prosimy jednak o używanie wyłącznie ścieżek względnych (np /home/users/<nazwa_użytkownika>/grant_id/project_data) a nie fizycznych ścieżek montowania gdyż mogą się one zmieniać. Nowa struktura danych umożliwia nam dynamiczne przenoszenie grantów pomiędzy różnymi systemami składowania niejako "w locie" więc nie ma gwarancji że przez cały okres życia grantu dane przechowywane będą na tym samym fizycznym systemie. <br />
<br />
Obecnie wykorzystywane systemy składowania zaczniemy wycofywać pod koniec roku 2021 - zniknie katalog /tmp/lustre oraz znacząco ograniczymy dostępne miejsce w '''katalogu domowym''' - głównym miejscem przechowywania danych powinny stać się katalogi '''project_data''' oraz '''scratch''' grantów. O wszelkich planowanych pracach poinformujemy z co najmniej dwumiesięcznym wyprzedzeniem aby możliwa była spokojna migracja danych.</div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Dane_na_klastrze_Eagle&diff=1793Dane na klastrze Eagle2022-02-15T09:44:32Z<p>Radekj: </p>
<hr />
<div>== Obecna struktura danych na klastrze ==<br />
<br />
<pre style="color: red"><br />
Uwaga: ta struktura stopniowo będzie wycofywana z końcem 2021r<br />
</pre><br />
<br />
'''Katalog domowy''' : Każdy użytkownik po zalogowaniu na serwer dostępowy ma do dyspozycji osobistą przestrzeń do składowania plików która służy do przechowywania końcowych rezultatów obliczeń oraz innych cennych informacji. Przestrzeń ta zazwyczaj znajduje się w katalogu /home/users/<nazwa użytkownika>. Katalog ten jest dostępny na serwerze dostępowym oraz wszystkich serwerach obliczeniowych klastra pod tą samą ścieżką. PCSS wykonuje regularnie kopie zapasowe tych danych tak więc istnieje możliwość odtworzenia plików w przypadku awarii systemu składowania bądź omyłkowego skasowania danych przez właściciela danych.Katalogu tego, zgodnie z regulaminem, nie wolno udostępniać innym osobom.<br />
<br />
'''Katalog do prowadzenia obliczeń / scratch.''' Każdy użytkownik ma dostęp do osobistej przestrzeni szybkiego systemu składowania. System ten jest przeznaczony do przechowywania danych wykorzystywanych w czasie obliczeń oraz jest to miejsce gdzie powinny być zapisywane dane tymczasowe generowane w trakcie działania aplikacji. Przestrzeń ta dostępna jest pod ścieżką '''/tmp/lustre/<nazwa użytkownika>'''. System ten jest wielokrotnie większy niż przestrzeń Katalogów Domowych oraz oferuje kilkunastokrotnie większą wydajność niemniej ta przestrzeń nie jest chroniona przez automatyczne wykonywanie kopii zapasowych - omyłkowo bądź celowo skasowanych danych nie da się odzyskać.Zarówno Katalogi domowe jak i przestrzeń scratch oferują całą dostępną przestrzeń dla każdego użytkownika. <br />
<br />
Rozwiązanie to było niewątpliwie wygodne, niemniej błąd w zarządzaniu danymi pojedynczego użytkownika polegający na zajęciu całego dostępnego miejsca skutkował zablokowaniem możliwości prowadzenia obliczeń przez wszystkich użytkowników.Ze względu na cyklicznie występujące problemy z dostępnością miejsca i zapewnieniem odpowiedniej jakości świadczonej usługi zdecydowaliśmy się na stopniowe odejście od tego modelu na rzecz nowej struktury opisanej poniżej. Innym powodem dla którego zdecydowaliśmy się zmienić strukturę katalogów jest problematyczna migracja z pojedynczego centralnego systemu plików na inny. Obecnie wszystkie projekty na klastrze zajmują wiele petabajtów przestrzeni. Migracja tych danych na nowy system składowania tak, aby nie wpływało to znacząco na bieżące funkcjonowanie klastra, zajęło by wiele miesięcy. <br />
<br />
== Nowa struktura danych. ==<br />
<pre style="color: red"><br />
NA chwilę obecną nowa struktura danych dostępna jest dla użytkowników lokalnych oraz projektu PRACE. Z przyczyn technicznych na razie użytkownicy PLGRID nie mają dostępu do tej przestrzeni.<br />
Uwaga: od lipca 2021 ta struktura dostępna jest równolegle ze starą struktura. <br />
Do sierpnia 2021 przestrzeń będzie traktowana jako przedprodukcyjna - trwa faza optymalizacji wydajności.<br />
</pre><br />
<br />
'''Katalog domowy''' Ograniczona przestrzeń na dane z niewielkim limitem pojemności rzędu kilkuset megabajtów. W praktyce jest to worek na '''katalogi projektowe'''<br />
<br />
'''Katalog projektowy''' Każdy użytkownik mający aktywny grant obliczeniowy (naukowy bądź komercyjny) na klastrze w swoim '''Katalogu domowym''' posiada automatycznie utworzony katalog o nazwie '''grant_<nr_grantu>''' dla każdego grantu w którym dany użytkownik bierze udział. W katalogu tym znajdują się dwa istotne podkatalogi: <br />
*'''archive''' - jest to przestrzeń przeznaczona na przechowywanie danych które nie są aktywnie wykorzystywane, np przetworzone wyniki obliczeń itp. Przestrzeń ta jest wolniejsza niż "project_data" oraz "scratch" ale ma znacznie większy rozmiar - możliwe jest przechowywanie dziesiątków bądź (jeśli jest to konieczne) setek TB danych.<br />
*'''project_data''' - jest to katalog '''współdzielony''' miedzy wszystkimi użytkownikami danego grantu. Dane znajdujące się we wszystkich podkatalogach tego katalogu zabezpieczone przed przypadkowym usunięciem mechanizmem automatycznych kopii zapasowych. Dla tego katalogu PCSS zapewnia gwarantowaną przestrzeń na dane w wielkości która przyznana była w ramach wniosku grantowego lub komercyjnej umowy. Limit ten może być wykorzystywany wyłącznie przez użytkowników W ramach tego katalogu użytkownicy mogą w dowolny sposób tworzyć i osuwać pliki/katalogi oraz manipulować prawami dostępu. '''Domyślna przestrzeń dostępna w tym katalogu to 5TB'''<br />
*'''scratch''' - '''dedykowana''' dla danego grantu przestrzeń przeznaczona do prowadzenia obliczeń/przechowywania danych wejściowych. Zasady korzystania są identyczne do obecnie wykorzystywanej przestrzeni scratch. '''Domyślna wielkość tej przestrzeni to 10TB'''<br />
<br />
Dane dostępne w katalogu '''project_data''' dostępne będą przez cały okres trwania grantu plus pewien dodatkowy czas dzięki któremu możliwe będzie zarchiwizowanie danych lub przeniesienie ich do przestrzeni nowego grantu. Na chwilę obecną dane udostępniane są przez okres 6 miesięcy od zakończenia grantu plus dodatkowe 6 miesięcy w czasie których na żądanie jesteśmy w stanie odzyskać dane. Nowa struktura danych wygląda więc następująco<br />
<br />
<nowiki><br />
-> ~<nazwa_użytkownika> : katalog domowy<br />
--> grant_X<br />
---> project_data : współdzielona przestrzeń na dane dla grantu_X<br />
---> scratch : przestrzeń danych przeznaczona dla danych w czasie obliczeń dla grantu_x<br />
--> grant_y<br />
---> project_data : współdzielona przestrzeń na dane dla grantu_Y<br />
---> scratch : przestrzeń danych przeznaczona dla danych w czasie obliczeń dla grantu_y<br />
</nowiki><br />
W przyszłości pojawią się dodatkowe katalogi zapewniające np łatwiejszy dostęp do systemu archiwizacji lub też możliwość wymiany danych z usługą box.pionier.net.pl<br />
<br />
Uwaga: katalogi '''project_data''' oraz '''scratch''' są linkami symbolicznymi do faktycznego miejsca montowania systemu składowania. Prosimy jednak o używanie wyłącznie ścieżek względnych (np /home/users/<nazwa_użytkownika>/grant_id/project_data) a nie fizycznych ścieżek montowania gdyż mogą się one zmieniać. Nowa struktura danych umożliwia nam dynamiczne przenoszenie grantów pomiędzy różnymi systemami składowania niejako "w locie" więc nie ma gwarancji że przez cały okres życia grantu dane przechowywane będą na tym samym fizycznym systemie. <br />
<br />
Obecnie wykorzystywane systemy składowania zaczniemy wycofywać pod koniec roku 2021 - zniknie katalog /tmp/lustre oraz znacząco ograniczymy dostępne miejsce w '''katalogu domowym''' - głównym miejscem przechowywania danych powinny stać się katalogi '''project_data''' oraz '''scratch''' grantów. O wszelkich planowanych pracach poinformujemy z co najmniej dwumiesięcznym wyprzedzeniem aby możliwa była spokojna migracja danych.</div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Eagle&diff=1782Eagle2021-08-24T11:14:23Z<p>Radekj: </p>
<hr />
<div>__NOTOC__<br />
== ALTAIR ==<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="font-weight: bold;" colspan=1 | '''Charakterystyka sprzętowa'''<br />
! style="text-align: center; font-weight: bold;" | Eagle<br />
! style="text-align: center; font-weight: bold;" | Altair<br />
|-<br />
|typ <br />
|klaster PC<br />
|klaster PC<br />
|-class="alt"<br />
|Architektura <br />
|Intel Xeon E5-2697<br />
|Intel Xeon Platinium 8268<br />
<br />
|-<br />
|Interfejsy sieciowe <br />
|Infiniband FDR<br />
|InfiniBand EDR<br />
|-class="alt"<br />
|Sieć połączeń wewnetrznych <br />
| <br />
|<br />
|-<br />
|Liczba rdzeni CPU <br />
|'''32984'''<br />
|'''63360'''<br />
|-class="alt"<br />
|Sumaryczna moc obliczeniowa<br />
|'''1,3 PFLOPS'''<br />
|'''5,9 PFLOPS'''<br />
|-<br />
|Wielkość pamięci systemowej<br />
|'''120,6 TB'''<br />
|'''300 TB'''<br />
|-class="alt"<br />
|Pojemność pamięci dyskowej <br />
| <br />
|<br />
|}<br />
<br />
== Węzły CPU Eagle ==<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa handlowa węzła<br />
! style="text-align: center; font-weight: bold;" | Model CPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
węzłów<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
procesorów i rdzeni<br />
! style="text-align: center; font-weight: bold;" | Ilość pamięci RAM<br />
w węźle<br />
! style="text-align: center; font-weight: bold;" | Moc obliczeniowa<br />
węzła<br />
! style="text-align: center; font-weight: bold;" | Tag klasy węzła<br />
|-<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 560<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 64 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | intel,haswell,huawei<br />
|-class="alt"<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 530<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 128 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | intel,haswell,huawei<br />
|-<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 81<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 256 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | intel,haswell,huawei<br />
|-class="alt"<br />
| style="font-weight: bold;" | HUAWEI CH121 V4<br />
| Intel Xeon E5-2682 v4<br />
| style="text-align: center;" | 55<br />
| style="text-align: center;" | 2x16<br />
| style="text-align: center;" | 128 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | intel,broadwell,huawei<br />
|}<br />
<br />
== Węzły CPU Altair==<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa handlowa węzła<br />
! style="text-align: center; font-weight: bold;" | Model CPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
węzłów<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
procesorów i rdzeni<br />
! style="text-align: center; font-weight: bold;" | Ilość pamięci RAM<br />
w węźle<br />
! style="text-align: center; font-weight: bold;" | Moc obliczeniowa<br />
węzła<br />
! style="text-align: center; font-weight: bold;" | Tag klasy węzła<br />
|-<br />
| style="font-weight: bold;" | HUAWEI CH121 V5<br />
| Intel Xeon Platinium 8268<br />
| style="text-align: center;" | 1320 <br />
| style="text-align: center;" | 2 x 24<br />
| style="text-align: center;" | 192/384 GB<br />
| <br />
| style="text-align: center;" | intel, cascade<br />
<br />
|}<br />
<br />
== Węzły GPU Eagle==<br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa handlowa węzła<br />
! style="text-align: center; font-weight: bold;" | Model CPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
węzłów<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
procesorów i rdzeni<br />
! style="text-align: center; font-weight: bold;" | Ilość pamięci RAM<br />
w węźle<br />
! style="text-align: center; font-weight: bold;" | Model GPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
kart graficznych w węźle<br />
! style="text-align: center; font-weight: bold;" | Moc obliczeniowa węzła<br />
GPU<br />
! style="text-align: center; font-weight: bold;" | Tag klasy węzła<br />
|-<br />
| style="font-weight: bold;" | <br />
| style="text-align: center;" | Xeon Gold Gold 5115<br />
| style="text-align: center;" | 3<br />
| style="text-align: center;" | 2x10<br />
| style="text-align: center;" | 92 GB<br />
| style="text-align: center;" | Nvidia V100 32GB <br />
| style="text-align: center;" | 2<br />
| style="text-align: center;" | 15,6 TFLOPS<br />
| style="text-align: center;" |<br />
|}<br />
<br />
== Węzły GPU Altair==<br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa handlowa węzła<br />
! style="text-align: center; font-weight: bold;" | Model CPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
węzłów<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
procesorów i rdzeni<br />
! style="text-align: center; font-weight: bold;" | Ilość pamięci RAM<br />
w węźle<br />
! style="text-align: center; font-weight: bold;" | Model GPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
kart graficznych w węźle<br />
! style="text-align: center; font-weight: bold;" | Moc obliczeniowa węzła<br />
GPU<br />
! style="text-align: center; font-weight: bold;" | Tag klasy węzła<br />
|-<br />
| style="font-weight: bold;" | <br />
| style="text-align: center;" |Intel Xeon 6242 <br />
| style="text-align: center;" |9<br />
| style="text-align: center;" |2x16 <br />
| style="text-align: center;" |384 GB <br />
| style="text-align: center;" |Nvidia V100 32GB <br />
| style="text-align: center;" |8<br />
| style="text-align: center;" |62,4 TFLOPS<br />
| style="text-align: center;" |<br />
|}<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="font-weight: bold;" colspan=3 | '''Inne informacje'''<br />
|-<br />
| colspan=2 | '''System operacyjny'''<br />
|-class="alt"<br />
|typ <br />
|GNU Linux<br />
|-<br />
|nazwa domenowa komputera <br />
|eagle.man.poznan.pl<br />
|-class="alt"<br />
|system zarządzania zadaniami w trybie wsadowym <br />
|SLURM<br />
|}<br />
<br />
== Kolejki ==<br />
<br />
Uruchamianie obliczeń poprzez system SLURM odbywa się w ramach kolejek, które różnią się między sobą priorytetem, limitami czy prawami dostępu (a czasem również dostępnymi zasobami)<br><br />
Posiadamy następujące kolejki:<br />
<center><br><br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa <br />
Kolejki<br />
! style="text-align: center; font-weight: bold;" | Limit czasu<br />
zadania<br />
! style="text-align: center; font-weight: bold;" | Domyślny limit <br />
czasu zadania<br />
! style="text-align: center; font-weight: bold;" | Standardowa ilość <br />
pamięci RAM/rdzeń<br />
! style="text-align: center; font-weight: bold;" | Uwagi<br />
|-<br />
|-<br />
| style="text-align: center; font-weight: bold;" | standard<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Domyślna kolejka, można uruchamiać zarówno zadania równoległe jak i sekwencyjne <br />
|-class="alt"<br />
| style="text-align: center; font-weight: bold;" | fast<br />
| style="text-align: center;" | 1 godzina<br />
| style="text-align: center;" | 10 minut<br />
| style="text-align: center;" | -<br />
| wysoki priorytet; maksymalna ilość węzłów 1<br />
|-<br />
| style="text-align: center; font-weight: bold;" | bigmem<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Kolejka/partycja przeznaczona dla zadań wymagających więcej niż 128GB per węzeł. Wysoki priorytet ale tylko 81 węzłów należy do tej partycji<br />
|-class="alt"<br />
| style="text-align: center; font-weight: bold;" | tesla<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Kolejka z węzłami GPU<br />
|}<br />
</center><br />
<br />
== Kolejki Altait==<br />
<center><br><br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa <br />
Kolejki Altair<br />
! style="text-align: center; font-weight: bold;" | Limit czasu<br />
zadania<br />
! style="text-align: center; font-weight: bold;" | Domyślny limit <br />
czasu zadania<br />
! style="text-align: center; font-weight: bold;" | Standardowa ilość <br />
pamięci RAM/rdzeń<br />
! style="text-align: center; font-weight: bold;" | Uwagi<br />
|-<br />
|-<br />
| style="text-align: center; font-weight: bold;" | altair<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Domyślna kolejka, można uruchamiać zarówno zadania równoległe jak i sekwencyjne <br />
|<br />
|-class="alt"<br />
| style="text-align: center; font-weight: bold;" | altair-gpu<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Kolejka z węzłami GPU<br />
|}<br />
</center></div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Dane_na_klastrze_Eagle&diff=1780Dane na klastrze Eagle2021-07-26T06:37:08Z<p>Radekj: </p>
<hr />
<div>== Obecna struktura danych na klastrze ==<br />
<br />
<pre style="color: red"><br />
Uwaga: ta struktura stopniowo będzie wycofywana z końcem 2021r<br />
</pre><br />
<br />
'''Katalog domowy''' : Każdy użytkownik po zalogowaniu na serwer dostępowy ma do dyspozycji osobistą przestrzeń do składowania plików która służy do przechowywania końcowych rezultatów obliczeń oraz innych cennych informacji. Przestrzeń ta zazwyczaj znajduje się w katalogu /home/users/<nazwa użytkownika>. Katalog ten jest dostępny na serwerze dostępowym oraz wszystkich serwerach obliczeniowych klastra pod tą samą ścieżką. PCSS wykonuje regularnie kopie zapasowe tych danych tak więc istnieje możliwość odtworzenia plików w przypadku awarii systemu składowania bądź omyłkowego skasowania danych przez właściciela danych.Katalogu tego, zgodnie z regulaminem, nie wolno udostępniać innym osobom.<br />
<br />
'''Katalog do prowadzenia obliczeń / scratch.''' Każdy użytkownik ma dostęp do osobistej przestrzeni szybkiego systemu składowania. System ten jest przeznaczony do przechowywania danych wykorzystywanych w czasie obliczeń oraz jest to miejsce gdzie powinny być zapisywane dane tymczasowe generowane w trakcie działania aplikacji. Przestrzeń ta dostępna jest pod ścieżką '''/tmp/lustre/<nazwa użytkownika>'''. System ten jest wielokrotnie większy niż przestrzeń Katalogów Domowych oraz oferuje kilkunastokrotnie większą wydajność niemniej ta przestrzeń nie jest chroniona przez automatyczne wykonywanie kopii zapasowych - omyłkowo bądź celowo skasowanych danych nie da się odzyskać.Zarówno Katalogi domowe jak i przestrzeń scratch oferują całą dostępną przestrzeń dla każdego użytkownika. <br />
<br />
Rozwiązanie to było niewątpliwie wygodne, niemniej błąd w zarządzaniu danymi pojedynczego użytkownika polegający na zajęciu całego dostępnego miejsca skutkował zablokowaniem możliwości prowadzenia obliczeń przez wszystkich użytkowników.Ze względu na cyklicznie występujące problemy z dostępnością miejsca i zapewnieniem odpowiedniej jakości świadczonej usługi zdecydowaliśmy się na stopniowe odejście od tego modelu na rzecz nowej struktury opisanej poniżej. Innym powodem dla którego zdecydowaliśmy się zmienić strukturę katalogów jest problematyczna migracja z pojedynczego centralnego systemu plików na inny. Obecnie wszystkie projekty na klastrze zajmują wiele petabajtów przestrzeni. Migracja tych danych na nowy system składowania tak, aby nie wpływało to znacząco na bieżące funkcjonowanie klastra, zajęło by wiele miesięcy. <br />
<br />
== Nowa struktura danych. ==<br />
<pre style="color: red"><br />
NA chwilę obecną nowa struktura danych dostępna jest dla użytkowników lokalnych oraz projektu PRACE. Z przyczyn technicznych na razie użytkownicy PLGRID nie mają dostępu do tej przestrzeni.<br />
Uwaga: od lipca 2021 ta struktura dostępna jest równolegle ze starą struktura. <br />
Do sierpnia 2021 przestrzeń będzie traktowana jako przedprodukcyjna - trwa faza optymalizacji wydajności.<br />
</pre><br />
<br />
'''Katalog domowy''' Ograniczona przestrzeń na dane z niewielkim limitem pojemności. W praktyce jest to worek na '''katalogi projektowe'''<br />
<br />
'''Katalog projektowy''' Każdy użytkownik mający aktywny grant obliczeniowy (naukowy bądź komercyjny) na klastrze w swoim '''Katalogu domowym''' posiada automatycznie utworzony katalog o nazwie '''grant_<nr_grantu>''' dla każdego grantu w którym dany użytkownik bierze udział. W katalogu tym znajdują się dwa istotne podkatalogi: <br />
*'''project_data''' - jest to katalog '''współdzielony''' miedzy wszystkimi użytkownikami danego grantu. Dane znajdujące się we wszystkich podkatalogach tego katalogu zabezpieczone przed przypadkowym usunięciem mechanizmem automatycznych kopii zapasowych. Dla tego katalogu PCSS zapewnia gwarantowaną przestrzeń na dane w wielkości która przyznana była w ramach wniosku grantowego lub komercyjnej umowy. Limit ten może być wykorzystywany wyłącznie przez użytkowników W ramach tego katalogu użytkownicy mogą w dowolny sposób tworzyć i osuwać pliki/katalogi oraz manipulować prawami dostępu. <br />
*'''scratch''' - '''dedykowana''' dla danego grantu przestrzeń przeznaczona do prowadzenia obliczeń/przechowywania danych wejściowych. Zasady korzystania są identyczne do obecnie wykorzystywanej przestrzeni scratch. Domyślna wielkość tej przestrzeni to 10TB<br />
<br />
Dane dostępne w katalogu '''project_data''' dostępne będą przez cały okres trwania grantu plus pewien dodatkowy czas dzięki któremu możliwe będzie zarchiwizowanie danych lub przeniesienie ich do przestrzeni nowego grantu. Na chwilę obecną dane udostępniane są przez okres 6 miesięcy od zakończenia grantu plus dodatkowe 6 miesięcy w czasie których na żądanie jesteśmy w stanie odzyskać dane. Nowa struktura danych wygląda więc następująco<br />
<br />
<nowiki><br />
-> ~<nazwa_użytkownika> : katalog domowy<br />
--> grant_X<br />
---> project_data : współdzielona przestrzeń na dane dla grantu_X<br />
---> scratch : przestrzeń danych przeznaczona dla danych w czasie obliczeń dla grantu_x<br />
--> grant_y<br />
---> project_data : współdzielona przestrzeń na dane dla grantu_Y<br />
---> scratch : przestrzeń danych przeznaczona dla danych w czasie obliczeń dla grantu_y<br />
</nowiki><br />
W przyszłości pojawią się dodatkowe katalogi zapewniające np łatwiejszy dostęp do systemu archiwizacji lub też możliwość wymiany danych z usługą box.pionier.net.pl<br />
<br />
Uwaga: katalogi '''project_data''' oraz '''scratch''' są linkami symbolicznymi do faktycznego miejsca montowania systemu składowania. Prosimy jednak o używanie wyłącznie ścieżek względnych (np /home/users/<nazwa_użytkownika>/grant_id/project_data) a nie fizycznych ścieżek montowania gdyż mogą się one zmieniać. Nowa struktura danych umożliwia nam dynamiczne przenoszenie grantów pomiędzy różnymi systemami składowania niejako "w locie" więc nie ma gwarancji że przez cały okres życia grantu dane przechowywane będą na tym samym fizycznym systemie. <br />
<br />
Obecnie wykorzystywane systemy składowania zaczniemy wycofywać pod koniec roku 2021 - zniknie katalog /tmp/lustre oraz znacząco ograniczymy dostępne miejsce w '''katalogu domowym''' - głównym miejscem przechowywania danych powinny stać się katalogi '''project_data''' oraz '''scratch''' grantów. O wszelkich planowanych pracach poinformujemy z co najmniej dwumiesięcznym wyprzedzeniem aby możliwa była spokojna migracja danych.</div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Dane_na_klastrze_Eagle&diff=1779Dane na klastrze Eagle2021-07-14T10:12:46Z<p>Radekj: </p>
<hr />
<div>== Obecna struktura danych na klastrze ==<br />
<br />
<pre style="color: red"><br />
Uwaga: ta struktura stopniowo będzie wycofywana z końcem 2021r<br />
</pre><br />
<br />
'''Katalog domowy''' : Każdy użytkownik po zalogowaniu na serwer dostępowy ma do dyspozycji osobistą przestrzeń do składowania plików która służy do przechowywania końcowych rezultatów obliczeń oraz innych cennych informacji. Przestrzeń ta zazwyczaj znajduje się w katalogu /home/users/<nazwa użytkownika>. Katalog ten jest dostępny na serwerze dostępowym oraz wszystkich serwerach obliczeniowych klastra pod tą samą ścieżką. PCSS wykonuje regularnie kopie zapasowe tych danych tak więc istnieje możliwość odtworzenia plików w przypadku awarii systemu składowania bądź omyłkowego skasowania danych przez właściciela danych.Katalogu tego, zgodnie z regulaminem, nie wolno udostępniać innym osobom.<br />
<br />
'''Katalog do prowadzenia obliczeń / scratch.''' Każdy użytkownik ma dostęp do osobistej przestrzeni szybkiego systemu składowania. System ten jest przeznaczony do przechowywania danych wykorzystywanych w czasie obliczeń oraz jest to miejsce gdzie powinny być zapisywane dane tymczasowe generowane w trakcie działania aplikacji. Przestrzeń ta dostępna jest pod ścieżką '''/tmp/lustre/<nazwa użytkownika>'''. System ten jest wielokrotnie większy niż przestrzeń Katalogów Domowych oraz oferuje kilkunastokrotnie większą wydajność niemniej ta przestrzeń nie jest chroniona przez automatyczne wykonywanie kopii zapasowych - omyłkowo bądź celowo skasowanych danych nie da się odzyskać.Zarówno Katalogi domowe jak i przestrzeń scratch oferują całą dostępną przestrzeń dla każdego użytkownika. <br />
<br />
Rozwiązanie to było niewątpliwie wygodne, niemniej błąd w zarządzaniu danymi pojedynczego użytkownika polegający na zajęciu całego dostępnego miejsca skutkował zablokowaniem możliwości prowadzenia obliczeń przez wszystkich użytkowników.Ze względu na cyklicznie występujące problemy z dostępnością miejsca i zapewnieniem odpowiedniej jakości świadczonej usługi zdecydowaliśmy się na stopniowe odejście od tego modelu na rzecz nowej struktury opisanej poniżej. Innym powodem dla którego zdecydowaliśmy się zmienić strukturę katalogów jest problematyczna migracja z pojedynczego centralnego systemu plików na inny. Obecnie wszystkie projekty na klastrze zajmują wiele petabajtów przestrzeni. Migracja tych danych na nowy system składowania tak, aby nie wpływało to znacząco na bieżące funkcjonowanie klastra, zajęło by wiele miesięcy. <br />
<br />
== Nowa struktura danych. ==<br />
<pre style="color: red"><br />
Uwaga: od lipca 2021 ta struktura dostępna jest równolegle ze starą struktura. <br />
Do sierpnia 2021 przestrzeń będzie traktowana jako przedprodukcyjna - trwa faza optymalizacji wydajności.<br />
</pre><br />
<br />
'''Katalog domowy''' Ograniczona przestrzeń na dane z niewielkim limitem pojemności. W praktyce jest to worek na '''katalogi projektowe'''<br />
<br />
'''Katalog projektowy''' Każdy użytkownik mający aktywny grant obliczeniowy (naukowy bądź komercyjny) na klastrze w swoim '''Katalogu domowym''' posiada automatycznie utworzony katalog o nazwie '''grant_<nr_grantu>''' dla każdego grantu w którym dany użytkownik bierze udział. W katalogu tym znajdują się dwa istotne podkatalogi: <br />
*'''project_data''' - jest to katalog '''współdzielony''' miedzy wszystkimi użytkownikami danego grantu. Dane znajdujące się we wszystkich podkatalogach tego katalogu zabezpieczone przed przypadkowym usunięciem mechanizmem automatycznych kopii zapasowych. Dla tego katalogu PCSS zapewnia gwarantowaną przestrzeń na dane w wielkości która przyznana była w ramach wniosku grantowego lub komercyjnej umowy. Limit ten może być wykorzystywany wyłącznie przez użytkowników W ramach tego katalogu użytkownicy mogą w dowolny sposób tworzyć i osuwać pliki/katalogi oraz manipulować prawami dostępu. <br />
*'''scratch''' - '''dedykowana''' dla danego grantu przestrzeń przeznaczona do prowadzenia obliczeń/przechowywania danych wejściowych. Zasady korzystania są identyczne do obecnie wykorzystywanej przestrzeni scratch. Domyślna wielkość tej przestrzeni to 10TB<br />
<br />
Dane dostępne w katalogu '''project_data''' dostępne będą przez cały okres trwania grantu plus pewien dodatkowy czas dzięki któremu możliwe będzie zarchiwizowanie danych lub przeniesienie ich do przestrzeni nowego grantu. Na chwilę obecną dane udostępniane są przez okres 6 miesięcy od zakończenia grantu plus dodatkowe 6 miesięcy w czasie których na żądanie jesteśmy w stanie odzyskać dane. Nowa struktura danych wygląda więc następująco<br />
<br />
<nowiki><br />
-> ~<nazwa_użytkownika> : katalog domowy<br />
--> grant_X<br />
---> project_data : współdzielona przestrzeń na dane dla grantu_X<br />
---> scratch : przestrzeń danych przeznaczona dla danych w czasie obliczeń dla grantu_x<br />
--> grant_y<br />
---> project_data : współdzielona przestrzeń na dane dla grantu_Y<br />
---> scratch : przestrzeń danych przeznaczona dla danych w czasie obliczeń dla grantu_y<br />
</nowiki><br />
W przyszłości pojawią się dodatkowe katalogi zapewniające np łatwiejszy dostęp do systemu archiwizacji lub też możliwość wymiany danych z usługą box.pionier.net.pl<br />
<br />
Uwaga: katalogi '''project_data''' oraz '''scratch''' są linkami symbolicznymi do faktycznego miejsca montowania systemu składowania. Prosimy jednak o używanie wyłącznie ścieżek względnych (np /home/users/<nazwa_użytkownika>/grant_id/project_data) a nie fizycznych ścieżek montowania gdyż mogą się one zmieniać. Nowa struktura danych umożliwia nam dynamiczne przenoszenie grantów pomiędzy różnymi systemami składowania niejako "w locie" więc nie ma gwarancji że przez cały okres życia grantu dane przechowywane będą na tym samym fizycznym systemie. <br />
<br />
Obecnie wykorzystywane systemy składowania zaczniemy wycofywać pod koniec roku 2021 - zniknie katalog /tmp/lustre oraz znacząco ograniczymy dostępne miejsce w '''katalogu domowym''' - głównym miejscem przechowywania danych powinny stać się katalogi '''project_data''' oraz '''scratch''' grantów. O wszelkich planowanych pracach poinformujemy z co najmniej dwumiesięcznym wyprzedzeniem aby możliwa była spokojna migracja danych.</div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Dane_na_klastrze_Eagle&diff=1778Dane na klastrze Eagle2021-07-14T10:07:52Z<p>Radekj: </p>
<hr />
<div>== Obecna struktura danych na klastrze ==<br />
<br />
<pre style="color: red"><br />
Uwaga: ta struktura stopniowo będzie wycofywana z końcem 2021r<br />
</pre><br />
<br />
'''Katalog domowy''' : Każdy użytkownik po zalogowaniu na serwer dostępowy ma do dyspozycji osobistą przestrzeń do składowania plików która służy do przechowywania końcowych rezultatów obliczeń oraz innych cennych informacji. Przestrzeń ta zazwyczaj znajduje się w katalogu /home/users/<nazwa użytkownika>. Katalog ten jest dostępny na serwerze dostępowym oraz wszystkich serwerach obliczeniowych klastra pod tą samą ścieżką. PCSS wykonuje regularnie kopie zapasowe tych danych tak więc istnieje możliwość odtworzenia plików w przypadku awarii systemu składowania bądź omyłkowego skasowania danych przez właściciela danych.Katalogu tego, zgodnie z regulaminem, nie wolno udostępniać innym osobom.<br />
<br />
'''Katalog do prowadzenia obliczeń / scratch.''' Każdy użytkownik ma dostęp do osobistej przestrzeni szybkiego systemu składowania. System ten jest przeznaczony do przechowywania danych wykorzystywanych w czasie obliczeń oraz jest to miejsce gdzie powinny być zapisywane dane tymczasowe generowane w trakcie działania aplikacji. Przestrzeń ta dostępna jest pod ścieżką '''/tmp/lustre/<nazwa użytkownika>'''. System ten jest wielokrotnie większy niż przestrzeń Katalogów Domowych oraz oferuje kilkunastokrotnie większą wydajność niemniej ta przestrzeń nie jest chroniona przez automatyczne wykonywanie kopii zapasowych - omyłkowo bądź celowo skasowanych danych nie da się odzyskać.Zarówno Katalogi domowe jak i przestrzeń scratch oferują całą dostępną przestrzeń dla każdego użytkownika. Rozwiązanie to było niewątpliwie wygodne, niemniej błąd w zarządzaniu danymi pojedynczego użytkownika polegający na zajęciu całego dostępnego miejsca skutkował zablokowaniem możliwości prowadzenia obliczeń przez wszystkich użytkowników.Ze względu na cyklicznie występujące problemy z dostępnością miejsca i zapewnieniem odpowiedniej jakości świadczonej usługi zdecydowaliśmy się na stopniowe odejście od tego modelu na rzecz nowej struktury opisanej poniżej. Innym powodem dla którego zdecydowaliśmy się zmienić strukturę katalogów jest problematyczna migracja z pojedynczego centralnego systemu plików na inny. Obecnie wszystkie projekty na klastrze zajmują wiele petabajtów przestrzeni. Migracja tych danych na nowy system składowania tak, aby nie wpływało to znacząco na bieżące funkcjonowanie klastra, zajęło by wiele miesięcy. <br />
<br />
== Nowa struktura danych. ==<br />
<pre style="color: red"><br />
Uwaga: od lipca 2021 ta struktura dostępna jest równolegle ze starą struktura. <br />
Do sierpnia 2021 przestrzeń będzie traktowana jako przedprodukcyjna - trwa faza optymalizacji wydajności.<br />
</pre><br />
<br />
'''Katalog domowy''' Ograniczona przestrzeń na dane z niewielkim limitem pojemności. W praktyce jest to worek na '''katalogi projektowe'''<br />
<br />
'''Katalog projektowy''' Każdy użytkownik mający aktywny grant obliczeniowy (naukowy bądź komercyjny) na klastrze w swoim '''Katalogu domowym''' posiada automatycznie utworzony katalog o nazwie '''grant_<nr_grantu>''' dla każdego grantu w którym dany użytkownik bierze udział. W katalogu tym znajdują się dwa istotne podkatalogi: <br />
*'''project_data''' - jest to katalog '''współdzielony''' miedzy wszystkimi użytkownikami danego grantu. Dane znajdujące się we wszystkich podkatalogach tego katalogu zabezpieczone przed przypadkowym usunięciem mechanizmem automatycznych kopii zapasowych. Dla tego katalogu PCSS zapewnia gwarantowaną przestrzeń na dane w wielkości która przyznana była w ramach wniosku grantowego lub komercyjnej umowy. Limit ten może być wykorzystywany wyłącznie przez użytkowników W ramach tego katalogu użytkownicy mogą w dowolny sposób tworzyć i osuwać pliki/katalogi oraz manipulować prawami dostępu. <br />
*'''scratch''' - '''dedykowana''' dla danego grantu przestrzeń przeznaczona do prowadzenia obliczeń/przechowywania danych wejściowych. Zasady korzystania są identyczne do obecnie wykorzystywanej przestrzeni scratch. Domyślna wielkość tej przestrzeni to 10TB<br />
<br />
Dane dostępne w katalogu '''project_data''' dostępne będą przez cały okres trwania grantu plus pewien dodatkowy czas dzięki któremu możliwe będzie zarchiwizowanie danych lub przeniesienie ich do przestrzeni nowego grantu. Na chwilę obecną dane udostępniane są przez okres 6 miesięcy od zakończenia grantu plus dodatkowe 6 miesięcy w czasie których na żądanie jesteśmy w stanie odzyskać dane. Nowa struktura danych wygląda więc następująco<br />
<br />
<nowiki><br />
-> ~<nazwa_użytkownika> : katalog domowy<br />
--> grant_X<br />
---> project_data : współdzielona przestrzeń na dane dla grantu_X<br />
---> scratch : przestrzeń danych przeznaczona dla danych w czasie obliczeń dla grantu_x<br />
--> grant_y<br />
---> project_data : współdzielona przestrzeń na dane dla grantu_Y<br />
---> scratch : przestrzeń danych przeznaczona dla danych w czasie obliczeń dla grantu_y<br />
</nowiki><br />
W przyszłości pojawią się dodatkowe katalogi zapewniające np łatwiejszy dostęp do systemu archiwizacji lub też możliwość wymiany danych z usługą box.pionier.net.pl<br />
<br />
Uwaga: katalogi '''project_data''' oraz '''scratch''' są linkami symbolicznymi do faktycznego miejsca montowania systemu składowania. Prosimy jednak o używanie wyłącznie ścieżek względnych (np /home/users/<nazwa_użytkownika>/grant_id/project_data) a nie fizycznych ścieżek montowania gdyż mogą się one zmieniać. Nowa struktura danych umożliwia nam dynamiczne przenoszenie grantów pomiędzy różnymi systemami składowania niejako "w locie" więc nie ma gwarancji że przez cały okres życia grantu dane przechowywane będą na tym samym fizycznym systemie. <br />
<br />
Obecnie wykorzystywane systemy składowania zaczniemy wycofywać pod koniec roku 2021 - zniknie katalog /tmp/lustre oraz znacząco ograniczymy dostępne miejsce w '''katalogu domowym''' - głównym miejscem przechowywania danych powinny stać się katalogi '''project_data''' oraz '''scratch''' grantów. O wszelkich planowanych pracach poinformujemy z co najmniej dwumiesięcznym wyprzedzeniem aby możliwa była spokojna migracja danych.</div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Dane_na_klastrze_Eagle&diff=1777Dane na klastrze Eagle2021-07-14T09:35:02Z<p>Radekj: </p>
<hr />
<div>== Obecna struktura danych na klastrze ==<br />
<br />
<pre style="color: red"><br />
Uwaga: ta struktura stopniowo będzie wycofywana z końcem 2021r<br />
</pre><br />
<br />
'''Katalog domowy''' : Każdy użytkownik po zalogowaniu na serwer dostępowy ma do dyspozycji osobistą przestrzeń do składowania plików która służy do przechowywania końcowych rezultatów obliczeń oraz innych cennych informacji. Przestrzeń ta zazwyczaj znajduje się w katalogu /home/users/<nazwa użytkownika>. Katalog ten jest dostępny na serwerze dostępowym oraz wszystkich serwerach obliczeniowych klastra pod tą samą ścieżką. PCSS wykonuje regularnie kopie zapasowe tych danych tak więc istnieje możliwość odtworzenia plików w przypadku awarii systemu składowania bądź omyłkowego skasowania danych przez właściciela danych.Katalogu tego, zgodnie z regulaminem, nie wolno udostępniać innym osobom.<br />
<br />
'''Katalog do prowadzenia obliczeń / scratch.''' Każdy użytkownik ma dostęp do osobistej przestrzeni szybkiego systemu składowania. System ten jest przeznaczony do przechowywania danych wykorzystywanych w czasie obliczeń oraz jest to miejsce gdzie powinny być zapisywane dane tymczasowe generowane w trakcie działania aplikacji. Przestrzeń ta dostępna jest pod ścieżką '''/tmp/lustre/<nazwa użytkownika>'''. System ten jest wielokrotnie większy niż przestrzeń Katalogów Domowych oraz oferuje kilkunastokrotnie większą wydajność niemniej ta przestrzeń nie jest chroniona przez automatyczne wykonywanie kopii zapasowych - omyłkowo bądź celowo skasowanych danych nie da się odzyskać.Zarówno Katalogi domowe jak i przestrzeń scratch oferują całą dostępną przestrzeń dla każdego użytkownika. Rozwiązanie to było niewątpliwie wygodne, niemniej błąd w zarządzaniu danymi pojedynczego użytkownika polegający na zajęciu całego dostępnego miejsca skutkował zablokowaniem możliwości prowadzenia obliczeń przez wszystkich użytkowników.Ze względu na cyklicznie występujące problemy z dostępnością miejsca i zapewnieniem odpowiedniej jakości świadczonej usługi zdecydowaliśmy się na stopniowe odejście od tego modelu na rzecz nowej struktury opisanej poniżej. Innym powodem dla którego zdecydowaliśmy się zmienić strukturę katalogów jest problematyczna migracja z pojedynczego centralnego systemu plików na inny. Obecnie wszystkie projekty na klastrze zajmują wiele petabajtów przestrzeni. Migracja tych danych na nowy system składowania tak, aby nie wpływało to znacząco na bieżące funkcjonowanie klastra, zajęło by wiele miesięcy. <br />
<br />
== Nowa struktura danych. ==<br />
<pre style="color: red"><br />
Uwaga: od lipca 2021 ta struktura dostępna jest równolegle ze starą struktura. <br />
Do sierpnia 2021 przestrzeń będzie traktowana jako przedprodukcyjna - trwa faza optymalizacji wydajności.<br />
</pre><br />
<br />
'''Katalog domowy''' Ograniczona przestrzeń na dane z niewielkim limitem pojemności. W praktyce jest to worek na '''katalogi projektowe'''<br />
<br />
'''Katalog projektowy''' Każdy użytkownik mający aktywny grant obliczeniowy (naukowy bądź komercyjny) na klastrze w swoim '''Katalogu domowym''' posiada automatycznie utworzony katalog o nazwie '''grant_<nr_grantu>''' dla każdego grantu w którym dany użytkownik bierze udział. W katalogu tym znajdują się dwa istotne podkatalogi: <br />
'''project_data''' - jest to katalog '''współdzielony''' miedzy wszystkimi użytkownikami danego grantu. Dane znajdujące się we wszystkich podkatalogach tego katalogu zabezpieczone przed przypadkowym usunięciem mechanizmem automatycznych kopii zapasowych. Dla tego katalogu PCSS zapewnia gwarantowaną przestrzeń na dane w wielkości która przyznana była w ramach wniosku grantowego lub komercyjnej umowy. Limit ten może być wykorzystywany wyłącznie przez użytkowników W ramach tego katalogu użytkownicy mogą w dowolny sposób tworzyć i osuwać pliki/katalogi oraz manipulować prawami dostępu. <br />
<br />
'''scratch''' - '''dedykowana''' dla danego grantu przestrzeń przeznaczona do prowadzenia obliczeń/przechowywania danych wejściowych. Zasady korzystania są identyczne do obecnie wykorzystywanej przestrzeni scratch. Domyślna wielkość tej przestrzeni to 10TB<br />
<br />
Dane dostępne w katalogu '''project_data''' dostępne będą przez cały okres trwania grantu plus pewien dodatkowy czas dzięki któremu możliwe będzie zarchiwizowanie danych lub przeniesienie ich do przestrzeni nowego grantu. Na chwilę obecną dane udostępniane są przez okres 6 miesięcy od zakończenia grantu plus dodatkowe 6 miesięcy w czasie których na żądanie jesteśmy w stanie odzyskać dane. Nowa struktura danych wygląda więc następująco<br />
<br />
<nowiki><br />
-> ~<nazwa_użytkownika> : katalog domowy<br />
--> grant_X<br />
---> project_data : współdzielona przestrzeń na dane dla grantu_X<br />
---> scratch : przestrzeń danych przeznaczona dla danych w czasie obliczeń dla grantu_x<br />
--> grant_y<br />
---> project_data : współdzielona przestrzeń na dane dla grantu_Y<br />
---> scratch : przestrzeń danych przeznaczona dla danych w czasie obliczeń dla grantu_y<br />
</nowiki><br />
W przyszłości pojawią się dodatkowe katalogi zapewniające np łatwiejszy dostęp do systemu archiwizacji lub też możliwość wymiany danych z usługą box.pionier.net.pl<br />
<br />
Uwaga: katalogi '''project_data''' oraz '''scratch''' są linkami symbolicznymi do faktycznego miejsca montowania systemu składowania. Prosimy jednak o używanie wyłącznie ścieżek względnych (np /home/users/<nazwa_użytkownika>/grant_id/project_data) a nie fizycznych ścieżek montowania gdyż mogą się one zmieniać. Nowa struktura danych umożliwia nam dynamiczne przenoszenie grantów pomiędzy różnymi systemami składowania niejako "w locie" więc nie ma gwarancji że przez cały okres życia grantu dane przechowywane będą na tym samym fizycznym systemie. <br />
<br />
Obecnie wykorzystywane systemy składowania zaczniemy wycofywać pod koniec roku 2021 - zniknie katalog /tmp/lustre oraz znacząco ograniczymy dostępne miejsce w '''katalogu domowym''' - głównym miejscem przechowywania danych powinny stać się katalogi '''project_data''' oraz '''scratch''' grantów. O wszelkich planowanych pracach poinformujemy z co najmniej dwumiesięcznym wyprzedzeniem aby możliwa była spokojna migracja danych.</div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Dane_na_klastrze_Eagle&diff=1776Dane na klastrze Eagle2021-07-09T09:15:24Z<p>Radekj: </p>
<hr />
<div>== Obecna struktura danych na klastrze ==<br />
<br />
<pre style="color: red"><br />
Uwaga: ta struktura stopniowo będzie wycofywana z końcem 2021r<br />
</pre><br />
<br />
'''Katalog domowy''' : Każdy użytkownik po zalogowaniu na serwer dostępowy ma do dyspozycji osobistą przestrzeń do składowania plików która służy do przechowywania końcowych rezultatów obliczeń oraz innych cennych informacji. Przestrzeń ta zazwyczaj znajduje się w katalogu /home/users/<nazwa użytkownika>. Katalog ten jest dostępny na serwerze dostępowym oraz wszystkich serwerach obliczeniowych klastra pod tą samą ścieżką. PCSS wykonuje regularnie kopie zapasowe tych danych tak więc istnieje możliwość odtworzenia plików w przypadku awarii systemu składowania bądź omyłkowego skasowania danych przez właściciela danych.Katalogu tego, zgodnie z regulaminem, nie wolno udostępniać innym osobom.<br />
<br />
'''Katalog do prowadzenia obliczeń / scratch.''' Każdy użytkownik ma dostęp do osobistej przestrzeni szybkiego systemu składowania. System ten jest przeznaczony do przechowywania danych wykorzystywanych w czasie obliczeń oraz jest to miejsce gdzie powinny być zapisywane dane tymczasowe generowane w trakcie działania aplikacji. Przestrzeń ta dostępna jest pod ścieżką '''/tmp/lustre/<nazwa użytkownika>'''. System ten jest wielokrotnie większy niż przestrzeń Katalogów Domowych oraz oferuje kilkunastokrotnie większą wydajność niemniej ta przestrzeń nie jest chroniona przez automatyczne wykonywanie kopii zapasowych - omyłkowo bądź celowo skasowanych danych nie da się odzyskać.Zarówno Katalogi domowe jak i przestrzeń scratch oferują całą dostępną przestrzeń dla każdego użytkownika. Rozwiązanie to było niewątpliwie wygodne, niemniej błąd w zarządzaniu danymi pojedynczego użytkownika polegający na zajęciu całego dostępnego miejsca skutkował zablokowaniem możliwości prowadzenia obliczeń przez wszystkich użytkowników.Ze względu na cyklicznie występujące problemy z dostępnością miejsca i zapewnieniem odpowiedniej jakości świadczonej usługi zdecydowaliśmy się na stopniowe odejście od tego modelu na rzecz nowej struktury opisanej poniżej. Innym powodem dla którego zdecydowaliśmy się zmienić strukturę katalogów jest problematyczna migracja z pojedynczego centralnego systemu plików na inny. Obecnie wszystkie projekty na klastrze zajmują wiele petabajtów przestrzeni. Migracja tych danych na nowy system składowania tak, aby nie wpływało to znacząco na bieżące funkcjonowanie klastra, zajęło by wiele miesięcy. <br />
<br />
== Nowa struktura danych. ==<br />
<pre style="color: red"><br />
Uwaga: od lipca 2021 ta struktura dostępna jest równolegle ze starą struktura. <br />
Do sierpnia 2021 przestrzeń będzie traktowana jako przedprodukcyjna - trwa faza optymalizacji wydajności.<br />
</pre><br />
<br />
<br />
Każdy użytkownik mający aktywny grant obliczeniowy (naukowy bądź komercyjny) na klastrze w swoim '''Katalogu domowym''' posiada automatycznie utworzony katalog o nazwie '''grant_<nr_grantu>''' dla każdego grantu w którym dany użytkownik bierze udział. W katalogu tym znajdują się dwa istotne podkatalogi: <br />
'''project_data''' - jest to katalog '''współdzielony''' miedzy wszystkimi użytkownikami danego grantu. Dane znajdujące się we wszystkich podkatalogach tego katalogu zabezpieczone przed przypadkowym usunięciem mechanizmem automatycznych kopii zapasowych. Dla tego katalogu PCSS zapewnia gwarantowaną przestrzeń na dane w wielkości która przyznana była w ramach wniosku grantowego lub komercyjnej umowy. Limit ten może być wykorzystywany wyłącznie przez użytkowników W ramach tego katalogu użytkownicy mogą w dowolny sposób tworzyć i osuwać pliki/katalogi oraz manipulować prawami dostępu. <br />
<br />
'''scratch''' - '''dedykowana''' dla danego grantu przestrzeń przeznaczona do prowadzenia obliczeń/przechowywania danych wejściowych. Zasady korzystania są identyczne do obecnie wykorzystywanej przestrzeni scratch. Domyślna wielkość tej przestrzeni to 10TB<br />
<br />
Dane dostępne w katalogu '''project_data''' dostępne będą przez cały okres trwania grantu plus pewien dodatkowy czas dzięki któremu możliwe będzie zarchiwizowanie danych lub przeniesienie ich do przestrzeni nowego grantu. Na chwilę obecną dane udostępniane są przez okres 6 miesięcy od zakończenia grantu plus dodatkowe 6 miesięcy w czasie których na żądanie jesteśmy w stanie odzyskać dane. Nowa struktura danych wygląda więc następująco<br />
<br />
<nowiki><br />
-> ~<nazwa_użytkownika> : katalog domowy<br />
--> grant_X<br />
---> project_data : współdzielona przestrzeń na dane dla grantu_X<br />
---> scratch : przestrzeń danych przeznaczona dla danych w czasie obliczeń dla grantu_x<br />
--> grant_y<br />
---> project_data : współdzielona przestrzeń na dane dla grantu_Y<br />
---> scratch : przestrzeń danych przeznaczona dla danych w czasie obliczeń dla grantu_y<br />
</nowiki><br />
W przyszłości pojawią się dodatkowe katalogi zapewniające np łatwiejszy dostęp do systemu archiwizacji lub też możliwość wymiany danych z usługą box.pionier.net.pl<br />
<br />
Uwaga: katalogi '''project_data''' oraz '''scratch''' są linkami symbolicznymi do faktycznego miejsca montowania systemu składowania. Prosimy jednak o używanie wyłącznie ścieżek względnych (np /home/users/<nazwa_użytkownika>/grant_id/project_data) a nie fizycznych ścieżek montowania gdyż mogą się one zmieniać. Nowa struktura danych umożliwia nam dynamiczne przenoszenie grantów pomiędzy różnymi systemami składowania niejako "w locie" więc nie ma gwarancji że przez cały okres życia grantu dane przechowywane będą na tym samym fizycznym systemie. <br />
<br />
Obecnie wykorzystywane systemy składowania zaczniemy wycofywać pod koniec roku 2021 - zniknie katalog /tmp/lustre oraz znacząco ograniczymy dostępne miejsce w '''katalogu domowym''' - głównym miejscem przechowywania danych powinny stać się katalogi '''project_data''' oraz '''scratch''' grantów. O wszelkich planowanych pracach poinformujemy z co najmniej dwumiesięcznym wyprzedzeniem aby możliwa była spokojna migracja danych.</div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Dane_na_klastrze_Eagle&diff=1775Dane na klastrze Eagle2021-07-09T09:06:03Z<p>Radekj: </p>
<hr />
<div>== Obecna struktura danych na klastrze ==<br />
<br />
<pre style="color: red"><br />
Uwaga: ta struktura stopniowo będzie wycofywana z końcem 2021r<br />
</pre><br />
<br />
'''Katalog domowy''' : Każdy użytkownik po zalogowaniu na serwer dostępowy ma do dyspozycji osobistą przestrzeń do składowania plików która służy do przechowywania końcowych rezultatów obliczeń oraz innych cennych informacji. Przestrzeń ta zazwyczaj znajduje się w katalogu /home/users/<nazwa użytkownika>. Katalog ten jest dostępny na serwerze dostępowym oraz wszystkich serwerach obliczeniowych klastra pod tą samą ścieżką. PCSS wykonuje regularnie kopie zapasowe tych danych tak więc istnieje możliwość odtworzenia plików w przypadku awarii systemu składowania bądź omyłkowego skasowania danych przez właściciela danych.Katalogu tego, zgodnie z regulaminem, nie wolno udostępniać innym osobom.<br />
<br />
'''Katalog do prowadzenia obliczeń / scratch.''' Każdy użytkownik ma dostęp do osobistej przestrzeni szybkiego systemu składowania. System ten jest przeznaczony do przechowywania danych wykorzystywanych w czasie obliczeń oraz jest to miejsce gdzie powinny być zapisywane dane tymczasowe generowane w trakcie działania aplikacji. Przestrzeń ta dostępna jest pod ścieżką '''/tmp/lustre/<nazwa użytkownika>'''. System ten jest wielokrotnie większy niż przestrzeń Katalogów Domowych oraz oferuje kilkunastokrotnie większą wydajność niemniej ta przestrzeń nie jest chroniona przez automatyczne wykonywanie kopii zapasowych - omyłkowo bądź celowo skasowanych danych nie da się odzyskać.Zarówno Katalogi domowe jak i przestrzeń scratch oferują całą dostępną przestrzeń dla każdego użytkownika. Rozwiązanie to było niewątpliwie wygodne, niemniej błąd w zarządzaniu danymi pojedynczego użytkownika polegający na zajęciu całego dostępnego miejsca skutkował zablokowaniem możliwości prowadzenia obliczeń przez wszystkich użytkowników.Ze względu na cyklicznie występujące problemy z dostępnością miejsca i zapewnieniem odpowiedniej jakości świadczonej usługi zdecydowaliśmy się na stopniowe odejście od tego modelu na rzecz nowej struktury opisanej poniżej. Innym powodem dla którego zdecydowaliśmy się zmienić strukturę katalogów jest problematyczna migracja z pojedynczego centralnego systemu plików na inny. Obecnie wszystkie projekty na klastrze zajmują wiele petabajtów przestrzeni. Migracja tych danych na nowy system składowania tak, aby nie wpływało to znacząco na bieżące funkcjonowanie klastra, zajęło by wiele miesięcy. <br />
<br />
== Nowa struktura danych. ==<br />
<pre style="color: red"><br />
Uwaga: od lipca 2021 ta struktura dostępna jest równolegle ze starą struktura. <br />
Od końca 2021 stara przestrzeń scratch będzie wycofywana<br />
</pre><br />
<br />
<br />
Każdy użytkownik mający aktywny grant obliczeniowy (naukowy bądź komercyjny) na klastrze w swoim '''Katalogu domowym''' posiada automatycznie utworzony katalog o nazwie '''grant_<nr_grantu>''' dla każdego grantu w którym dany użytkownik bierze udział. W katalogu tym znajdują się dwa istotne podkatalogi: <br />
'''project_data''' - jest to katalog '''współdzielony''' miedzy wszystkimi użytkownikami danego grantu. Dane znajdujące się we wszystkich podkatalogach tego katalogu zabezpieczone przed przypadkowym usunięciem mechanizmem automatycznych kopii zapasowych. Dla tego katalogu PCSS zapewnia gwarantowaną przestrzeń na dane w wielkości która przyznana była w ramach wniosku grantowego lub komercyjnej umowy. Limit ten może być wykorzystywany wyłącznie przez użytkowników W ramach tego katalogu użytkownicy mogą w dowolny sposób tworzyć i osuwać pliki/katalogi oraz manipulować prawami dostępu. <br />
<br />
'''scratch''' - '''dedykowana''' dla danego grantu przestrzeń przeznaczona do prowadzenia obliczeń/przechowywania danych wejściowych. Zasady korzystania są identyczne do obecnie wykorzystywanej przestrzeni scratch. Domyślna wielkość tej przestrzeni to 10TB<br />
<br />
Dane dostępne w katalogu '''project_data''' dostępne będą przez cały okres trwania grantu plus pewien dodatkowy czas dzięki któremu możliwe będzie zarchiwizowanie danych lub przeniesienie ich do przestrzeni nowego grantu. Na chwilę obecną dane udostępniane są przez okres 6 miesięcy od zakończenia grantu plus dodatkowe 6 miesięcy w czasie których na żądanie jesteśmy w stanie odzyskać dane. Nowa struktura danych wygląda więc następująco<br />
<br />
<nowiki><br />
-> ~<nazwa_użytkownika> : katalog domowy<br />
--> grant_X<br />
---> project_data : współdzielona przestrzeń na dane dla grantu_X<br />
---> scratch : przestrzeń danych przeznaczona dla danych w czasie obliczeń dla grantu_x<br />
--> grant_y<br />
---> project_data : współdzielona przestrzeń na dane dla grantu_Y<br />
---> scratch : przestrzeń danych przeznaczona dla danych w czasie obliczeń dla grantu_y<br />
</nowiki><br />
W przyszłości pojawią się dodatkowe katalogi zapewniające np łatwiejszy dostęp do systemu archiwizacji lub też możliwość wymiany danych z usługą box.pionier.net.pl<br />
<br />
Uwaga: katalogi '''project_data''' oraz '''scratch''' są linkami symbolicznymi do faktycznego miejsca montowania systemu składowania. Prosimy jednak o używanie wyłącznie ścieżek względnych (np /home/users/<nazwa_użytkownika>/grant_id/project_data) a nie fizycznych ścieżek montowania gdyż mogą się one zmieniać. Nowa struktura danych umożliwia nam dynamiczne przenoszenie grantów pomiędzy różnymi systemami składowania niejako "w locie" więc nie ma gwarancji że przez cały okres życia grantu dane przechowywane będą na tym samym fizycznym systemie. <br />
<br />
Obecnie wykorzystywane systemy składowania zaczniemy wycofywać pod koniec roku 2021 - zniknie katalog /tmp/lustre oraz znacząco ograniczymy dostępne miejsce w '''katalogu domowym''' - głównym miejscem przechowywania danych powinny stać się katalogi '''project_data''' oraz '''scratch''' grantów. O wszelkich planowanych pracach poinformujemy z co najmniej dwumiesięcznym wyprzedzeniem aby możliwa była spokojna migracja danych.</div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Dane_na_klastrze_Eagle&diff=1774Dane na klastrze Eagle2021-07-09T08:57:07Z<p>Radekj: </p>
<hr />
<div>== Obecna struktura danych na klastrze ==<br />
<br />
'''Katalog domowy''' : Każdy użytkownik po zalogowaniu na serwer dostępowy ma do dyspozycji osobistą przestrzeń do składowania plików która służy do przechowywania końcowych rezultatów obliczeń oraz innych cennych informacji. Przestrzeń ta zazwyczaj znajduje się w katalogu /home/users/<nazwa użytkownika>. Katalog ten jest dostępny na serwerze dostępowym oraz wszystkich serwerach obliczeniowych klastra pod tą samą ścieżką. PCSS wykonuje regularnie kopie zapasowe tych danych tak więc istnieje możliwość odtworzenia plików w przypadku awarii systemu składowania bądź omyłkowego skasowania danych przez właściciela danych.Katalogu tego, zgodnie z regulaminem, nie wolno udostępniać innym osobom.<br />
<br />
'''Katalog do prowadzenia obliczeń / scratch.''' Każdy użytkownik ma dostęp do osobistej przestrzeni szybkiego systemu składowania. System ten jest przeznaczony do przechowywania danych wykorzystywanych w czasie obliczeń oraz jest to miejsce gdzie powinny być zapisywane dane tymczasowe generowane w trakcie działania aplikacji. Przestrzeń ta dostępna jest pod ścieżką '''/tmp/lustre/<nazwa użytkownika>'''. System ten jest wielokrotnie większy niż przestrzeń Katalogów Domowych oraz oferuje kilkunastokrotnie większą wydajność niemniej ta przestrzeń nie jest chroniona przez automatyczne wykonywanie kopii zapasowych - omyłkowo bądź celowo skasowanych danych nie da się odzyskać.Zarówno Katalogi domowe jak i przestrzeń scratch oferują całą dostępną przestrzeń dla każdego użytkownika. Rozwiązanie to było niewątpliwie wygodne, niemniej błąd w zarządzaniu danymi pojedynczego użytkownika polegający na zajęciu całego dostępnego miejsca skutkował zablokowaniem możliwości prowadzenia obliczeń przez wszystkich użytkowników.Ze względu na cyklicznie występujące problemy z dostępnością miejsca i zapewnieniem odpowiedniej jakości świadczonej usługi zdecydowaliśmy się na stopniowe odejście od tego modelu na rzecz nowej struktury opisanej poniżej. Innym powodem dla którego zdecydowaliśmy się zmienić strukturę katalogów jest problematyczna migracja z pojedynczego centralnego systemu plików na inny. Obecnie wszystkie projekty na klastrze zajmują wiele petabajtów przestrzeni. Migracja tych danych na nowy system składowania tak, aby nie wpływało to znacząco na bieżące funkcjonowanie klastra, zajęło by wiele miesięcy. <br />
<br />
== Nowa struktura danych. ==<br />
<br />
Każdy użytkownik mający aktywny grant obliczeniowy (naukowy bądź komercyjny) na klastrze w swoim '''Katalogu domowym''' posiada automatycznie utworzony katalog o nazwie '''grant_<nr_grantu>''' dla każdego grantu w którym dany użytkownik bierze udział. W katalogu tym znajdują się dwa istotne podkatalogi: <br />
'''project_data''' - jest to katalog '''współdzielony''' miedzy wszystkimi użytkownikami danego grantu. Dane znajdujące się we wszystkich podkatalogach tego katalogu zabezpieczone przed przypadkowym usunięciem mechanizmem automatycznych kopii zapasowych. Dla tego katalogu PCSS zapewnia gwarantowaną przestrzeń na dane w wielkości która przyznana była w ramach wniosku grantowego lub komercyjnej umowy. Limit ten może być wykorzystywany wyłącznie przez użytkowników W ramach tego katalogu użytkownicy mogą w dowolny sposób tworzyć i osuwać pliki/katalogi oraz manipulować prawami dostępu. <br />
<br />
'''scratch''' - '''dedykowana''' dla danego grantu przestrzeń przeznaczona do prowadzenia obliczeń/przechowywania danych wejściowych. Zasady korzystania są identyczne do obecnie wykorzystywanej przestrzeni scratch. Domyślna wielkość tej przestrzeni to 10TB<br />
<br />
Dane dostępne w katalogu '''project_data''' dostępne będą przez cały okres trwania grantu plus pewien dodatkowy czas dzięki któremu możliwe będzie zarchiwizowanie danych lub przeniesienie ich do przestrzeni nowego grantu. Na chwilę obecną dane udostępniane są przez okres 6 miesięcy od zakończenia grantu plus dodatkowe 6 miesięcy w czasie których na żądanie jesteśmy w stanie odzyskać dane. Nowa struktura danych wygląda więc następująco<br />
<br />
<nowiki><br />
-> ~<nazwa_użytkownika> : katalog domowy<br />
--> grant_X<br />
---> project_data : współdzielona przestrzeń na dane dla grantu_X<br />
---> scratch : przestrzeń danych przeznaczona dla danych w czasie obliczeń dla grantu_x<br />
--> grant_y<br />
---> project_data : współdzielona przestrzeń na dane dla grantu_Y<br />
---> scratch : przestrzeń danych przeznaczona dla danych w czasie obliczeń dla grantu_y<br />
</nowiki><br />
W przyszłości pojawią się dodatkowe katalogi zapewniające np łatwiejszy dostęp do systemu archiwizacji lub też możliwość wymiany danych z usługą box.pionier.net.pl<br />
<br />
Uwaga: katalogi '''project_data''' oraz '''scratch''' są linkami symbolicznymi do faktycznego miejsca montowania systemu składowania. Prosimy jednak o używanie wyłącznie ścieżek względnych (np /home/users/<nazwa_użytkownika>/grant_id/project_data) a nie fizycznych ścieżek montowania gdyż mogą się one zmieniać. Nowa struktura danych umożliwia nam dynamiczne przenoszenie grantów pomiędzy różnymi systemami składowania niejako "w locie" więc nie ma gwarancji że przez cały okres życia grantu dane przechowywane będą na tym samym fizycznym systemie. <br />
<br />
Obecnie wykorzystywane systemy składowania zaczniemy wycofywać pod koniec roku 2021 - zniknie katalog /tmp/lustre oraz znacząco ograniczymy dostępne miejsce w '''katalogu domowym''' - głównym miejscem przechowywania danych powinny stać się katalogi '''project_data''' oraz '''scratch''' grantów. O wszelkich planowanych pracach poinformujemy z co najmniej dwumiesięcznym wyprzedzeniem aby możliwa była spokojna migracja danych.</div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Dane_na_klastrze_Eagle&diff=1773Dane na klastrze Eagle2021-07-09T08:54:15Z<p>Radekj: Utworzono nową stronę "== Obecna struktura danych na klastrze == '''Katalog domowy''' : Każdy użytkownik po zalogowaniu na serwer dostępowy ma do dyspozycji osobistą przestrzeń do skład..."</p>
<hr />
<div>== Obecna struktura danych na klastrze ==<br />
<br />
'''Katalog domowy''' : Każdy użytkownik po zalogowaniu na serwer dostępowy ma do dyspozycji osobistą przestrzeń do składowania plików która służy do przechowywania końcowych rezultatów obliczeń oraz innych cennych informacji. Przestrzeń ta zazwyczaj znajduje się w katalogu /home/users/<nazwa użytkownika>. Katalog ten jest dostępny na serwerze dostępowym oraz wszystkich serwerach obliczeniowych klastra pod tą samą ścieżką. PCSS wykonuje regularnie kopie zapasowe tych danych tak więc istnieje możliwość odtworzenia plików w przypadku awarii systemu składowania bądź omyłkowego skasowania danych przez właściciela danych.Katalogu tego, zgodnie z regulaminem, nie wolno udostępniać innym osobom.<br />
<br />
'''Katalog do prowadzenia obliczeń / scratch.''' Każdy użytkownik ma dostęp do osobistej przestrzeni szybkiego systemu składowania. System ten jest przeznaczony do przechowywania danych wykorzystywanych w czasie obliczeń oraz jest to miejsce gdzie powinny być zapisywane dane tymczasowe generowane w trakcie działania aplikacji. Przestrzeń ta dostępna jest pod ścieżką '''/tmp/lustre/<nazwa użytkownika>'''. System ten jest wielokrotnie większy niż przestrzeń Katalogów Domowych oraz oferuje kilkunastokrotnie większą wydajność niemniej ta przestrzeń nie jest chroniona przez automatyczne wykonywanie kopii zapasowych - omyłkowo bądź celowo skasowanych danych nie da się odzyskać.Zarówno Katalogi domowe jak i przestrzeń scratch oferują całą dostępną przestrzeń dla każdego użytkownika. Rozwiązanie to było niewątpliwie wygodne, niemniej błąd w zarządzaniu danymi pojedynczego użytkownika polegający na zajęciu całego dostępnego miejsca skutkował zablokowaniem możliwości prowadzenia obliczeń przez wszystkich użytkowników.Ze względu na cyklicznie występujące problemy z dostępnością miejsca i zapewnieniem odpowiedniej jakości świadczonej usługi zdecydowaliśmy się na stopniowe odejście od tego modelu na rzecz nowej struktury opisanej poniżej. Innym powodem dla którego zdecydowaliśmy się zmienić strukturę katalogów jest problematyczna migracja z pojedynczego centralnego systemu plików na inny. Obecnie wszystkie projekty na klastrze zajmują wiele petabajtów przestrzeni. Migracja tych danych na nowy system składowania tak, aby nie wpływało to znacząco na bieżące funkcjonowanie klastra, zajęło by wiele miesięcy. <br />
<br />
== Nowa struktura danych. ==<br />
<br />
Każdy użytkownik mający aktywny grant obliczeniowy (naukowy bądź komercyjny) na klastrze w swoim '''Katalogu domowym''' posiada automatycznie utworzony katalog o nazwie '''grant_<nr_grantu>''' dla każdego grantu w którym dany użytkownik bierze udział. W katalogu tym znajdują się dwa istotne podkatalogi: <br />
'''project_data''' - jest to katalog '''współdzielony''' miedzy wszystkimi użytkownikami danego grantu. Dane znajdujące się we wszystkich podkatalogach tego katalogu zabezpieczone przed przypadkowym usunięciem mechanizmem automatycznych kopii zapasowych. Dla tego katalogu PCSS zapewnia gwarantowaną przestrzeń na dane w wielkości która przyznana była w ramach wniosku grantowego lub komercyjnej umowy. Limit ten może być wykorzystywany wyłącznie przez użytkowników W ramach tego katalogu użytkownicy mogą w dowolny sposób tworzyć i osuwać pliki/katalogi oraz manipulować prawami dostępu. scratch - dedykowana dla danego grantu przestrzeń przeznaczona do prowadzenia obliczeń/przechowywania danych wejściowych. Zasady korzystania są identyczne do obecnie wykorzystywanej przestrzeni scratch. Domyślna wielkość tej przestrzeni to 10TB<br />
<br />
Dane dostępne w katalogu project_data dostępne będą przez cały okres trwania grantu plus pewien dodatkowy czas dzięki któremu możliwe będzie zarchiwizowanie danych lub przeniesienie ich do przestrzeni nowego grantu. Na chwilę obecną dane udostępniane są przez okres 6 miesięcy od zakończenia grantu plus dodatkowe 6 miesięcy w czasie których na żądanie jesteśmy w stanie odzyskać dane. Nowa struktura danych wygląda więc następująco<br />
<br />
<nowiki><br />
-> ~<nazwa_użytkownika> : katalog domowy<br />
--> grant_X<br />
---> project_data : współdzielona przestrzeń na dane dla grantu_X<br />
---> scratch : przestrzeń danych przeznaczona dla danych w czasie obliczeń dla grantu_x<br />
--> grant_y<br />
---> project_data : współdzielona przestrzeń na dane dla grantu_Y<br />
---> scratch : przestrzeń danych przeznaczona dla danych w czasie obliczeń dla grantu_y<br />
</nowiki><br />
W przyszłości pojawią się dodatkowe katalogi zapewniające np łatwiejszy dostęp do systemu archiwizacji lub też możliwość wymiany danych z usługą box.pionier.net.pl<br />
<br />
Uwaga: katalogi '''project_data''' oraz '''scratch''' są linkami symbolicznymi do faktycznego miejsca montowania systemu składowania. Prosimy jednak o używanie wyłącznie ścieżek względnych (np /home/users/<nazwa_użytkownika>/grant_id/project_data) a nie fizycznych ścieżek montowania gdyż mogą się one zmieniać. Nowa struktura danych umożliwia nam dynamiczne przenoszenie grantów pomiędzy różnymi systemami składowania niejako "w locie" więc nie ma gwarancji że przez cały okres życia grantu dane przechowywane będą na tym samym fizycznym systemie. <br />
<br />
Obecnie wykorzystywane systemy składowania zaczniemy wycofywać pod koniec roku 2021 - zniknie katalog /tmp/lustre oraz znacząco ograniczymy dostępne miejsce w '''katalogu domowym''' - głównym miejscem przechowywania danych powinny stać się katalogi '''project_data''' oraz '''scratch''' grantów. O wszelkich planowanych pracach poinformujemy z co najmniej dwumiesięcznym wyprzedzeniem aby możliwa była spokojna migracja danych.</div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Podr%C4%99cznik_u%C5%BCytkownika&diff=1772Podręcznik użytkownika2021-07-09T08:27:16Z<p>Radekj: </p>
<hr />
<div>{{DISPLAYTITLE:Podręcznik użytkownika}}<br />
<ul><br />
<li>[[Jak zostać użytkownikiem]]<br />
<li>[[Jak utworzyć użytkownika na klastrze]]<br />
<li>[[Podstawowe zagadnienia]]<br />
<!-- <br />
<li>[[Zlecanie zadań przez system kolejkowy PBS]] <br />
--><br />
<li>[[Zlecanie zadań przez system kolejkowy SLURM]]<br />
<li>[[Dane na klastrze Eagle]]<br />
<li>[[Uruchamianie dużych zadań na klastrach Eagle/Altair]]<br />
<li>[[Status zadania - mail]]<br />
<li>[[Kompilacja oprogramowania]]<br />
<li>[[Jak uruchomić Singularity]]<br />
<li>[[Konfiguracja narzędzi Putty i Winscp]]<br />
<li>[[Moduły]]<br />
<li>[[Partycje / kolejki]]<br />
<!--<li>[[Skrypty]]--><br />
<li>[[Instalacja Pythona z poziomu użytkownika]]<br />
<!--<li>[https://wiki.man.poznan.pl/storage-ptpd/index.php?title=System_Archiwizacji_-_HSM System Archiwizacji - HSM]--><br />
<li>[[System_Archiwizacji - HSM System Archiwizacji - HSM|System Archiwizacji - HSM]]<br />
<li>[[Oprogramowanie]]<br />
<li>[[Singularity]]<br />
<li>[[FAQ]]</div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Amber&diff=1660Amber2021-01-22T11:54:43Z<p>Radekj: </p>
<hr />
<div>Amber 14,16 oraz 18 dostępny jest dla wszystkich użytkowników maszyn obliczeniowych w PCSS.<br />
<br />
Amber dotyczy dwóch rzeczy: zestawu molekularnych mechanicznych pól siłowych dla symulacji biomolekuł (które są w domenie publicznej, i są stosowane w różnych programach symulacyjnych) oraz pakiet programów symulacji molekularnych, który zawiera kody źródłowe i dema.<br />
<br />
Aby uruchomić przykładowych test oprogramowania Amber trzeba :<br />
<br />
załadować moduł :<br />
<br />
<code><br />
module load amber<br />
</code><br />
<br />
Przykładowy skrypt uruchomieniowy SLURM:<br />
<pre><br />
#!/bin/bash<br />
#SBATCH --nodes=1<br />
#SBATCH --ntasks-per-node=4<br />
#SBATCH --mem=4gb<br />
#SBATCH --time=01:00:00<br />
<br />
<br />
# Ustawiamy sciezki lub ladujemy odpowiednie moduly<br />
module load amber/14<br />
<br />
# Ustawiamy zmienna $TMPDIR<br />
export TMPDIR="/tmp/lustre_shared/${USER}/${SLURM_JOBID}"<br />
<br />
# Ustawiamy zmienne aplikacji<br />
export SCR=${TMPDIR}<br />
<br />
# Ustawiamy zmienne pomocnicze<br />
INPUT_DIR="input"<br />
OUTPUT_DIR="output"<br />
OUTPUT_FILE="OUTPUT"<br />
<br />
# Tworzymy katalog tymczasowy<br />
mkdir -p ${TMPDIR}<br />
<br />
# Kopiujemy dane wejsciowe do katalogu wskazywanego zmienna $TMPDIR<br />
cp ${SLURM_SUBMIT_DIR}/${INPUT_DIR}/* ${TMPDIR}<br />
<br />
# Przechodzimy do katalogu $TMPDIR<br />
cd $TMPDIR<br />
<br />
# Wykonujemy obliczenia<br />
sander.MPI -O -i 01_Min.in -o 01_Min.out -p prmtop -c inpcrd -r 01_Min.rst -inf 01_Min.mdinfo<br />
<br />
sander.MPI -O -i 02_Heat.in -o 02_Heat.out -p prmtop -c 01_Min.rst -r 02_Heat.rst -x 02_Heat.mdcrd -inf 02_Heat.mdinfo<br />
<br />
sander.MPI -O -i 03_Prod.in -o 03_Prod.out -p prmtop -c 02_Heat.rst -r 03_Prod.rst -x 03_Prod.mdcrd -inf 03_Prod.info<br />
<br />
<br />
# Stopka<br />
cat << EOF<br />
-------------------------------------------------------------------------------<br />
<br />
End of calculations [$(date)].<br />
<br />
-------------------------------------------------------------------------------<br />
EOF<br />
<br />
# Konczymy obliczenia, zawartosc katalogu $TMPDIR/output kopiujemy <br />
# do katalogu z ktorego zakolejkowano zadanie.<br />
mkdir $SLURM_SUBMIT_DIR/${OUTPUT_DIR}<br />
cp -r $TMPDIR/* $SLURM_SUBMIT_DIR/${OUTPUT_DIR}/<br />
<br />
# Czyscimy katalog roboczy<br />
rm -rf $TMPDIR<br />
<br />
</pre><br />
Skrypt dzieli się na 3 części:<br />
<pre><br />
1. Run minimization<br />
2. Run heating MD<br />
3. Run production MD<br />
</pre><br />
<br><br />
Poniżej znajduje się paczka z plikami które powinny znaleźć się w katalogu input. <br />
<br />
[[Plik:Input_Amber.zip]]</div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Status_zadania_-_mail&diff=1599Status zadania - mail2020-05-27T09:05:38Z<p>Radekj: </p>
<hr />
<div>Co zrobić żeby dostać informację o statusie zadania na adres email? (dotyczy klastra Eagle)<br />
<br><br />
Aby otrzymać emaila należy dopisać do skryptu:<br><br />
<pre><br />
#SBATCH --mail-type=<type><br />
</pre><br />
gdzie <type> może przyjąć wartość/wartości: BEGIN, END, FAIL, REQUEUE, ALL, TIME_LIMIT, ARRAY_TASKS<br />
<br><br><br />
BEGIN - rozpoczęcie zadania<br><br />
END - zakończenie zadania<br><br />
FAIL - zadanie zakończyło się niepowodzeniem<br><br />
REQUEUE - zadanie przestało się liczyć i ponownie trafiło do kolejki<br><br />
ALL - wszystkie powyższe statusy<br><br />
TIME_LIMIT - zadanie liczy się 50,80,90 procent zadeklarowanego czasu<br><br />
ARRAY_TASKS - wyślij email o każdym zadaniu typu array<br><br />
<br><br />
Powyższe wartości mogą być używane łącznie np.:<br />
<pre><br />
#SBATCH --mail-type=BEGIN,FAIL<br />
</pre><br />
<br />
<br />
Informacje o statusie zadań są wysyłane na adres email połączony z kontem i nie ma możliwości zmiany tego.</div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Partycje_/_kolejki&diff=1568Partycje / kolejki2020-02-07T11:01:47Z<p>Radekj: </p>
<hr />
<div>W systemie kolejkowym Slurm partycje (będące funkcjonalnym odpowiednikiem kolejek w innych systemach) służą głównie do zarządzania priorytetami dostępu do zasobów oraz pozawala nam rozliczać projekty w łatwy sposób - fizycznie węzły mogą być współdzielone pomiędzy różnymi partycjami.<br />
Na chwilę obecną na systemie Eagle mamy następujące najważniejsze partycje: '''fast''', '''standard''', '''bigmem''' oraz '''tesla'''.<br />
<br />
== Partycja '''standard''' ==<br />
<br />
- zawiera wszystkie węzły klastra Eagle<br />
<br />
- maksymalny czas wykonania zadania to 7 dni / 168 godzin<br />
<br />
- Jest to partycja która powinna być wykorzystywana praktycznie zawsze, z wyjątkiem zadań testowych oraz zadań które wymagają więcej niż 128 GB pamięci per węzeł.<br />
<br />
== Partycja '''fast''': ==<br />
<br />
- zawiera praktycznie wszystkie węzły fizyczne klastra eagle<br />
<br />
- maksymalny czas wykonania zadania to 1 godzina<br />
<br />
- ma podwyższony priorytet względem kolejki standard<br />
<br />
- Partycja ta przeznaczona jest do testowania oprogramowania, stąd duży priorytet i relatywnie krótki limit czasu<br />
<br />
== Partycja '''bigmem''' ==<br />
<br />
- zawiera niewielki podzbiór węzłów - tylko te wyposażone w 256GB pamięci. Węzłów takich jest 5% z ogólnej liczby węzłów na Eagle.<br />
<br />
- maksymalny czas wykonania zadania to, podobnie jak w przypadku partycji standard 7 dni/168 godzin<br />
<br />
- ma podwyższony priorytet względem partycji standard<br />
<br />
- Tej partycji należy używać jedynie w przypadku zadań wymagających powyżej 128 GB pamięci na węzeł - takie zadania będą preferowane w dostępie do węzłów z dużą ilością pamięci. Jeśli państwa zadania nie potrzebują takich węzłów, nie ma sensu zlecań zadań do tej partycji. Pomimo podwyższonego priorytetu, a ze względu na niewielką liczbę węzłów w partycji, najprawdopodobniej zostaną uruchomione później niż w partycji 'standard'.<br />
<br />
Oczywiście może się zdarzyć że zadania zlecone do partycji "standard" będą uruchomione na węzłach z 256 GB pamięci. Tak może się zdarzyć jeśli wykorzystane zostaną wszystkie inne fizyczne serwery (posiadające 64/128GB RAM). Natomiast po zwolnieniu tych węzłów pierwszeństwo dostępu do tych zasobów będą miały zadania zlecone do partycji "bigmem".<br />
<br />
<br />
== Partycja '''tesla''' ==<br />
<br />
Partycja ta zawiera węzły wyposażone w karty GPU. Na każdym węźle zainstalowane są 2 karty Nvidia V100 wyposażone w 32GB pamięci.<br />
Informacje o tym jak zlecać zadania na karty GPU można znaleźć [[ Zlecanie_zadań_przez_system_kolejkowy_SLURM#Zlecanie_zada.C5.84_na_w.C4.99z.C5.82y_z_kartami_GPU| na tej stronie ]]<br />
<br />
<br />
Na systemie Eagle istnieje również kilka innych partycji niemniej pomimo tego że jest możliwe zlecanie do nich zadań, prosimy o niewykorzystywanie tych partycji. Nie dają one dostępu do dodatkowych zasobów, wykorzystujemy do rozliczania projektów takich jak np. Pl-Grid, do testów sprzętu, oprogramowania lub na potrzeby szkoleń.</div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Partycje_/_kolejki&diff=1567Partycje / kolejki2020-02-07T11:01:16Z<p>Radekj: </p>
<hr />
<div>W systemie kolejkowym Slurm partycje (będące funkcjonalnym odpowiednikiem kolejek w innych systemach) służą głównie do zarządzania priorytetami dostępu do zasobów oraz pozawala nam rozliczać projekty w łatwy sposób - fizycznie węzły mogą być współdzielone pomiędzy różnymi partycjami.<br />
Na chwilę obecną na systemie Eagle mamy 3 najważniejsze partycje: '''fast''', '''standard''', '''bigmem''' oraz '''tesla'''.<br />
<br />
== Partycja '''standard''' ==<br />
<br />
- zawiera wszystkie węzły klastra Eagle<br />
<br />
- maksymalny czas wykonania zadania to 7 dni / 168 godzin<br />
<br />
- Jest to partycja która powinna być wykorzystywana praktycznie zawsze, z wyjątkiem zadań testowych oraz zadań które wymagają więcej niż 128 GB pamięci per węzeł.<br />
<br />
== Partycja '''fast''': ==<br />
<br />
- zawiera praktycznie wszystkie węzły fizyczne klastra eagle<br />
<br />
- maksymalny czas wykonania zadania to 1 godzina<br />
<br />
- ma podwyższony priorytet względem kolejki standard<br />
<br />
- Partycja ta przeznaczona jest do testowania oprogramowania, stąd duży priorytet i relatywnie krótki limit czasu<br />
<br />
== Partycja '''bigmem''' ==<br />
<br />
- zawiera niewielki podzbiór węzłów - tylko te wyposażone w 256GB pamięci. Węzłów takich jest 5% z ogólnej liczby węzłów na Eagle.<br />
<br />
- maksymalny czas wykonania zadania to, podobnie jak w przypadku partycji standard 7 dni/168 godzin<br />
<br />
- ma podwyższony priorytet względem partycji standard<br />
<br />
- Tej partycji należy używać jedynie w przypadku zadań wymagających powyżej 128 GB pamięci na węzeł - takie zadania będą preferowane w dostępie do węzłów z dużą ilością pamięci. Jeśli państwa zadania nie potrzebują takich węzłów, nie ma sensu zlecań zadań do tej partycji. Pomimo podwyższonego priorytetu, a ze względu na niewielką liczbę węzłów w partycji, najprawdopodobniej zostaną uruchomione później niż w partycji 'standard'.<br />
<br />
Oczywiście może się zdarzyć że zadania zlecone do partycji "standard" będą uruchomione na węzłach z 256 GB pamięci. Tak może się zdarzyć jeśli wykorzystane zostaną wszystkie inne fizyczne serwery (posiadające 64/128GB RAM). Natomiast po zwolnieniu tych węzłów pierwszeństwo dostępu do tych zasobów będą miały zadania zlecone do partycji "bigmem".<br />
<br />
<br />
== Partycja '''tesla''' ==<br />
<br />
Partycja ta zawiera węzły wyposażone w karty GPU. Na każdym węźle zainstalowane są 2 karty Nvidia V100 wyposażone w 32GB pamięci.<br />
Informacje o tym jak zlecać zadania na karty GPU można znaleźć [[ Zlecanie_zadań_przez_system_kolejkowy_SLURM#Zlecanie_zada.C5.84_na_w.C4.99z.C5.82y_z_kartami_GPU| na tej stronie ]]<br />
<br />
<br />
Na systemie Eagle istnieje również kilka innych partycji niemniej pomimo tego że jest możliwe zlecanie do nich zadań, prosimy o niewykorzystywanie tych partycji. Nie dają one dostępu do dodatkowych zasobów, wykorzystujemy do rozliczania projektów takich jak np. Pl-Grid, do testów sprzętu, oprogramowania lub na potrzeby szkoleń.</div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Partycje_/_kolejki&diff=1566Partycje / kolejki2020-02-07T11:00:23Z<p>Radekj: </p>
<hr />
<div>W systemie kolejkowym Slurm partycje (będące funkcjonalnym odpowiednikiem kolejek w innych systemach) służą głównie do zarządzania priorytetami dostępu do zasobów oraz pozawala nam rozliczać projekty w łatwy sposób - fizycznie węzły mogą być współdzielone pomiędzy różnymi partycjami.<br />
Na chwilę obecną na systemie Eagle mamy 3 najważniejsze partycje: '''fast''', '''standard''', '''bigmem''' oraz '''tesla'''.<br />
<br />
== Partycja '''standard''' ==<br />
<br />
- zawiera wszystkie węzły klastra Eagle<br />
<br />
- maksymalny czas wykonania zadania to 7 dni / 168 godzin<br />
<br />
- Jest to partycja która powinna być wykorzystywana praktycznie zawsze, z wyjątkiem zadań testowych oraz zadań które wymagają więcej niż 128 GB pamięci per węzeł.<br />
<br />
== Partycja '''fast''': ==<br />
<br />
- zawiera praktycznie wszystkie węzły fizyczne klastra eagle<br />
<br />
- maksymalny czas wykonania zadania to 1 godzina<br />
<br />
- ma podwyższony priorytet względem kolejki standard<br />
<br />
- Partycja ta przeznaczona jest do testowania oprogramowania, stąd duży priorytet i relatywnie krótki limit czasu<br />
<br />
== Partycja '''bigmem''' ==<br />
<br />
- zawiera niewielki podzbiór węzłów - tylko te wyposażone w 256GB pamięci. Węzłów takich jest 5% z ogólnej liczby węzłów na Eagle.<br />
<br />
- maksymalny czas wykonania zadania to, podobnie jak w przypadku partycji standard 7 dni/168 godzin<br />
<br />
- ma podwyższony priorytet względem partycji standard<br />
<br />
- Tej partycji należy używać jedynie w przypadku zadań wymagających powyżej 128 GB pamięci na węzeł - takie zadania będą preferowane w dostępie do węzłów z dużą ilością pamięci. Jeśli państwa zadania nie potrzebują takich węzłów, nie ma sensu zlecań zadań do tej partycji. Pomimo podwyższonego priorytetu, a ze względu na niewielką liczbę węzłów w partycji, najprawdopodobniej zostaną uruchomione później niż w partycji 'standard'.<br />
<br />
Oczywiście może się zdarzyć że zadania zlecone do partycji "standard" będą uruchomione na węzłach z 256 GB pamięci. Tak może się zdarzyć jeśli wykorzystane zostaną wszystkie inne fizyczne serwery (posiadające 64/128GB RAM). Natomiast po zwolnieniu tych węzłów pierwszeństwo dostępu do tych zasobów będą miały zadania zlecone do partycji "bigmem".<br />
<br />
<br />
== Partycja '''tesla''' ==<br />
<br />
Partycja ta zawiera węzły wyposażone w karty GPU. Na każdym węźle zainstalowane są 2 karty Nvidia V100 wyposażone w 32GB pamięci.<br />
Informacje o tym jak zlecać zadania na karty GPU można znaleźć [[ Zlecanie_zadań_przez_system_kolejkowy_SLURM#Zlecanie_zada.C5.84_na_w.C4.99z.C5.82y_z_kartami_GPU ]]<br />
<br />
<br />
Na systemie Eagle istnieje również kilka innych partycji niemniej pomimo tego że jest możliwe zlecanie do nich zadań, prosimy o niewykorzystywanie tych partycji. Nie dają one dostępu do dodatkowych zasobów, wykorzystujemy do rozliczania projektów takich jak np. Pl-Grid, do testów sprzętu, oprogramowania lub na potrzeby szkoleń.</div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Partycje_/_kolejki&diff=1565Partycje / kolejki2020-02-07T10:51:37Z<p>Radekj: </p>
<hr />
<div>W systemie kolejkowym Slurm partycje (będące funkcjonalnym odpowiednikiem kolejek w innych systemach) służą głównie do zarządzania priorytetami dostępu do zasobów oraz pozawala nam rozliczać projekty w łatwy sposób - fizycznie węzły mogą być współdzielone pomiędzy różnymi partycjami.<br />
Na chwilę obecną na systemie Eagle mamy 3 najważniejsze partycje: '''fast''', '''standard''' oraz '''bigmem'''.<br />
<br />
Partycja '''standard'''<br />
<br />
- zawiera wszystkie węzły klastra Eagle<br />
<br />
- maksymalny czas wykonania zadania to 7 dni / 168 godzin<br />
<br />
- Jest to partycja która powinna być wykorzystywana praktycznie zawsze, z wyjątkiem zadań testowych oraz zadań które wymagają więcej niż 128 GB pamięci per węzeł.<br />
<br />
Partycja '''fast''':<br />
<br />
- zawiera praktycznie wszystkie węzły fizyczne klastra eagle<br />
<br />
- maksymalny czas wykonania zadania to 1 godzina<br />
<br />
- ma podwyższony priorytet względem kolejki standard<br />
<br />
- Partycja ta przeznaczona jest do testowania oprogramowania, stąd duży priorytet i relatywnie krótki limit czasu<br />
<br />
Partycja '''bigmem'''<br />
<br />
- zawiera niewielki podzbiór węzłów - tylko te wyposażone w 256GB pamięci. Węzłów takich jest 5% z ogólnej liczby węzłów na Eagle.<br />
<br />
- maksymalny czas wykonania zadania to, podobnie jak w przypadku partycji standard 7 dni/168 godzin<br />
<br />
- ma podwyższony priorytet względem partycji standard<br />
<br />
- Tej partycji należy używać jedynie w przypadku zadań wymagających powyżej 128 GB pamięci na węzeł - takie zadania będą preferowane w dostępie do węzłów z dużą ilością pamięci. Jeśli państwa zadania nie potrzebują takich węzłów, nie ma sensu zlecań zadań do tej partycji. Pomimo podwyższonego priorytetu, a ze względu na niewielką liczbę węzłów w partycji, najprawdopodobniej zostaną uruchomione później niż w partycji 'standard'.<br />
<br />
Oczywiście może się zdarzyć że zadania zlecone do partycji "standard" będą uruchomione na węzłach z 256 GB pamięci. Tak może się zdarzyć jeśli wykorzystane zostaną wszystkie inne fizyczne serwery (posiadające 64/128GB RAM). Natomiast po zwolnieniu tych węzłów pierwszeństwo dostępu do tych zasobów będą miały zadania zlecone do partycji "bigmem".<br />
<br />
<br />
Partycja '''tesla''':<br />
<br />
Partycja ta zawiera węzły wyposażone w karty GPU. Na każdym węźle zainstalowane są 2 karty Nvidia V100 wyposażone w 32GB pamięci.<br />
<br />
<br />
<br />
Na systemie Eagle istnieje również kilka innych partycji niemniej pomimo tego że jest możliwe zlecanie do nich zadań, prosimy o niewykorzystywanie tych partycji. Nie dają one dostępu do dodatkowych zasobów, wykorzystujemy do rozliczania projektów takich jak np. Pl-Grid, do testów sprzętu, oprogramowania lub na potrzeby szkoleń.</div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Zlecanie_zada%C5%84_przez_system_kolejkowy_SLURM&diff=1564Zlecanie zadań przez system kolejkowy SLURM2020-02-07T10:48:46Z<p>Radekj: </p>
<hr />
<div>== Zlecanie zadań ==<br />
<br><br />
Przed zleceniem zadania, należy je obudować w odpowiedni skrypt zrozumiały dla systemu kolejkowego, np.:<br />
<pre><br />
/home/users/user/submit_script.sl<br />
</pre><br />
Przykładowy skrypt SLURM:<br />
<pre><br />
#!/bin/bash -l<br />
#SBATCH -N 1<br />
#SBATCH --mem 5000<br />
#SBATCH --time=20:00:00<br />
<br />
/sciezka/do/pliku/binarnego/plik_binarny.in >/sciezka/do/pliku/wyjsciowego.out<br />
</pre> <br />
<br />
Aby zlecić zadanie do konkretnej kolejki używamy parametru #SBATCH -p np.<br />
<pre><br />
#!/bin/bash -l<br />
#SBATCH -N 1<br />
#SBATCH --mem 5000<br />
#SBATCH --time=20:00:00<br />
#SBATCH -p standard<br />
<br />
/sciezka/do/pliku/binarnego/plik_binarny.in >/siezka/do/pliku/wyjsciowego.out<br />
</pre><br />
Zadanie należy następnie zlecić komendą '''sbatch'''<br />
<pre><br />
sbatch /home/users/user/submit_script.sl<br />
</pre><br />
<br />
=== Zlecanie zadań interaktywnych ===<br />
<br><br />
Zadania interaktywne możemy podzielić na dwie grupy:<br />
<br />
:* zadanie interaktywne (praca w trybie tekstowym)<br />
:* zadanie interaktywne<br />
<br />
==== Zadanie interaktywne (praca w trybie tekstowym) ====<br />
<br><br />
Zlecanie zadań interaktywnych jest bardzo proste i w najprostszym przypadku sprowadza się do wydania poniższego polecenia.<br />
<br />
<pre><br />
srun --pty /bin/bash<br />
</pre><br />
<br />
==== Zadanie interaktywne z przekierowaniem X-ów (praca w trybie graficznym) ====<br />
<br><br />
Aby zlecić zadanie z przekierowaniem X-ów należy zalogować się na maszynę z uruchomioną usługą X<br />
<br />
<pre><br />
ssh -X eagle.man.poznan.pl<br />
</pre><br />
<br><br />
UWAGA: W systemie Windows należy mieć zainstalowany serwer X np. Xming oraz w programie Putty aktywować przekierowanie X11<br />
<br />
Gdy zalogujemy się na maszynę za pomocą X należy zlecić zadanie interaktywne<br />
<pre><br />
srun --x11 -n28 --pty /bin/bash <br />
</pre><br />
<br><br />
Następnie uruchamiamy przykładowy program (wyświetla stan kolejki na maszynie eagle)<br />
<br />
<pre><br />
sview & <br />
</pre><br />
<br />
== Zlecanie zadań na węzły z kartami GPU ==<br />
<br />
W celu zlecenia zadania na węzły z kartami GPU należy <br />
zlecić zadanie na partycję '''tesla''' oraz do skryptu zadaniowego dodać poniższe parametry:<br />
<br />
<pre><br />
#SBATCH --gres=gpu:<liczba kart GPU dla danego zadania><br />
</pre><br />
<br />
przykładowo dla zadania wymagającego 2 kart:<br />
<pre><br />
#SBATCH --gres=gpu:2<br />
#SBATCH --partition=tesla<br />
</pre><br />
<br />
Dla części aplikacji wsparcie dla GPU jest zaszyte w parametrach, część posiada specjalną wersję modułu, zazwyczaj zawierającą "CUDA" w nazwie np:<br />
<br />
<pre><br />
namd/2.10-ibverbs-smp-cuda <- wersja ze wsparciem GPU<br />
namd/2.10-multicore(default)<br />
namd/2.10-multicore-cuda <- wersja ze wsparciem GPU<br />
namd/2.10-multicore-mic<br />
namd/2.12-ibverbs<br />
namd/2.12-ibverbs-smp<br />
namd/2.12-ibverbs-smp-CUDA <- wersja ze wsparciem GPU<br />
</pre><br />
<br />
== Sprawdzanie stanu systemu kolejkowego ==<br />
<br><br />
Aby sprawdzić jakie zadania zostały zlecone przez użytkownika należy wykonać polecenie:<br />
Przykład:<br />
<pre><br />
squeue -u nazwa_uzytkownika<br />
</pre><br />
<br><br />
Wyświetlenie listy zadań w danej partycji<br />
<br />
<pre><br />
squeue -p standard<br />
</pre><br />
<br />
<br>Wyświetlenie informacji o konkretnym zadaniu<br />
<br />
<pre><br />
scontrol show job numer_zadania<br />
</pre><br />
<br />
== Usuwanie zadań ==<br />
<br />
Jeżeli z jakiegoś powodu istnieje potrzeba usunięcia zadania - należy skorzystać z polecenia '''scancel''', które przyjmuje jako parametr identyfikator zadania. Można kasować zadania zarówno oczekujące w kolejce jak i uruchomione.<br />
<br><br />
Przykład:<br />
<pre><br />
scancel numer_zadania<br />
</pre></div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Podr%C4%99cznik_u%C5%BCytkownika&diff=1563Podręcznik użytkownika2020-02-07T10:43:55Z<p>Radekj: </p>
<hr />
<div>{{DISPLAYTITLE:Podręcznik użytkownika}}<br />
<ul><br />
<li>[[Jak zostać użytkownikiem]]<br />
<li>[[Podstawowe zagadnienia]]<br />
<!-- <br />
<li>[[Zlecanie zadań przez system kolejkowy PBS]] <br />
--><br />
<li>[[Zlecanie zadań przez system kolejkowy SLURM]]<br />
<li>[[Status zadania - mail]]<br />
<li>[[Kompilacja oprogramowania]]<br />
<li>[[Jak uruchomić Singularity]]<br />
<li>[[Konfiguracja narzędzi Putty i Winscp]]<br />
<li>[[Moduły]]<br />
<li>[[Partycje / kolejki]]<br />
<li>[[Skrypty]]<br />
<li>[[Instalacja pakietów Pythona z poziomu użytkownika]]<br />
<li>[https://wiki.man.poznan.pl/storage-ptpd/index.php?title=System_Archiwizacji_-_HSM System Archiwizacji - HSM]<br />
<li>[[Oprogramowanie]]<br />
<li>[[Singularity]]<br />
<li>[[FAQ]]</div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Strona_g%C5%82%C3%B3wna&diff=1528Strona główna2018-12-01T21:19:53Z<p>Radekj: </p>
<hr />
<div>__NOTITLE__<br />
<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="font-weight: bold;" | '''Aktualności'''<br />
|-<br />
|-class="alt"<br />
|<br />
<br />
<Center><br />
= Prace serwisowe / Maintenance - 29.11.2018 =<br />
</Center><br />
<br />
<br />
Ze względu na konieczność wykonania prac serwisowych na macierzach dyskowych obsługujących system plików Lustre w przyszłym tygodniu w czwartek 29.11.2018 na systemie Orzeł zablokowane będzie uruchamianie nowych zadań (zlecanie do kolejki będzie nadal możliwe) oraz system Lustre będzie niedostępny na węzłach obliczeniowych. Prace planowane są na kilka godzin, system zostanie przywrócony do pełnej sprawności tak szybko jak to będzie możliwe<br />
W czwartek o 8 rano zablokujemy możliwość uruchamiania nowych zadań, zadania już uruchomione nie będą terminowane. Ze względu na niedostępność systemu Lustre część zadań działających w czasie przerwy w pracy może ulec awarii.<br />
Przepraszamy za utrudnienia w pracy.<br />
<br />
<br />
Due to necessary maintenance on the disk array used by Lustre, this filesystem will be not avalable and executing of the jobs on the Eagle cluster will be blocked. Maintenance period starts next Thursday (29.11.2018) at 8. Submission of the new jobs will not be blocked and running jobs will not be terminated, however some of the jobs that are active during the maintenance may malfunction.<br />
The maintenance will take few hours, the system will retururn to normal operation as soon as possible.<br />
We apologize for the inconvenience <br />
<br />
<br />
|}<br />
<br />
<br />
<br />
<Center><br />
== Zasoby obliczeniowe PCSS ==<br />
<br><br />
{| class="wikitable"<br />
|style="text-align: center;"|[[Plik:eagle.jpg|240px|link=Eagle]]<br />
<!--|style="text-align: center;"|[[Plik:Inula.jpg|240px|link=Inula]]<br />
|style="text-align: center;"|[[Plik:Chimera.jpg|240px|link=Chimera]]<br />
|style="text-align: center;"|[[Plik:cane.jpg|240px|link=Cane]]--><br />
|-<br />
|style="text-align: center;"|'''[[Eagle]]'''<br />
<!--|style="text-align: center;"|'''[[Inula]]'''<br />
|style="text-align: center;"|'''[[Chimera]]'''<br />
|style="text-align: center;"|'''[[Cane]]'''--><br />
|-<br />
! colspan="4" | 24h active nodes<br />
|-<br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/eagle_processors.png</span><br />
<!--|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/inula_processors.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/chimera_processors.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/cane_processors.png</span>--><br />
|-<br />
! colspan="4" | Current load<br />
|-<br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/eagle_load.png</span><br />
<!--|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/inula_load.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/chimera_load.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/cane_load.png</span>--><br />
|-<br />
! colspan="4" | Monthly load<br />
|-<br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/eagle_monthly_load.png</span><br />
<!--|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/inula_monthly_load.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/chimera_monthly_load.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/cane_monthly_load.png</span>--><br />
|}<br />
<!--<br />
{| class="wikitable"<br />
| '''Aktualności'''<br />
| '''Aktualne obciążenie serwerów'''<br />
|-<br />
| <br />
|{{#widget:Iframe<br />
|url=https://grafana.man.poznan.pl:3000/dashboard-solo/db/clusters-statistics?panelId=2&fullscreen&theme=dark<br />
|width=710<br />
|height=442<br />
|border=0<br />
}}<br />
|-<br />
|<br />
|{{#widget:Iframe<br />
|url=https://grafana.man.poznan.pl:3000/dashboard-solo/db/clusters-statistics?panelId=1&fullscreen&from=now-24h&to=now<br />
|width=710<br />
|height=442<br />
|border=0<br />
}}<br />
|}<br />
--></div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Strona_g%C5%82%C3%B3wna&diff=1527Strona główna2018-12-01T21:16:59Z<p>Radekj: </p>
<hr />
<div>__NOTITLE__<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="font-weight: bold;" | '''Aktualności'''<br />
|-<br />
|-class="alt"<br />
|<br />
<!--<br />
<br />
<Center><br />
= Prace serwisowe / Maintenance - 29.11.2018 =<br />
</Center><br />
<br />
<br />
Ze względu na konieczność wykonania prac serwisowych na macierzach dyskowych obsługujących system plików Lustre w przyszłym tygodniu w czwartek 29.11.2018 na systemie Orzeł zablokowane będzie uruchamianie nowych zadań (zlecanie do kolejki będzie nadal możliwe) oraz system Lustre będzie niedostępny na węzłach obliczeniowych. Prace planowane są na kilka godzin, system zostanie przywrócony do pełnej sprawności tak szybko jak to będzie możliwe<br />
W czwartek o 8 rano zablokujemy możliwość uruchamiania nowych zadań, zadania już uruchomione nie będą terminowane. Ze względu na niedostępność systemu Lustre część zadań działających w czasie przerwy w pracy może ulec awarii.<br />
Przepraszamy za utrudnienia w pracy.<br />
<br />
<br />
Due to necessary maintenance on the disk array used by Lustre, this filesystem will be not avalable and executing of the jobs on the Eagle cluster will be blocked. Maintenance period starts next Thursday (29.11.2018) at 8. Submission of the new jobs will not be blocked and running jobs will not be terminated, however some of the jobs that are active during the maintenance may malfunction.<br />
The maintenance will take few hours, the system will retururn to normal operation as soon as possible.<br />
We apologize for the inconvenience <br />
<br />
--!><br />
|}<br />
<br />
<br />
<Center><br />
== Zasoby obliczeniowe PCSS ==<br />
<br><br />
{| class="wikitable"<br />
|style="text-align: center;"|[[Plik:eagle.jpg|240px|link=Eagle]]<br />
<!--|style="text-align: center;"|[[Plik:Inula.jpg|240px|link=Inula]]<br />
|style="text-align: center;"|[[Plik:Chimera.jpg|240px|link=Chimera]]<br />
|style="text-align: center;"|[[Plik:cane.jpg|240px|link=Cane]]--><br />
|-<br />
|style="text-align: center;"|'''[[Eagle]]'''<br />
<!--|style="text-align: center;"|'''[[Inula]]'''<br />
|style="text-align: center;"|'''[[Chimera]]'''<br />
|style="text-align: center;"|'''[[Cane]]'''--><br />
|-<br />
! colspan="4" | 24h active nodes<br />
|-<br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/eagle_processors.png</span><br />
<!--|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/inula_processors.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/chimera_processors.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/cane_processors.png</span>--><br />
|-<br />
! colspan="4" | Current load<br />
|-<br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/eagle_load.png</span><br />
<!--|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/inula_load.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/chimera_load.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/cane_load.png</span>--><br />
|-<br />
! colspan="4" | Monthly load<br />
|-<br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/eagle_monthly_load.png</span><br />
<!--|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/inula_monthly_load.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/chimera_monthly_load.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/cane_monthly_load.png</span>--><br />
|}<br />
<!--<br />
{| class="wikitable"<br />
| '''Aktualności'''<br />
| '''Aktualne obciążenie serwerów'''<br />
|-<br />
| <br />
|{{#widget:Iframe<br />
|url=https://grafana.man.poznan.pl:3000/dashboard-solo/db/clusters-statistics?panelId=2&fullscreen&theme=dark<br />
|width=710<br />
|height=442<br />
|border=0<br />
}}<br />
|-<br />
|<br />
|{{#widget:Iframe<br />
|url=https://grafana.man.poznan.pl:3000/dashboard-solo/db/clusters-statistics?panelId=1&fullscreen&from=now-24h&to=now<br />
|width=710<br />
|height=442<br />
|border=0<br />
}}<br />
|}<br />
--></div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Strona_g%C5%82%C3%B3wna&diff=1526Strona główna2018-11-28T19:17:52Z<p>Radekj: </p>
<hr />
<div>__NOTITLE__<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="font-weight: bold;" | '''Aktualności'''<br />
|-<br />
|-class="alt"<br />
|<br />
<Center><br />
= Prace serwisowe / Maintenance - 29.11.2018 =<br />
</Center><br />
<br />
<br />
Ze względu na konieczność wykonania prac serwisowych na macierzach dyskowych obsługujących system plików Lustre w przyszłym tygodniu w czwartek 29.11.2018 na systemie Orzeł zablokowane będzie uruchamianie nowych zadań (zlecanie do kolejki będzie nadal możliwe) oraz system Lustre będzie niedostępny na węzłach obliczeniowych. Prace planowane są na kilka godzin, system zostanie przywrócony do pełnej sprawności tak szybko jak to będzie możliwe<br />
W czwartek o 8 rano zablokujemy możliwość uruchamiania nowych zadań, zadania już uruchomione nie będą terminowane. Ze względu na niedostępność systemu Lustre część zadań działających w czasie przerwy w pracy może ulec awarii.<br />
Przepraszamy za utrudnienia w pracy.<br />
<br />
<br />
Due to necessary maintenance on the disk array used by Lustre, this filesystem will be not avalable and executing of the jobs on the Eagle cluster will be blocked. Maintenance period starts next Thursday (29.11.2018) at 8. Submission of the new jobs will not be blocked and running jobs will not be terminated, however some of the jobs that are active during the maintenance may malfunction.<br />
The maintenance will take few hours, the system will retururn to normal operation as soon as possible.<br />
We apologize for the inconvenience <br />
|}<br />
<br />
<br />
<Center><br />
== Zasoby obliczeniowe PCSS ==<br />
<br><br />
{| class="wikitable"<br />
|style="text-align: center;"|[[Plik:eagle.jpg|240px|link=Eagle]]<br />
<!--|style="text-align: center;"|[[Plik:Inula.jpg|240px|link=Inula]]<br />
|style="text-align: center;"|[[Plik:Chimera.jpg|240px|link=Chimera]]<br />
|style="text-align: center;"|[[Plik:cane.jpg|240px|link=Cane]]--><br />
|-<br />
|style="text-align: center;"|'''[[Eagle]]'''<br />
<!--|style="text-align: center;"|'''[[Inula]]'''<br />
|style="text-align: center;"|'''[[Chimera]]'''<br />
|style="text-align: center;"|'''[[Cane]]'''--><br />
|-<br />
! colspan="4" | 24h active nodes<br />
|-<br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/eagle_processors.png</span><br />
<!--|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/inula_processors.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/chimera_processors.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/cane_processors.png</span>--><br />
|-<br />
! colspan="4" | Current load<br />
|-<br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/eagle_load.png</span><br />
<!--|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/inula_load.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/chimera_load.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/cane_load.png</span>--><br />
|-<br />
! colspan="4" | Monthly load<br />
|-<br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/eagle_monthly_load.png</span><br />
<!--|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/inula_monthly_load.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/chimera_monthly_load.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/cane_monthly_load.png</span>--><br />
|}<br />
<!--<br />
{| class="wikitable"<br />
| '''Aktualności'''<br />
| '''Aktualne obciążenie serwerów'''<br />
|-<br />
| <br />
|{{#widget:Iframe<br />
|url=https://grafana.man.poznan.pl:3000/dashboard-solo/db/clusters-statistics?panelId=2&fullscreen&theme=dark<br />
|width=710<br />
|height=442<br />
|border=0<br />
}}<br />
|-<br />
|<br />
|{{#widget:Iframe<br />
|url=https://grafana.man.poznan.pl:3000/dashboard-solo/db/clusters-statistics?panelId=1&fullscreen&from=now-24h&to=now<br />
|width=710<br />
|height=442<br />
|border=0<br />
}}<br />
|}<br />
--></div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Zlecanie_zada%C5%84_przez_system_kolejkowy_SLURM&diff=1483Zlecanie zadań przez system kolejkowy SLURM2018-07-05T14:03:25Z<p>Radekj: /* Zlecanie zadan na węzły z kartami GPU */</p>
<hr />
<div>== Zlecanie zadań ==<br />
<br><br />
Przed zleceniem zadania, należy je obudować w odpowiedni skrypt zrozumiały dla systemu kolejkowego, np.:<br />
<pre><br />
/home/users/user/submit_script.sl<br />
</pre><br />
Przykładowy skrypt SLURM:<br />
<pre><br />
#!/bin/bash -l<br />
#SBATCH -N 1<br />
#SBATCH --mem 5000<br />
#SBATCH --time=20:00:00<br />
<br />
/sciezka/do/pliku/binarnego/plik_binarny.in >/sciezka/do/pliku/wyjsciowego.out<br />
</pre> <br />
<br />
Aby zlecić zadanie do konkretnej kolejki używamy parametru #SBATCH -p np.<br />
<pre><br />
#!/bin/bash -l<br />
#SBATCH -N 1<br />
#SBATCH --mem 5000<br />
#SBATCH --time=20:00:00<br />
#SBATCH -p standard<br />
<br />
/sciezka/do/pliku/binarnego/plik_binarny.in >/siezka/do/pliku/wyjsciowego.out<br />
</pre><br />
Zadanie należy następnie zlecić komendą '''sbatch'''<br />
<pre><br />
sbatch /home/users/user/submit_script.sl<br />
</pre><br />
<br />
=== Zlecanie zadań interaktywnych ===<br />
<br><br />
Zadania interaktywne możemy podzielić na dwie grupy:<br />
<br />
:* zadanie interaktywne (praca w trybie tekstowym)<br />
:* zadanie interaktywne<br />
<br />
==== Zadanie interaktywne (praca w trybie tekstowym) ====<br />
<br><br />
Zlecanie zadań interaktywnych jest bardzo proste i w najprostszym przypadku sprowadza się do wydania poniższego polecenia.<br />
<br />
<pre><br />
srun --pty /bin/bash<br />
</pre><br />
<br />
==== Zadanie interaktywne z przekierowaniem X-ów (praca w trybie graficznym) ====<br />
<br><br />
Aby zlecić zadanie z przekierowaniem X-ów należy zalogować się na maszynę z uruchomioną usługą X<br />
<br />
<pre><br />
ssh -X eagle.man.poznan.pl<br />
</pre><br />
<br><br />
UWAGA: W systemie Windows należy mieć zainstalowany serwer X np. Xming oraz w programie Putty aktywować przekierowanie X11<br />
<br />
Gdy zalogujemy się na maszynę za pomocą X należy zlecić zadanie interaktywne<br />
<pre><br />
srun --x11 -n28 --pty /bin/bash <br />
</pre><br />
<br><br />
Następnie uruchamiamy przykładowy program (wyświetla stan kolejki na maszynie eagle)<br />
<br />
<pre><br />
sview & <br />
</pre><br />
<br />
== Zlecanie zadan na węzły z kartami GPU ==<br />
<br />
W celu zlecenia zadania na węzły z kartami GPU należy <br />
zlecić zadanie na partycję '''tesla''' oraz do skryptu zadaniowego dodać poniższe parametry:<br />
<br />
<pre><br />
#SBATCH --gres=gpu:<liczba kart GPU dla danego zadnia><br />
</pre><br />
<br />
przykładowo dla zadania wymagającego 2 kart:<br />
<pre><br />
#SBATCH --gres=gpu:2<br />
#SBATCH --partition=tesla<br />
</pre><br />
<br />
Dla części aplikacji wsparcie dla GPU jest zaszyte w parametrach, część posiada specjalną wersję modułu, zazwyczaj zawierającą "CUDA" w nazwie np:<br />
<br />
<pre><br />
namd/2.10-ibverbs-smp-cuda <- wersja ze wsparciem GPU<br />
namd/2.10-multicore(default)<br />
namd/2.10-multicore-cuda <- wersja ze wsparciem GPU<br />
namd/2.10-multicore-mic<br />
namd/2.12-ibverbs<br />
namd/2.12-ibverbs-smp<br />
namd/2.12-ibverbs-smp-CUDA <- wersja ze wsparciem GPU<br />
</pre><br />
<br />
== Sprawdzanie stanu systemu kolejkowego ==<br />
<br><br />
Aby sprawdzić jakie zadania zostały zlecone przez użytkownika należy wykonać polecenie:<br />
Przykład:<br />
<pre><br />
squeue -u nazwa_uzytkownika<br />
</pre><br />
<br><br />
Wyświetlenie listy zadań<br />
<br />
<pre><br />
squeue -p standard<br />
</pre><br />
<br />
<br>Wyświetlenie informacji o konkretnym zadaniu<br />
<br />
<pre><br />
scontrol show job <job_id><br />
</pre><br />
<br />
== Usuwanie zadań ==<br />
<br />
Jeżeli z jakiegoś powodu istnieje potrzeba usunięcia zadania - należy skorzystać z polecenia '''scancel''', które przyjmuje jako parametr identyfikator zadania. Można kasować zadania zarówno oczekujące w kolejce jak i uruchomione.<br />
<br><br />
Przykład:<br />
<pre><br />
scancel numer_zadania<br />
</pre></div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Zlecanie_zada%C5%84_przez_system_kolejkowy_SLURM&diff=1482Zlecanie zadań przez system kolejkowy SLURM2018-07-05T13:49:53Z<p>Radekj: /* Zlecanie zadan na węzły z kartami GPU */</p>
<hr />
<div>== Zlecanie zadań ==<br />
<br><br />
Przed zleceniem zadania, należy je obudować w odpowiedni skrypt zrozumiały dla systemu kolejkowego, np.:<br />
<pre><br />
/home/users/user/submit_script.sl<br />
</pre><br />
Przykładowy skrypt SLURM:<br />
<pre><br />
#!/bin/bash -l<br />
#SBATCH -N 1<br />
#SBATCH --mem 5000<br />
#SBATCH --time=20:00:00<br />
<br />
/sciezka/do/pliku/binarnego/plik_binarny.in >/sciezka/do/pliku/wyjsciowego.out<br />
</pre> <br />
<br />
Aby zlecić zadanie do konkretnej kolejki używamy parametru #SBATCH -p np.<br />
<pre><br />
#!/bin/bash -l<br />
#SBATCH -N 1<br />
#SBATCH --mem 5000<br />
#SBATCH --time=20:00:00<br />
#SBATCH -p standard<br />
<br />
/sciezka/do/pliku/binarnego/plik_binarny.in >/siezka/do/pliku/wyjsciowego.out<br />
</pre><br />
Zadanie należy następnie zlecić komendą '''sbatch'''<br />
<pre><br />
sbatch /home/users/user/submit_script.sl<br />
</pre><br />
<br />
=== Zlecanie zadań interaktywnych ===<br />
<br><br />
Zadania interaktywne możemy podzielić na dwie grupy:<br />
<br />
:* zadanie interaktywne (praca w trybie tekstowym)<br />
:* zadanie interaktywne<br />
<br />
==== Zadanie interaktywne (praca w trybie tekstowym) ====<br />
<br><br />
Zlecanie zadań interaktywnych jest bardzo proste i w najprostszym przypadku sprowadza się do wydania poniższego polecenia.<br />
<br />
<pre><br />
srun --pty /bin/bash<br />
</pre><br />
<br />
==== Zadanie interaktywne z przekierowaniem X-ów (praca w trybie graficznym) ====<br />
<br><br />
Aby zlecić zadanie z przekierowaniem X-ów należy zalogować się na maszynę z uruchomioną usługą X<br />
<br />
<pre><br />
ssh -X eagle.man.poznan.pl<br />
</pre><br />
<br><br />
UWAGA: W systemie Windows należy mieć zainstalowany serwer X np. Xming oraz w programie Putty aktywować przekierowanie X11<br />
<br />
Gdy zalogujemy się na maszynę za pomocą X należy zlecić zadanie interaktywne<br />
<pre><br />
srun --x11 -n28 --pty /bin/bash <br />
</pre><br />
<br><br />
Następnie uruchamiamy przykładowy program (wyświetla stan kolejki na maszynie eagle)<br />
<br />
<pre><br />
sview & <br />
</pre><br />
<br />
== Zlecanie zadan na węzły z kartami GPU ==<br />
<br />
W celu zlecenia zadania na węzły z kartami GPU należy <br />
zlecić zadanie na partycję '''tesla''' oraz do skryptu zadaniowego dodać poniższe parametry:<br />
<br />
<pre><br />
#SBATCH --gres=gpu:<liczba kart GPU dla danego zadnia><br />
</pre><br />
<br />
przykładowo dla zadania wymagającego 2 kart:<br />
<pre><br />
#SBATCH --gres=gpu:2<br />
#SBATCH --partition=tesla<br />
</pre><br />
<br />
== Sprawdzanie stanu systemu kolejkowego ==<br />
<br><br />
Aby sprawdzić jakie zadania zostały zlecone przez użytkownika należy wykonać polecenie:<br />
Przykład:<br />
<pre><br />
squeue -u nazwa_uzytkownika<br />
</pre><br />
<br><br />
Wyświetlenie listy zadań<br />
<br />
<pre><br />
squeue -p standard<br />
</pre><br />
<br />
<br>Wyświetlenie informacji o konkretnym zadaniu<br />
<br />
<pre><br />
scontrol show job <job_id><br />
</pre><br />
<br />
== Usuwanie zadań ==<br />
<br />
Jeżeli z jakiegoś powodu istnieje potrzeba usunięcia zadania - należy skorzystać z polecenia '''scancel''', które przyjmuje jako parametr identyfikator zadania. Można kasować zadania zarówno oczekujące w kolejce jak i uruchomione.<br />
<br><br />
Przykład:<br />
<pre><br />
scancel numer_zadania<br />
</pre></div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Zlecanie_zada%C5%84_przez_system_kolejkowy_SLURM&diff=1481Zlecanie zadań przez system kolejkowy SLURM2018-07-05T13:49:21Z<p>Radekj: /* Zlecanie zadan na węzły z kartami GPU */</p>
<hr />
<div>== Zlecanie zadań ==<br />
<br><br />
Przed zleceniem zadania, należy je obudować w odpowiedni skrypt zrozumiały dla systemu kolejkowego, np.:<br />
<pre><br />
/home/users/user/submit_script.sl<br />
</pre><br />
Przykładowy skrypt SLURM:<br />
<pre><br />
#!/bin/bash -l<br />
#SBATCH -N 1<br />
#SBATCH --mem 5000<br />
#SBATCH --time=20:00:00<br />
<br />
/sciezka/do/pliku/binarnego/plik_binarny.in >/sciezka/do/pliku/wyjsciowego.out<br />
</pre> <br />
<br />
Aby zlecić zadanie do konkretnej kolejki używamy parametru #SBATCH -p np.<br />
<pre><br />
#!/bin/bash -l<br />
#SBATCH -N 1<br />
#SBATCH --mem 5000<br />
#SBATCH --time=20:00:00<br />
#SBATCH -p standard<br />
<br />
/sciezka/do/pliku/binarnego/plik_binarny.in >/siezka/do/pliku/wyjsciowego.out<br />
</pre><br />
Zadanie należy następnie zlecić komendą '''sbatch'''<br />
<pre><br />
sbatch /home/users/user/submit_script.sl<br />
</pre><br />
<br />
=== Zlecanie zadań interaktywnych ===<br />
<br><br />
Zadania interaktywne możemy podzielić na dwie grupy:<br />
<br />
:* zadanie interaktywne (praca w trybie tekstowym)<br />
:* zadanie interaktywne<br />
<br />
==== Zadanie interaktywne (praca w trybie tekstowym) ====<br />
<br><br />
Zlecanie zadań interaktywnych jest bardzo proste i w najprostszym przypadku sprowadza się do wydania poniższego polecenia.<br />
<br />
<pre><br />
srun --pty /bin/bash<br />
</pre><br />
<br />
==== Zadanie interaktywne z przekierowaniem X-ów (praca w trybie graficznym) ====<br />
<br><br />
Aby zlecić zadanie z przekierowaniem X-ów należy zalogować się na maszynę z uruchomioną usługą X<br />
<br />
<pre><br />
ssh -X eagle.man.poznan.pl<br />
</pre><br />
<br><br />
UWAGA: W systemie Windows należy mieć zainstalowany serwer X np. Xming oraz w programie Putty aktywować przekierowanie X11<br />
<br />
Gdy zalogujemy się na maszynę za pomocą X należy zlecić zadanie interaktywne<br />
<pre><br />
srun --x11 -n28 --pty /bin/bash <br />
</pre><br />
<br><br />
Następnie uruchamiamy przykładowy program (wyświetla stan kolejki na maszynie eagle)<br />
<br />
<pre><br />
sview & <br />
</pre><br />
<br />
== Zlecanie zadan na węzły z kartami GPU ==<br />
<br />
W celu zlecenia zadania na węzły z kartami GPU należy <br />
zlecić zadanie na partycję '''tesla''' oraz do skryptu zadaniowego dodać poniższe parametry:<br />
<br />
<pre><br />
#SBATCH --gres=gpu:<liczba kart GPU dla danego zadnia><br />
</pre><br />
<br />
przykładowo <br />
<br />
<pre><br />
#SBATCH --gres=gpu:2<br />
#SBATCH --partition=tesla<br />
</pre><br />
<br />
== Sprawdzanie stanu systemu kolejkowego ==<br />
<br><br />
Aby sprawdzić jakie zadania zostały zlecone przez użytkownika należy wykonać polecenie:<br />
Przykład:<br />
<pre><br />
squeue -u nazwa_uzytkownika<br />
</pre><br />
<br><br />
Wyświetlenie listy zadań<br />
<br />
<pre><br />
squeue -p standard<br />
</pre><br />
<br />
<br>Wyświetlenie informacji o konkretnym zadaniu<br />
<br />
<pre><br />
scontrol show job <job_id><br />
</pre><br />
<br />
== Usuwanie zadań ==<br />
<br />
Jeżeli z jakiegoś powodu istnieje potrzeba usunięcia zadania - należy skorzystać z polecenia '''scancel''', które przyjmuje jako parametr identyfikator zadania. Można kasować zadania zarówno oczekujące w kolejce jak i uruchomione.<br />
<br><br />
Przykład:<br />
<pre><br />
scancel numer_zadania<br />
</pre></div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Eagle&diff=1469Eagle2018-05-22T12:42:45Z<p>Radekj: </p>
<hr />
<div><br />
{| class="wikitable"; id="customers"<br />
! style="font-weight: bold;" colspan=3 | '''Charakterystyka sprzętowa'''<br />
|-<br />
|typ <br />
|klaster PC<br />
|-class="alt"<br />
|Architektura <br />
|Intel Xeon E5-2697<br />
|-<br />
|Interfejsy sieciowe <br />
|Infiniband FDR<br />
|-class="alt"<br />
|Sieć połączeń wewnetrznych <br />
| <br />
|-<br />
|Liczba rdzeni CPU <br />
|'''32984'''<br />
|-class="alt"<br />
|Sumaryczna moc obliczeniowa<br />
|'''1372,13 TFLOPS'''<br />
|-<br />
|Wielkość pamięci systemowej<br />
|'''120,6 TB'''<br />
|-class="alt"<br />
|Pojemność pamięci dyskowej <br />
| <br />
|}<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa handlowa węzła<br />
! style="text-align: center; font-weight: bold;" | Model CPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
węzłów<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
procesorów i rdzeni<br />
! style="text-align: center; font-weight: bold;" | Ilość pamięci RAM<br />
w węźle<br />
! style="text-align: center; font-weight: bold;" | Moc obliczeniowa<br />
węzła<br />
! style="text-align: center; font-weight: bold;" | Tag klasy węzła<br />
|-<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 560<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 64 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | intel,haswell,huawei<br />
|-class="alt"<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 530<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 128 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | intel,haswell,huawei<br />
|-<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 81<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 256 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | intel,haswell,huawei<br />
|-class="alt"<br />
| style="font-weight: bold;" | HUAWEI CH121 V4<br />
| Intel Xeon E5-2682 v4<br />
| style="text-align: center;" | 55<br />
| style="text-align: center;" | 2x16<br />
| style="text-align: center;" | 128 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | intel,broadwell,huawei<br />
|}<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="font-weight: bold;" colspan=3 | '''Inne informacje'''<br />
|-<br />
| colspan=2 | '''System operacyjny'''<br />
|-class="alt"<br />
|typ <br />
|GNU Linux<br />
|-<br />
|nazwa domenowa komputera <br />
|eagle.man.poznan.pl<br />
|-class="alt"<br />
|system zarządzania zadaniami w trybie wsadowym <br />
|SLURM<br />
|}<br />
<br />
<br />
== Kolejki ==<br />
<br />
Uruchamianie obliczeń poprzez system SLURM odbywa się w ramach kolejek, które różnią się między sobą priorytetem, limitami czy prawami dostępu (a czasem również dostępnymi zasobami)<br><br />
Posiadamy następujące kolejki:<br />
<center><br><br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa <br />
Kolejki<br />
! style="text-align: center; font-weight: bold;" | Limit czasu<br />
zadania<br />
! style="text-align: center; font-weight: bold;" | Domyślny limit <br />
czasu zadania<br />
! style="text-align: center; font-weight: bold;" | Standardowa ilość <br />
pamięci RAM/rdzeń<br />
! style="text-align: center; font-weight: bold;" | Uwagi<br />
|-<br />
|-<br />
| style="text-align: center; font-weight: bold;" | standard<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Domyślna kolejka, można uruchamiać zarówno zadania równoległe jak i sekwencyjne <br />
|-class="alt"<br />
| style="text-align: center; font-weight: bold;" | fast<br />
| style="text-align: center;" | 1 godzina<br />
| style="text-align: center;" | 10 minut<br />
| style="text-align: center;" | -<br />
| wysoki priorytet; maksymalna ilość węzłów 1<br />
|-<br />
| style="text-align: center; font-weight: bold;" | bigmem<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Kolejka/partycja przeznaczona dla zadań wymagających więcej niż 128GB per węzeł. Wysoki priorytet ale tylko 81 węzłów należy do tej partycji <br />
|}<br />
</center></div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Status_zadania_-_mail&diff=1446Status zadania - mail2017-09-12T11:17:27Z<p>Radekj: </p>
<hr />
<div>Co zrobić żeby dostać informację o statusie zadania na adres email? (dotyczy klastra Eagle)<br />
<br><br />
Aby otrzymać emaila należy dopisać do skryptu:<br><br />
<pre><br />
#SBATCH --mail-type=<type><br />
</pre><br />
gdzie <type> może przyjąć wartość/wartości: BEGIN, END, FAIL, REQUEUE, ALL, TIME_LIMIT, ARRAY_TASKS<br />
<br><br><br />
BEGIN - rozpoczęcie zadania<br><br />
END - zakończenie zadania<br><br />
FAIL - zadanie zakończyło się niepowodzeniem<br><br />
REQUEUE - zadanie przestało się liczyć i ponownie trafiło do kolejki<br><br />
ALL - wszystkie powyższe statusy<br><br />
TIME_LIMIT - zadanie liczy się 50,80,90 procent zadeklarowanego czasu<br><br />
ARRAY_TASKS - wyślij email o każdym zadaniu typu array<br><br />
<br><br />
Powyższe wartości mogą być używane łącznie np.:<br />
<pre><br />
#SBATCH --mail-type=BEGIN, FAIL<br />
</pre><br />
<br />
<br />
Informacje o statusie zadań są wysyłane na adres email połączony z kontem i nie ma możliwości zmiany tego.</div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Eagle&diff=1445Eagle2017-09-12T11:14:30Z<p>Radekj: </p>
<hr />
<div><br />
{| class="wikitable"; id="customers"<br />
! style="font-weight: bold;" colspan=3 | '''Charakterystyka sprzętowa'''<br />
|-<br />
|typ <br />
|klaster PC<br />
|-class="alt"<br />
|Architektura <br />
|Intel Xeon E5-2697<br />
|-<br />
|Interfejsy sieciowe <br />
|Infiniband FDR<br />
|-class="alt"<br />
|Sieć połączeń wewnetrznych <br />
| <br />
|-<br />
|Liczba rdzeni CPU <br />
|'''32984'''<br />
|-class="alt"<br />
|Sumaryczna moc obliczeniowa<br />
|'''1372,13 TFLOPS'''<br />
|-<br />
|Wielkość pamięci systemowej<br />
|'''120,6 TB'''<br />
|-class="alt"<br />
|Pojemność pamięci dyskowej <br />
| <br />
|}<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa handlowa węzła<br />
! style="text-align: center; font-weight: bold;" | Model CPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
węzłów<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
procesorów i rdzeni<br />
! style="text-align: center; font-weight: bold;" | Ilość pamięci RAM<br />
w węźle<br />
! style="text-align: center; font-weight: bold;" | Moc obliczeniowa<br />
węzła<br />
! style="text-align: center; font-weight: bold;" | Tag klasy węzła<br />
|-<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 560<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 64 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | intel,haswell,huawei<br />
|-class="alt"<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 530<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 128 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | intel,haswell,huawei<br />
|-<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 81<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 256 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | intel,haswell,huawei<br />
|-class="alt"<br />
| style="font-weight: bold;" | HUAWEI CH121 V4<br />
| Intel Xeon E5-2682 v4<br />
| style="text-align: center;" | 55<br />
| style="text-align: center;" | 2x16<br />
| style="text-align: center;" | 128 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | intel,broadwell,huawei<br />
|}<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="font-weight: bold;" colspan=3 | '''Inne informacje'''<br />
|-<br />
| colspan=2 | '''System operacyjny'''<br />
|-class="alt"<br />
|typ <br />
|GNU Linux<br />
|-<br />
|nazwa domenowa komputera <br />
|eagle.man.poznan.pl<br />
|-class="alt"<br />
|system zarządzania zadaniami w trybie wsadowym <br />
|SLURM<br />
|}<br />
<br />
<br />
== Kolejki ==<br />
<br />
Uruchamianie obliczeń poprzez system SLURM odbywa się w ramach kolejek, które różnią się między sobą priorytetem, limitami czy prawami dostępu (a czasem również dostępnymi zasobami)<br><br />
Posiadamy następujące kolejki:<br />
<center><br><br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa <br />
Kolejki<br />
! style="text-align: center; font-weight: bold;" | Limit czasu<br />
zadania<br />
! style="text-align: center; font-weight: bold;" | Domyślny limit <br />
czasu zadania<br />
! style="text-align: center; font-weight: bold;" | Standardowa ilość <br />
pamięci RAM/rdzeń<br />
! style="text-align: center; font-weight: bold;" | Uwagi<br />
|-<br />
|-<br />
| style="text-align: center; font-weight: bold;" | standard<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Domyślna kolejka, można uruchamiać zarówno zadania równoległe jak i sekwencyjne <br />
|-class="alt"<br />
| style="text-align: center; font-weight: bold;" | fast<br />
| style="text-align: center;" | 1 godzina<br />
| style="text-align: center;" | 10 minut<br />
| style="text-align: center;" | -<br />
| wysoki priorytet; maksymalna ilość węzłów 1<br />
|-<br />
| style="text-align: center; font-weight: bold;" | bigmem<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Kolejka/partycja przeznaczona dla zadań wymagających więcej niż 128GB per węzeł. Wysoki priorytet ale tylko 59 węzłów należy do tej partycji <br />
|}<br />
</center></div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Zlecanie_zada%C5%84_przez_system_kolejkowy_SLURM&diff=1439Zlecanie zadań przez system kolejkowy SLURM2017-08-30T10:21:37Z<p>Radekj: /* Sprawdzanie stanu systemu kolejkowego */</p>
<hr />
<div>== Wstawianie zadań ==<br />
<br><br />
Przed zleceniem zadania, należy je obudować w odpowiedni skrypt zrozumiały dla systemu kolejkowego, np.:<br />
<pre><br />
/home/users/user/submit_script.sl<br />
</pre><br />
Przykładowy skrypt SLURM:<br />
<pre><br />
#!/bin/bash -l<br />
#SBATCH -N 1<br />
#SBATCH --mem 5000<br />
#SBATCH --time=20:00:00<br />
<br />
/sciezka/do/pliku/binarnego/plik_binarny.in >/sciezka/do/pliku/wyjsciowego.out<br />
</pre> <br />
<br />
Aby zlecić zadanie do konkretnej kolejki używamy parametru #SBATCH -p np.<br />
<pre><br />
#!/bin/bash -l<br />
#SBATCH -N 1<br />
#SBATCH --mem 5000<br />
#SBATCH --time=20:00:00<br />
#SBATCH -p standard<br />
<br />
/sciezka/do/pliku/binarnego/plik_binarny.in >/siezka/do/pliku/wyjsciowego.out<br />
</pre><br />
Zadanie należy następnie zlecić komendą '''sbatch'''<br />
<pre><br />
sbatch /home/users/user/submit_script.sl<br />
</pre><br />
<br />
=== Zlecanie zadań interaktywnych ===<br />
<br><br />
Zadania interaktywne możemy podzielić na dwie grupy:<br />
<br />
:* zadanie interaktywne (praca w trybie tekstowym)<br />
:* zadanie interaktywne<br />
<br />
==== Zadanie interaktywne (praca w trybie tekstowym) ====<br />
<br><br />
Zlecanie zadań interaktywnych jest bardzo proste i w najprostszym przypadku sprowadza się do wydania poniższego polecenia.<br />
<br />
<pre><br />
srun --pty /bin/bash<br />
</pre><br />
<br />
==== Zadanie interaktywne z przekierowaniem X-ów (praca w trybie graficznym) ====<br />
<br><br />
Aby zlecić zadanie z przekierowaniem X-ów należy zalogować się na maszynę z uruchomioną usługą X<br />
<br />
<pre><br />
ssh -X eagle.man.poznan.pl<br />
</pre><br />
<br><br />
UWAGA: W systemie Windows należy mieć zainstalowany serwer X np. Xming oraz w programie Putty aktywować przekierowanie X11<br />
<br />
Gdy zalogujemy się na maszynę za pomocą X należy zlecić zadanie interaktywne<br />
<pre><br />
srun --x11 -n28 --pty /bin/bash <br />
</pre><br />
<br><br />
Następnie uruchamiamy przykładowy program (wyświetla stan kolejki na maszynie eagle)<br />
<br />
<pre><br />
sview & <br />
</pre><br />
<br />
== Sprawdzanie stanu systemu kolejkowego ==<br />
<br><br />
Aby sprawdzić jakie zadania zostały zlecone przez użytkownika należy wykonać polecenie:<br />
Przykład:<br />
<pre><br />
squeue -u nazwa_uzytkownika<br />
</pre><br />
<br><br />
Wyświetlenie listy zadań<br />
<br />
<pre><br />
squeue -p standard<br />
</pre><br />
<br />
<br>Wyświetlenie informacji o konkretnym zadaniu<br />
<br />
<pre><br />
scontrol show job <job_id><br />
</pre><br />
<br />
== Usuwanie zadań ==<br />
<br />
Jeżeli z jakiegoś powodu istnieje potrzeba usunięcia zadania - należy skorzystać z polecenia '''scancel''', które przyjmuje jako parametr identyfikator zadania. Można kasować zadania zarówno oczekujące w kolejce jak i uruchomione.<br />
<br><br />
Przykład:<br />
<pre><br />
scancel numer_zadania<br />
</pre></div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Zlecanie_zada%C5%84_przez_system_kolejkowy_SLURM&diff=1438Zlecanie zadań przez system kolejkowy SLURM2017-08-30T10:20:55Z<p>Radekj: /* Wstawianie zadań */</p>
<hr />
<div>== Wstawianie zadań ==<br />
<br><br />
Przed zleceniem zadania, należy je obudować w odpowiedni skrypt zrozumiały dla systemu kolejkowego, np.:<br />
<pre><br />
/home/users/user/submit_script.sl<br />
</pre><br />
Przykładowy skrypt SLURM:<br />
<pre><br />
#!/bin/bash -l<br />
#SBATCH -N 1<br />
#SBATCH --mem 5000<br />
#SBATCH --time=20:00:00<br />
<br />
/sciezka/do/pliku/binarnego/plik_binarny.in >/sciezka/do/pliku/wyjsciowego.out<br />
</pre> <br />
<br />
Aby zlecić zadanie do konkretnej kolejki używamy parametru #SBATCH -p np.<br />
<pre><br />
#!/bin/bash -l<br />
#SBATCH -N 1<br />
#SBATCH --mem 5000<br />
#SBATCH --time=20:00:00<br />
#SBATCH -p standard<br />
<br />
/sciezka/do/pliku/binarnego/plik_binarny.in >/siezka/do/pliku/wyjsciowego.out<br />
</pre><br />
Zadanie należy następnie zlecić komendą '''sbatch'''<br />
<pre><br />
sbatch /home/users/user/submit_script.sl<br />
</pre><br />
<br />
=== Zlecanie zadań interaktywnych ===<br />
<br><br />
Zadania interaktywne możemy podzielić na dwie grupy:<br />
<br />
:* zadanie interaktywne (praca w trybie tekstowym)<br />
:* zadanie interaktywne<br />
<br />
==== Zadanie interaktywne (praca w trybie tekstowym) ====<br />
<br><br />
Zlecanie zadań interaktywnych jest bardzo proste i w najprostszym przypadku sprowadza się do wydania poniższego polecenia.<br />
<br />
<pre><br />
srun --pty /bin/bash<br />
</pre><br />
<br />
==== Zadanie interaktywne z przekierowaniem X-ów (praca w trybie graficznym) ====<br />
<br><br />
Aby zlecić zadanie z przekierowaniem X-ów należy zalogować się na maszynę z uruchomioną usługą X<br />
<br />
<pre><br />
ssh -X eagle.man.poznan.pl<br />
</pre><br />
<br><br />
UWAGA: W systemie Windows należy mieć zainstalowany serwer X np. Xming oraz w programie Putty aktywować przekierowanie X11<br />
<br />
Gdy zalogujemy się na maszynę za pomocą X należy zlecić zadanie interaktywne<br />
<pre><br />
srun --x11 -n28 --pty /bin/bash <br />
</pre><br />
<br><br />
Następnie uruchamiamy przykładowy program (wyświetla stan kolejki na maszynie eagle)<br />
<br />
<pre><br />
sview & <br />
</pre><br />
<br />
== Sprawdzanie stanu systemu kolejkowego ==<br />
<br><br />
Aby sprawdzić jakie zadania zostały zlecone przez użytkownika należy wykonać polecenie:<br />
Przykład:<br />
<pre><br />
squeue -u nazwa_uzytkownika<br />
</pre><br />
<br><br />
Wyświetlenie listy zadań<br />
<br />
<pre><br />
squeue --standard<br />
</pre><br />
<br />
<br>Wyświetlenie informacji o konkretnym zadaniu<br />
<br />
<pre><br />
scontrol show job <job_id><br />
</pre><br />
<br />
== Usuwanie zadań ==<br />
<br />
Jeżeli z jakiegoś powodu istnieje potrzeba usunięcia zadania - należy skorzystać z polecenia '''scancel''', które przyjmuje jako parametr identyfikator zadania. Można kasować zadania zarówno oczekujące w kolejce jak i uruchomione.<br />
<br><br />
Przykład:<br />
<pre><br />
scancel numer_zadania<br />
</pre></div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Zlecanie_zada%C5%84_przez_system_kolejkowy_SLURM&diff=1437Zlecanie zadań przez system kolejkowy SLURM2017-08-30T10:20:30Z<p>Radekj: /* Sprawdzanie stanu systemu kolejkowego */</p>
<hr />
<div>== Wstawianie zadań ==<br />
<br><br />
Przed zleceniem zadania, należy je obudować w odpowiedni skrypt zrozumiały dla systemu kolejkowego, np.:<br />
<pre><br />
/home/users/user/submit_script.sl<br />
</pre><br />
Przykładowy skrypt SLURM:<br />
<pre><br />
#!/bin/bash -l<br />
#SBATCH -N 1<br />
#SBATCH --mem 5000<br />
#SBATCH --time=20:00:00<br />
<br />
/sciezka/do/pliku/binarnego/plik_binarny.in >/sciezka/do/pliku/wyjsciowego.out<br />
</pre> <br />
<br />
Aby zlecić zadanie do konkretnej kolejki używamy parametru #SBATCH -p np.<br />
<pre><br />
#!/bin/bash -l<br />
#SBATCH -N 1<br />
#SBATCH --mem 5000<br />
#SBATCH --time=20:00:00<br />
#SBATCH -p long<br />
<br />
/sciezka/do/pliku/binarnego/plik_binarny.in >/siezka/do/pliku/wyjsciowego.out<br />
</pre><br />
Zadanie należy następnie zlecić komendą '''sbatch'''<br />
<pre><br />
sbatch /home/users/user/submit_script.sl<br />
</pre><br />
<br />
=== Zlecanie zadań interaktywnych ===<br />
<br><br />
Zadania interaktywne możemy podzielić na dwie grupy:<br />
<br />
:* zadanie interaktywne (praca w trybie tekstowym)<br />
:* zadanie interaktywne<br />
<br />
==== Zadanie interaktywne (praca w trybie tekstowym) ====<br />
<br><br />
Zlecanie zadań interaktywnych jest bardzo proste i w najprostszym przypadku sprowadza się do wydania poniższego polecenia.<br />
<br />
<pre><br />
srun --pty /bin/bash<br />
</pre><br />
<br />
==== Zadanie interaktywne z przekierowaniem X-ów (praca w trybie graficznym) ====<br />
<br><br />
Aby zlecić zadanie z przekierowaniem X-ów należy zalogować się na maszynę z uruchomioną usługą X<br />
<br />
<pre><br />
ssh -X eagle.man.poznan.pl<br />
</pre><br />
<br><br />
UWAGA: W systemie Windows należy mieć zainstalowany serwer X np. Xming oraz w programie Putty aktywować przekierowanie X11<br />
<br />
Gdy zalogujemy się na maszynę za pomocą X należy zlecić zadanie interaktywne<br />
<pre><br />
srun --x11 -n28 --pty /bin/bash <br />
</pre><br />
<br><br />
Następnie uruchamiamy przykładowy program (wyświetla stan kolejki na maszynie eagle)<br />
<br />
<pre><br />
sview & <br />
</pre><br />
<br />
== Sprawdzanie stanu systemu kolejkowego ==<br />
<br><br />
Aby sprawdzić jakie zadania zostały zlecone przez użytkownika należy wykonać polecenie:<br />
Przykład:<br />
<pre><br />
squeue -u nazwa_uzytkownika<br />
</pre><br />
<br><br />
Wyświetlenie listy zadań<br />
<br />
<pre><br />
squeue --standard<br />
</pre><br />
<br />
<br>Wyświetlenie informacji o konkretnym zadaniu<br />
<br />
<pre><br />
scontrol show job <job_id><br />
</pre><br />
<br />
== Usuwanie zadań ==<br />
<br />
Jeżeli z jakiegoś powodu istnieje potrzeba usunięcia zadania - należy skorzystać z polecenia '''scancel''', które przyjmuje jako parametr identyfikator zadania. Można kasować zadania zarówno oczekujące w kolejce jak i uruchomione.<br />
<br><br />
Przykład:<br />
<pre><br />
scancel numer_zadania<br />
</pre></div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Eagle&diff=1436Eagle2017-08-22T08:34:27Z<p>Radekj: </p>
<hr />
<div><br />
{| class="wikitable"; id="customers"<br />
! style="font-weight: bold;" colspan=3 | '''Charakterystyka sprzętowa'''<br />
|-<br />
|typ <br />
|klaster PC<br />
|-class="alt"<br />
|Architektura <br />
|Intel Xeon E5-2697<br />
|-<br />
|Interfejsy sieciowe <br />
|Infiniband FDR<br />
|-class="alt"<br />
|Sieć połączeń wewnetrznych <br />
| <br />
|-<br />
|Liczba rdzeni CPU <br />
|'''32984'''<br />
|-class="alt"<br />
|Sumaryczna moc obliczeniowa<br />
|'''1372,13 TFLOPS'''<br />
|-<br />
|Wielkość pamięci systemowej<br />
|'''120,6 TB'''<br />
|-class="alt"<br />
|Pojemność pamięci dyskowej <br />
| <br />
|}<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa handlowa węzła<br />
! style="text-align: center; font-weight: bold;" | Model CPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
węzłów<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
procesorów i rdzeni<br />
! style="text-align: center; font-weight: bold;" | Ilość pamięci RAM<br />
w węźle<br />
! style="text-align: center; font-weight: bold;" | Moc obliczeniowa<br />
węzła<br />
! style="text-align: center; font-weight: bold;" | Tag klasy węzła<br />
|-<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 589<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 64 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | intel,haswell,huawei<br />
|-class="alt"<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 530<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 128 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | intel,haswell,huawei<br />
|-<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 52<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 256 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | intel,haswell,huawei<br />
|-class="alt"<br />
| style="font-weight: bold;" | HUAWEI CH121 V4<br />
| Intel Xeon E5-2682 v4<br />
| style="text-align: center;" | 55<br />
| style="text-align: center;" | 2x16<br />
| style="text-align: center;" | 128 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | intel,broadwell,huawei<br />
|}<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="font-weight: bold;" colspan=3 | '''Inne informacje'''<br />
|-<br />
| colspan=2 | '''System operacyjny'''<br />
|-class="alt"<br />
|typ <br />
|GNU Linux<br />
|-<br />
|nazwa domenowa komputera <br />
|eagle.man.poznan.pl<br />
|-class="alt"<br />
|system zarządzania zadaniami w trybie wsadowym <br />
|SLURM<br />
|}<br />
<br />
<br />
== Kolejki ==<br />
<br />
Uruchamianie obliczeń poprzez system SLURM odbywa się w ramach kolejek, które różnią się między sobą priorytetem, limitami czy prawami dostępu (a czasem również dostępnymi zasobami)<br><br />
Posiadamy następujące kolejki:<br />
<center><br><br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa <br />
Kolejki<br />
! style="text-align: center; font-weight: bold;" | Limit czasu<br />
zadania<br />
! style="text-align: center; font-weight: bold;" | Domyślny limit <br />
czasu zadania<br />
! style="text-align: center; font-weight: bold;" | Standardowa ilość <br />
pamięci RAM/rdzeń<br />
! style="text-align: center; font-weight: bold;" | Uwagi<br />
|-<br />
|-<br />
| style="text-align: center; font-weight: bold;" | standard<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Domyślna kolejka, można uruchamiać zarówno zadania równoległe jak i sekwencyjne <br />
|-class="alt"<br />
| style="text-align: center; font-weight: bold;" | fast<br />
| style="text-align: center;" | 1 godzina<br />
| style="text-align: center;" | 10 minut<br />
| style="text-align: center;" | -<br />
| wysoki priorytet; maksymalna ilość węzłów 1<br />
|-<br />
| style="text-align: center; font-weight: bold;" | bigmem<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Kolejka/partycja przeznaczona dla zadań wymagających więcej niż 128GB per węzeł. Wysoki priorytet ale tylko 59 węzłów należy do tej partycji <br />
|}<br />
</center></div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Partycje_/_kolejki&diff=1431Partycje / kolejki2017-06-08T13:22:28Z<p>Radekj: Utworzono nową stronę "W systemie kolejkowym Slurm partycje (będące funkcjonalnym odpowiednikiem kolejek w innych systemach) służą głównie do zarządzania priorytetami dostępu do zasob..."</p>
<hr />
<div>W systemie kolejkowym Slurm partycje (będące funkcjonalnym odpowiednikiem kolejek w innych systemach) służą głównie do zarządzania priorytetami dostępu do zasobów oraz pozawala nam rozliczać projekty w łatwy sposób - fizycznie węzły mogą być współdzielone pomiędzy różnymi partycjami.<br />
Na chwilę obecną na systemie Eagle mamy 3 najważniejsze partycje: '''fast''', '''standard''' oraz '''bigmem'''.<br />
<br />
Partycja '''standard'''<br />
<br />
- zawiera wszystkie węzły klastra Eagle<br />
<br />
- maksymalny czas wykonania zadania to 7 dni / 168 godzin<br />
<br />
- Jest to partycja która powinna być wykorzystywana praktycznie zawsze, z wyjątkiem zadań testowych oraz zadań które wymagają więcej niż 128 GB pamięci per węzeł.<br />
<br />
Partycja '''fast''':<br />
<br />
- zawiera praktycznie wszystkie węzły fizyczne klastra eagle<br />
<br />
- maksymalny czas wykonania zadania to 1 godzina<br />
<br />
- ma podwyższony priorytet względem kolejki standard<br />
<br />
- Partycja ta przeznaczona jest do testowania oprogramowania, stąd duży priorytet i relatywnie krótki limit czasu<br />
<br />
Partycja '''bigmem'''<br />
<br />
- zawiera niewielki podzbiór węzłów - tylko te wyposażone w 256GB pamięci. Węzłów takich jest 5% z ogólnej liczby węzłów na Eagle.<br />
<br />
- maksymalny czas wykonania zadania to, podobnie jak w przypadku partycji standard 7 dni/168 godzin<br />
<br />
- ma podwyższony priorytet względem partycji standard<br />
<br />
- Tej partycji należy używać jedynie w przypadku zadań wymagających powyżej 128 GB pamięci na węzeł - takie zadania będą preferowane w dostępie do węzłów z dużą ilością pamięci. Jeśli państwa zadania nie potrzebują takich węzłów, nie ma sensu zlecań zadań do tej partycji. Pomimo podwyższonego priorytetu, a ze względu na niewielką liczbę węzłów w partycji, najprawdopodobniej zostaną uruchomione później niż w partycji 'standard'.<br />
<br />
Oczywiście może się zdarzyć że zadania zlecone do partycji "standard" będą uruchomione na węzłach z 256 GB pamięci. Tak może się zdarzyć jeśli wykorzystane zostaną wszystkie inne fizyczne serwery (posiadające 64/128GB RAM). Natomiast po zwolnieniu tych węzłów pierwszeństwo dostępu do tych zasobów będą miały zadania zlecone do partycji "bigmem".<br />
<br />
Na systemie Eagle istnieje również kilka innych partycji niemniej pomimo tego że jest możliwe zlecanie do nich zadań, prosimy o niewykorzystywanie tych partycji. Nie dają one dostępu do dodatkowych zasobów, wykorzystujemy do rozliczania projektów takich jak np. Pl-Grid, do testów sprzętu, oprogramowania lub na potrzeby szkoleń.</div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Podr%C4%99cznik_u%C5%BCytkownika&diff=1430Podręcznik użytkownika2017-06-08T12:52:44Z<p>Radekj: </p>
<hr />
<div>{{DISPLAYTITLE:Podręcznik użytkownika}}<br />
<ul><br />
<li>[[Jak zostać użytkownikiem]]<br />
<li>[[Podstawowe zagadnienia]]<br />
<li>[[Zlecanie zadań przez system kolejkowy PBS]]<br />
<li>[[Zlecanie zadań przez system kolejkowy SLURM]]<br />
<li>[[Kompilacja oprogramowania]]<br />
<li>[[Moduły]]<br />
<li>[[Partycje / kolejki]]<br />
<li>[[Skrypty]]<br />
<li>[https://wiki.man.poznan.pl/storage-ptpd/index.php?title=System_Archiwizacji_-_HSM System Archiwizacji - HSM]<br />
<li>[[Oprogramowanie]]<br />
<li>[[FAQ]]</div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Eagle&diff=1429Eagle2017-06-08T12:51:40Z<p>Radekj: </p>
<hr />
<div><br />
{| class="wikitable"; id="customers"<br />
! style="font-weight: bold;" colspan=3 | '''Charakterystyka sprzętowa'''<br />
|-<br />
|typ <br />
|klaster PC<br />
|-class="alt"<br />
|Architektura <br />
|Intel Xeon E5-2697<br />
|-<br />
|Interfejsy sieciowe <br />
|Infiniband FDR<br />
|-class="alt"<br />
|Sieć połączeń wewnetrznych <br />
| <br />
|-<br />
|Liczba rdzeni CPU <br />
|'''32984'''<br />
|-class="alt"<br />
|Sumaryczna moc obliczeniowa<br />
|'''1372,13 TFLOPS'''<br />
|-<br />
|Wielkość pamięci systemowej<br />
|'''120,6 TB'''<br />
|-class="alt"<br />
|Pojemność pamięci dyskowej <br />
| <br />
|}<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa handlowa węzła<br />
! style="text-align: center; font-weight: bold;" | Model CPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
węzłów<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
procesorów i rdzeni<br />
! style="text-align: center; font-weight: bold;" | Ilość pamięci RAM<br />
w węźle<br />
! style="text-align: center; font-weight: bold;" | Moc<br />
obliczeniowa<br />
! style="text-align: center; font-weight: bold;" | Nazwa węzła<br />
! style="text-align: center; font-weight: bold;" | Tag klasy węzła<br />
|-<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 589<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 64 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | e0001-e1178<br />
| style="text-align: center;" | huawei<br />
|-class="alt"<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 530<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 128 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | e0001-e1178<br />
| style="text-align: center;" | huawei<br />
|-<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 59<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 256 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | e0001-e1178<br />
| style="text-align: center;" | huawei<br />
|-class="alt"<br />
| style="font-weight: bold;" | HUAWEI CH121 V4<br />
| Intel Xeon E5-2682 v4<br />
| style="text-align: center;" | 55<br />
| style="text-align: center;" | 2x16<br />
| style="text-align: center;" | 128 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | e0001-e1178<br />
| style="text-align: center;" | huawei<br />
|}<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="font-weight: bold;" colspan=3 | '''Inne informacje'''<br />
|-<br />
| colspan=2 | '''System operacyjny'''<br />
|-class="alt"<br />
|typ <br />
|GNU Linux<br />
|-<br />
|nazwa domenowa komputera <br />
|eagle.man.poznan.pl<br />
|-class="alt"<br />
|system zarządzania zadaniami w trybie wsadowym <br />
|SLURM<br />
|}<br />
<br />
<br />
== Kolejki ==<br />
<br />
Uruchamianie obliczeń poprzez system SLURM odbywa się w ramach kolejek, które różnią się między sobą priorytetem, limitami czy prawami dostępu (a czasem również dostępnymi zasobami)<br><br />
Posiadamy następujące kolejki:<br />
<center><br><br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa <br />
Kolejki<br />
! style="text-align: center; font-weight: bold;" | Limit czasu<br />
zadania<br />
! style="text-align: center; font-weight: bold;" | Domyślny limit <br />
czasu zadania<br />
! style="text-align: center; font-weight: bold;" | Standardowa ilość <br />
pamięci RAM/rdzeń<br />
! style="text-align: center; font-weight: bold;" | Uwagi<br />
|-<br />
|-<br />
| style="text-align: center; font-weight: bold;" | standard<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Domyślna kolejka, można uruchamiać zarówno zadania równoległe jak i sekwencyjne <br />
|-class="alt"<br />
| style="text-align: center; font-weight: bold;" | fast<br />
| style="text-align: center;" | 1 godzina<br />
| style="text-align: center;" | 10 minut<br />
| style="text-align: center;" | -<br />
| wysoki priorytet; maksymalna ilość węzłów 1<br />
|-<br />
| style="text-align: center; font-weight: bold;" | bigmem<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Kolejka/partycja przeznaczona dla zadań wymagających więcej niż 128GB per węzeł. Wysoki priorytet ale tylko 59 węzłów należy do tej partycji <br />
|}<br />
</center></div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Gromacs&diff=1425Gromacs2017-04-18T09:01:31Z<p>Radekj: </p>
<hr />
<div>Opis programu:<br><br />
Pakiet oprogramowania chemicznego przeznaczony do symulacji dynamiki molekularnej. Program może być stosowany dla molekuł biochemicznych (np. proteiny, lipidy) oraz systemów nie-biologicznych (np. polimerów).<br />
<br />
Wersje:<br />
<pre><br />
Name: Gromacs<br />
Version: 4.6.3<br />
Platform: x86_64<br />
Category: Applications/Engineering<br />
URL http://www.gromacs.org<br />
</pre><br />
Poniżej znajduje się informacja jak załadować moduł do oprogramowania:<br><br />
[https://wiki.man.poznan.pl/kdm/index.php/Podstawowe_informacje#Za.C5.82adowanie_modu.C5.82u| Odnośnik do ładowania modułów]<br><br><br />
Przykładowy skrypt uruchomieniowy PBS:<br />
<pre><br />
#!/bin/bash<br />
#PBS -l nodes=1:ppn=24<br />
#PBS -l mem=12gb<br />
#PBS -l walltime=5:00:00<br />
#PBS -o $PBS_JOBID.stdout<br />
#PBS -e $PBS_JOBID.stderr<br />
#PBS -q standard<br />
<br />
# Ustawiamy sciezki lub ladujemy odpowiednie moduly<br />
module load gromacs/5.0.4<br />
<br />
# Ustawiamy zmienna $TMPDIR<br />
export TMPDIR="/tmp/lustre_shared/${USER}/${PBS_JOBID}"<br />
<br />
# Ustawiamy zmienne aplikacji<br />
export SCR=${TMPDIR}<br />
<br />
# Ustawiamy zmienne pomocnicze<br />
INPUT_DIR="input"<br />
OUTPUT_DIR="output"<br />
OUTPUT_FILE="OUTPUT"<br />
<br />
# Tworzymy katalog tymczasowy<br />
mkdir -p ${TMPDIR}<br />
<br />
# Kopiujemy dane wejsciowe do katalogu wskazywanego zmienna $TMPDIR<br />
cp ${PBS_O_WORKDIR}/${INPUT_DIR}/* ${TMPDIR}<br />
<br />
# Przechodzimy do katalogu $TMPDIR<br />
cd $TMPDIR<br />
<br />
# Naglowek<br />
<br />
cat << EOF<br />
-------------------------------------------------------------------------------<br />
<br />
Start of calculations [$(date)]<br />
EOF<br />
<br />
echo -n 'Job is running on node: ';awk '!x[$0]++' $PBS_NODEFILE | tr '\n' ' '<br />
echo -e '\n'<br />
<br />
cat << EOF<br />
-------------------------------------------------------------------------------<br />
Support: support-hpc@man.poznan.pl<br />
-------------------------------------------------------------------------------<br />
EOF<br />
<br />
# Wykonujemy obliczenia<br />
<br />
grompp_mpi -f em.mdp -c box.gro -p topol.top -o topol_em.tpr<br />
mdrun_mpi -v -s topol_em.tpr -c mixture150_em.gro<br />
grompp_mpi -f grompp_LIQ_ich.mdp -c mixture150_em.gro -p topol.top -o topol_md_000_00.tpr -maxwarn 3<br />
<br />
:docelowo wykonywany job<br />
mdrun_mpi -s topol_md_000_00.tpr -c mixture150_md_1.gro -o gro_b_1.trr -v<br />
<br />
<br />
<br />
mpirun mdrun_mpi -deffnm topol_md_000_00.tpr -s topol_md_000_00.tpr -g topol_md_000_00.log -v> topol_md_000_00.out 2>&1<br />
<br />
# Stopka<br />
cat << EOF<br />
-------------------------------------------------------------------------------<br />
<br />
End of calculations [$(date)].<br />
<br />
-------------------------------------------------------------------------------<br />
EOF<br />
<br />
# Konczymy obliczenia, zawartosc katalogu $TMPDIR/output kopiujemy <br />
# do katalogu z ktorego zakolejkowano zadanie.<br />
mkdir $PBS_O_WORKDIR/${OUTPUT_DIR}<br />
cp -r $TMPDIR/* $PBS_O_WORKDIR/${OUTPUT_DIR}/<br />
<br />
# Czyscimy katalog roboczy<br />
rm -rf $TMPDIR<br />
</pre><br />
<br />
Przykładowy skrypt uruchomieniowy SLURM:<br />
<pre><br />
#!/bin/bash<br />
#SBATCH --nodes=1<br />
#SBATCH --ntasks-per-node=28<br />
#SBATCH --mem=15gb<br />
#SBATCH -p standard<br />
#SBATCH --time=30:00:00<br />
<br />
# Ustawiamy sciezki lub ladujemy odpowiednie moduly<br />
module load gromacs/5.0.4<br />
<br />
# Ustawiamy zmienna $TMPDIR<br />
export TMPDIR="/tmp/lustre_shared/${USER}/${SLURM_JOBID}"<br />
<br />
# Ustawiamy zmienne aplikacji<br />
export SCR=${TMPDIR}<br />
<br />
# Ustawiamy zmienne pomocnicze<br />
INPUT_DIR="input"<br />
OUTPUT_DIR="output"<br />
OUTPUT_FILE="OUTPUT"<br />
<br />
# Tworzymy katalog tymczasowy<br />
mkdir -p ${TMPDIR}<br />
<br />
# Kopiujemy dane wejsciowe do katalogu wskazywanego zmienna $TMPDIR<br />
cp ${SLURM_SUBMIT_DIR}/${INPUT_DIR}/* ${TMPDIR}<br />
<br />
# Przechodzimy do katalogu $TMPDIR<br />
cd $TMPDIR<br />
<br />
# Naglowek<br />
<br />
cat << EOF<br />
-------------------------------------------------------------------------------<br />
<br />
Start of calculations [$(date)]<br />
EOF<br />
<br />
echo -n 'Job is running on node: ';awk '!x[$0]++' $PBS_NODEFILE | tr '\n' ' '<br />
echo -e '\n'<br />
<br />
cat << EOF<br />
-------------------------------------------------------------------------------<br />
Support: support-hpc@man.poznan.pl<br />
-------------------------------------------------------------------------------<br />
EOF<br />
<br />
# Wykonujemy obliczenia<br />
<br />
grompp_mpi -f em.mdp -c box.gro -p topol.top -o topol_em.tpr<br />
mdrun_mpi -v -s topol_em.tpr -c mixture150_em.gro<br />
grompp_mpi -f grompp_LIQ_ich.mdp -c mixture150_em.gro -p topol.top -o topol_md_000_00.tpr -maxwarn 3<br />
<br />
:docelowo wykonywany job<br />
mdrun_mpi -s topol_md_000_00.tpr -c mixture150_md_1.gro -o gro_b_1.trr -v<br />
<br />
<br />
<br />
mpirun mdrun_mpi -deffnm topol_md_000_00.tpr -s topol_md_000_00.tpr -g topol_md_000_00.log -v> topol_md_000_00.out 2>&1<br />
<br />
# Stopka<br />
cat << EOF<br />
-------------------------------------------------------------------------------<br />
<br />
End of calculations [$(date)].<br />
<br />
-------------------------------------------------------------------------------<br />
EOF<br />
<br />
# Konczymy obliczenia, zawartosc katalogu $TMPDIR/output kopiujemy <br />
# do katalogu z ktorego zakolejkowano zadanie.<br />
mkdir $SLURM_SUBMIT_DIR/${OUTPUT_DIR}<br />
cp -r $TMPDIR/* $SLURM_SUBMIT_DIR/${OUTPUT_DIR}/<br />
<br />
# Czyscimy katalog roboczy<br />
rm -rf $TMPDIR<br />
<br />
</pre><br />
<br />
Poniżej znajdują się pliki które powinny znaleźć się w katalogu input. <br><br />
[[Plik:Gromacs_input.zip]]</div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Eagle&diff=1362Eagle2017-01-31T12:35:55Z<p>Radekj: </p>
<hr />
<div><br />
{| class="wikitable"; id="customers"<br />
! style="font-weight: bold;" colspan=3 | '''Charakterystyka sprzętowa'''<br />
|-<br />
|typ <br />
|klaster PC<br />
|-class="alt"<br />
|Architektura <br />
|Intel Xeon E5-2697<br />
|-<br />
|Interfejsy sieciowe <br />
|Infiniband FDR<br />
|-class="alt"<br />
|Sieć połączeń wewnetrznych <br />
| <br />
|-<br />
|Liczba rdzeni CPU <br />
|'''32984'''<br />
|-class="alt"<br />
|Sumaryczna moc obliczeniowa<br />
|'''1372,13 TFLOPS'''<br />
|-<br />
|Wielkość pamięci systemowej<br />
|'''120,6 TB'''<br />
|-class="alt"<br />
|Pojemność pamięci dyskowej <br />
| <br />
|}<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa handlowa węzła<br />
! style="text-align: center; font-weight: bold;" | Model CPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
węzłów<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
procesorów i rdzeni<br />
! style="text-align: center; font-weight: bold;" | Ilość pamięci RAM<br />
w węźle<br />
! style="text-align: center; font-weight: bold;" | Moc<br />
obliczeniowa<br />
! style="text-align: center; font-weight: bold;" | Nazwa węzła<br />
! style="text-align: center; font-weight: bold;" | Tag klasy węzła<br />
|-<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 589<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 64 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | e0001-e1178<br />
| style="text-align: center;" | huawei<br />
|-class="alt"<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 530<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 128 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | e0001-e1178<br />
| style="text-align: center;" | huawei<br />
|-<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 59<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 256 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | e0001-e1178<br />
| style="text-align: center;" | huawei<br />
|-class="alt"<br />
| style="font-weight: bold;" | HUAWEI CH121 V4<br />
| Intel Xeon E5-2682 v4<br />
| style="text-align: center;" | 55<br />
| style="text-align: center;" | 2x16<br />
| style="text-align: center;" | 128 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | e0001-e1178<br />
| style="text-align: center;" | huawei<br />
|}<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="font-weight: bold;" colspan=3 | '''Inne informacje'''<br />
|-<br />
| colspan=2 | '''System operacyjny'''<br />
|-class="alt"<br />
|typ <br />
|GNU Linux<br />
|-<br />
|nazwa domenowa komputera <br />
|eagle.man.poznan.pl<br />
|-class="alt"<br />
|system zarządzania zadaniami w trybie wsadowym <br />
|SLURM<br />
|}<br />
<br />
<br />
== Kolejki ==<br />
<br />
Uruchamianie obliczeń poprzez system SLURM odbywa się w ramach kolejek, które różnią się między sobą priorytetem, limitami czy prawami dostępu (a czasem również dostępnymi zasobami)<br><br />
Posiadamy następujące kolejki:<br />
<center><br><br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa <br />
Kolejki<br />
! style="text-align: center; font-weight: bold;" | Limit czasu<br />
zadania<br />
! style="text-align: center; font-weight: bold;" | Domyślny limit <br />
czasu zadania<br />
! style="text-align: center; font-weight: bold;" | Standardowa ilość <br />
pamięci RAM/rdzeń<br />
! style="text-align: center; font-weight: bold;" | Uwagi<br />
|-<br />
|-<br />
| style="text-align: center; font-weight: bold;" | standard<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Domyślna kolejka, można uruchamiać zarówno zadania równoległe jak i sekwencyjne <br />
|-class="alt"<br />
| style="text-align: center; font-weight: bold;" | fast<br />
| style="text-align: center;" | 1 godzina<br />
| style="text-align: center;" | 10 minut<br />
| style="text-align: center;" | -<br />
| wysoki priorytet; maksymalna ilość węzłów 1<br />
|}<br />
</center></div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Eagle&diff=1356Eagle2017-01-23T10:48:52Z<p>Radekj: </p>
<hr />
<div><br />
{| class="wikitable"; id="customers"<br />
! style="font-weight: bold;" colspan=3 | '''Charakterystyka sprzętowa'''<br />
|-<br />
|typ <br />
|klaster PC<br />
|-class="alt"<br />
|Architektura <br />
|Intel Xeon E5-2697<br />
|-<br />
|Interfejsy sieciowe <br />
|Infiniband FDR<br />
|-class="alt"<br />
|Sieć połączeń wewnetrznych <br />
| <br />
|-<br />
|Liczba rdzeni CPU <br />
|'''32984'''<br />
|-class="alt"<br />
|Sumaryczna moc obliczeniowa<br />
|'''1372,13 TFLOPS'''<br />
|-<br />
|Wielkość pamięci systemowej<br />
|'''120,6 TB'''<br />
|-class="alt"<br />
|Pojemność pamięci dyskowej <br />
| <br />
|}<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa handlowa węzła<br />
! style="text-align: center; font-weight: bold;" | Model CPU<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
węzłów<br />
! style="text-align: center; font-weight: bold;" | Liczba<br />
procesorów i rdzeni<br />
! style="text-align: center; font-weight: bold;" | Ilość pamięci RAM<br />
w węźle<br />
! style="text-align: center; font-weight: bold;" | Moc<br />
obliczeniowa<br />
! style="text-align: center; font-weight: bold;" | Nazwa węzła<br />
! style="text-align: center; font-weight: bold;" | Tag klasy węzła<br />
|-<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 589<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 64 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | e0001-e1178<br />
| style="text-align: center;" | huawei<br />
|-class="alt"<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 530<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 128 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | e0001-e1178<br />
| style="text-align: center;" | huawei<br />
|-<br />
| style="font-weight: bold;" | HUAWEI CH121 V3<br />
| Intel Xeon E5-2697 v3<br />
| style="text-align: center;" | 59<br />
| style="text-align: center;" | 2x14<br />
| style="text-align: center;" | 256 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | e0001-e1178<br />
| style="text-align: center;" | huawei<br />
|-class="alt"<br />
| style="font-weight: bold;" | HUAWEI CH121 V4<br />
| Intel Xeon E5-2682 v4<br />
| style="text-align: center;" | 55<br />
| style="text-align: center;" | 2x16<br />
| style="text-align: center;" | 128 GB<br />
| 1,1 TFLOPS<br />
| style="text-align: center;" | e0001-e1178<br />
| style="text-align: center;" | huawei<br />
|}<br />
<br />
{| class="wikitable"; id="customers"<br />
! style="font-weight: bold;" colspan=3 | '''Inne informacje'''<br />
|-<br />
| colspan=2 | '''System operacyjny'''<br />
|-class="alt"<br />
|typ <br />
|GNU Linux<br />
|-<br />
|nazwa domenowa komputera <br />
|eagle.man.poznan.pl<br />
|-class="alt"<br />
|system zarządzania zadaniami w trybie wsadowym <br />
|SLURM<br />
|}<br />
<br />
<br />
== Kolejki ==<br />
<br />
Uruchamianie obliczeń poprzez system SLURM odbywa się w ramach kolejek, które różnią się między sobą priorytetem, limitami czy prawami dostępu (a czasem również dostępnymi zasobami)<br><br />
Posiadamy następujące kolejki:<br />
<center><br><br />
{| class="wikitable"; id="customers"<br />
! style="text-align: center; font-weight: bold;" | Nazwa <br />
Kolejki<br />
! style="text-align: center; font-weight: bold;" | Limit czasu<br />
zadania<br />
! style="text-align: center; font-weight: bold;" | Domyślny limit <br />
czasu zadania<br />
! style="text-align: center; font-weight: bold;" | Standardowa ilość <br />
pamięci RAM<br />
! style="text-align: center; font-weight: bold;" | Uwagi<br />
|-<br />
|-<br />
| style="text-align: center; font-weight: bold;" | standard<br />
| style="text-align: center;" | 7 dni<br />
| style="text-align: center;" | 1 dzień<br />
| style="text-align: center;" | 2 GB<br />
| Kolejka ta przeznaczona jest dla zadań wykonujących się na jednym węźle <br />
maksymalna wartość parametru ppn=8<br />
|-class="alt"<br />
| style="text-align: center; font-weight: bold;" | fast<br />
| style="text-align: center;" | 1 godzina<br />
| style="text-align: center;" | 10 minut<br />
| style="text-align: center;" | -<br />
| wysoki priorytet; maksymalna ilość węzłów 1<br />
|}<br />
</center></div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Strona_g%C5%82%C3%B3wna&diff=1272Strona główna2016-11-28T07:59:18Z<p>Radekj: </p>
<hr />
<div>__NOTITLE__<br />
{| class="wikitable"; id="customers"<br />
! style="font-weight: bold;" | '''Aktualności'''<br />
|-<br />
|-class="alt"<br />
|'''Niedostepnosc zasobow obliczeniowych'''<br><br />
<br />
W dniach 28-29 listopada przeprowadzać będziemy prace serwisowe systemu Lustre w związku z czym zasoby obliczeniowe PCSS będą w tym czasie niedostępne.<br />
Prace serwisowe spowodowane są koniecznością zainstalowania nowej wersji oprogramownaia na macierzach obsługujących Lustre aby wyeliminować ryzyko powtórzenia poprzedniej awarii Lustre zakończonej tygodniowym niestablinym działaniem klastrów.<br />
Niedostępność dotyczy wszystkich maszyn obliczeniowych - Eagle, Inula, Cane oraz Chimera.<br />
<br />
Aby zminimalizować wpływ prac na dostępność maszyn nie będziemy blokować możliwości zlecania zadań, niemniej zadnia które będą aktywne w poniedziałek 28 listopada, zostaną usunięte.<br />
We wtorek 29 listopada, po godzinie 16 wszystkie klastry powinny wrócić do normalnego działania.<br />
Przepraszamy za utrudniania.<br />
<br />
<br />
|<br />
|-<br />
|'''Konkurs na Najlepszy Artykuł w CMST'''<br><br />
Zapraszamy do zgłoszenia artykułów, które ukażą się w najnowszym numerze czasopisma CMST!<br />
<br />
Informacja dla autorów: http://cmst.eu/notes-for-authors/<br><br />
Spośród zgłoszonych prac wyłonione zostaną dwie najlepsze.<br><br />
Nagroda główna: 3000 zł netto dla zwycięskiego artykułu,<br><br />
Wyróżnienie: nagroda rzeczowa ufundowana przez sponsora Konferencji Użytkowników KDM 2016.<br />
<br />
- Zgłoszenia publikacji do 30 listopada 2016 r.<br><br />
- Rozstrzygnięcie konkursu do 30 grudnia 2016 r.<br />
<br />
Regulamin konkursu: http://konferencjakdm.pcss.pl/2016/konkursy<br />
|}<br />
[[Aktualności]]<br />
<!--<br />
W tej rubryce będą prezentowane istotne informację dla użytkowników systemów obliczeniowych PCSS<br />
<br />
//{{Special:RecentChanges/3}}<br />
= Witamy na stronie Wiki Użytkowników PCSS/KDM! =<br />
PCSS konsekwentnie realizuje koncepcję budowy metakomputera. Obliczenia dużej skali, liczba rozwiązanych problemów oraz zapotrzebowanie na konkretny typ obliczeń oraz archiwizację danych, to cechy, które determinują funkcjonalność systemu komputerowego. Ze względu na ograniczoną moc obliczeniową obliczenia dużej skali nie mogą być zlokalizowane na jednym systemie komputerowym.<br />
<br />
Zapraszamy do wirtualnego zwiedzania naszej serwerowni. Przejdź na stronę [http://www.makevt.com/media/tourmaker/msfzxwhako/ Wirtualna Serwerownia Superkomputerowa]<br />
<br />
<br />
Zapraszamy do zapoznania się z [[Podręcznik_użytkownika|przewodnikiem użytkownika]], [[FAQ]] oraz [[Jak_zostać użytkownikiem| jak zostać użytkownikiem]].<br />
--><br />
<Center><br />
== Zasoby obliczeniowe PCSS ==<br />
<br><br />
{| class="wikitable"<br />
|style="text-align: center;"|[[Plik:eagle.jpg|240px|link=Eagle]]<br />
|style="text-align: center;"|[[Plik:Inula.jpg|240px|link=Inula]]<br />
|style="text-align: center;"|[[Plik:Chimera.jpg|240px|link=Chimera]]<br />
|style="text-align: center;"|[[Plik:Inula.jpg|240px|link=Cane]]<br />
|-<br />
|style="text-align: center;"|'''[[Eagle]]'''<br />
|style="text-align: center;"|'''[[Inula]]'''<br />
|style="text-align: center;"|'''[[Chimera]]'''<br />
|style="text-align: center;"|'''[[Cane]]'''<br />
|-<br />
! colspan="4" | 24h active nodes<br />
|-<br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/eagle_processors.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/inula_processors.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/chimera_processors.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/cane_processors.png</span><br />
|-<br />
! colspan="4" | Current load<br />
|-<br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/eagle_load.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/inula_load.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/chimera_load.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/cane_load.png</span><br />
|-<br />
! colspan="4" | Monthly load<br />
|-<br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/eagle_monthly_load.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/inula_monthly_load.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/chimera_monthly_load.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/cane_monthly_load.png</span><br />
|}<br />
<!--<br />
{| class="wikitable"<br />
| '''Aktualności'''<br />
| '''Aktualne obciążenie serwerów'''<br />
|-<br />
| <br />
|{{#widget:Iframe<br />
|url=https://grafana.man.poznan.pl:3000/dashboard-solo/db/clusters-statistics?panelId=2&fullscreen&theme=dark<br />
|width=710<br />
|height=442<br />
|border=0<br />
}}<br />
|-<br />
|<br />
|{{#widget:Iframe<br />
|url=https://grafana.man.poznan.pl:3000/dashboard-solo/db/clusters-statistics?panelId=1&fullscreen&from=now-24h&to=now<br />
|width=710<br />
|height=442<br />
|border=0<br />
}}<br />
|}<br />
--></div>Radekjhttps://wiki.man.poznan.pl/kdm?title=Strona_g%C5%82%C3%B3wna&diff=1262Strona główna2016-10-12T12:56:39Z<p>Radekj: </p>
<hr />
<div>__NOTITLE__<br />
{| class="wikitable"; id="customers"<br />
! style="font-weight: bold;" | '''Aktualności'''<br />
|-<br />
|-class="alt"<br />
|'''Konkurs na Najlepszy Artykuł w CMST'''<br><br />
Zapraszamy do zgłoszenia artykułów, które ukażą się w najnowszym numerze czasopisma CMST!<br />
<br />
Informacja dla autorów: http://cmst.eu/notes-for-authors/<br><br />
Spośród zgłoszonych prac wyłonione zostaną dwie najlepsze.<br><br />
Nagroda główna: 3000 zł netto dla zwycięskiego artykułu,<br><br />
Wyróżnienie: nagroda rzeczowa ufundowana przez sponsora Konferencji Użytkowników KDM 2016.<br />
<br />
- Zgłoszenia publikacji do 31 października 2016 r.<br><br />
- Rozstrzygnięcie konkursu do 30 grudnia 2016 r.<br />
<br />
Regulamin konkursu: http://konferencjakdm.pcss.pl/2016/konkursy<br />
|}<br />
[[Aktualności]]<br />
<!--<br />
W tej rubryce będą prezentowane istotne informację dla użytkowników systemów obliczeniowych PCSS<br />
<br />
//{{Special:RecentChanges/3}}<br />
= Witamy na stronie Wiki Użytkowników PCSS/KDM! =<br />
PCSS konsekwentnie realizuje koncepcję budowy metakomputera. Obliczenia dużej skali, liczba rozwiązanych problemów oraz zapotrzebowanie na konkretny typ obliczeń oraz archiwizację danych, to cechy, które determinują funkcjonalność systemu komputerowego. Ze względu na ograniczoną moc obliczeniową obliczenia dużej skali nie mogą być zlokalizowane na jednym systemie komputerowym.<br />
<br />
Zapraszamy do wirtualnego zwiedzania naszej serwerowni. Przejdź na stronę [http://www.makevt.com/media/tourmaker/msfzxwhako/ Wirtualna Serwerownia Superkomputerowa]<br />
<br />
<br />
Zapraszamy do zapoznania się z [[Podręcznik_użytkownika|przewodnikiem użytkownika]], [[FAQ]] oraz [[Jak_zostać użytkownikiem| jak zostać użytkownikiem]].<br />
--><br />
<Center><br />
== Zasoby obliczeniowe PCSS ==<br />
<br><br />
{| class="wikitable"<br />
|style="text-align: center;"|[[Plik:eagle.jpg|240px|link=Eagle]]<br />
|style="text-align: center;"|[[Plik:Inula.jpg|240px|link=Inula]]<br />
|style="text-align: center;"|[[Plik:Chimera.jpg|240px|link=Chimera]]<br />
|style="text-align: center;"|[[Plik:Inula.jpg|240px|link=Cane]]<br />
|-<br />
|style="text-align: center;"|'''[[Eagle]]'''<br />
|style="text-align: center;"|'''[[Inula]]'''<br />
|style="text-align: center;"|'''[[Chimera]]'''<br />
|style="text-align: center;"|'''[[Cane]]'''<br />
|-<br />
! colspan="4" | 24h active nodes<br />
|-<br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/eagle_processors.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/inula_processors.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/chimera_processors.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/cane_processors.png</span><br />
|-<br />
! colspan="4" | Current load<br />
|-<br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/eagle_load.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/inula_load.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/chimera_load.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/cane_load.png</span><br />
|-<br />
! colspan="4" | Monthly load<br />
|-<br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/eagle_monthly_load.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/inula_monthly_load.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/chimera_monthly_load.png</span><br />
|<span class="plainlinks">https://wiki.man.poznan.pl/kdm/static-content/cane_monthly_load.png</span><br />
|}<br />
<!--<br />
{| class="wikitable"<br />
| '''Aktualności'''<br />
| '''Aktualne obciążenie serwerów'''<br />
|-<br />
| <br />
|{{#widget:Iframe<br />
|url=https://grafana.man.poznan.pl:3000/dashboard-solo/db/clusters-statistics?panelId=2&fullscreen&theme=dark<br />
|width=710<br />
|height=442<br />
|border=0<br />
}}<br />
|-<br />
|<br />
|{{#widget:Iframe<br />
|url=https://grafana.man.poznan.pl:3000/dashboard-solo/db/clusters-statistics?panelId=1&fullscreen&from=now-24h&to=now<br />
|width=710<br />
|height=442<br />
|border=0<br />
}}<br />
|}<br />
--></div>Radekj