Dane na klastrze Eagle
Nowa struktura danych.
<--
Uwaga: od listopada 2023 wdrożony został nowy portal (https://pcss.plcloud.pl/)
a co za tym idzie zmieniło się nazewnictwo grantów. Dotychczasowy schemat
"grant_<numer grantu>" zastąpiony został po prostu sygnaturą grantu/usługi, np '''pl0001-01'''
Dla grantów które w momencie wdrożenia nowego portalu były aktywne utworzono w
nowym portalu przestrzenie o nazwie ("Przestrzeń dla grantu <nr grantu> z
hpc.man.poznan.pl" wraz usługa o parametrach takich jak miał orginalny grant.
Prosimy przenieść dane ze starych grantów do przestrzeni dyskowej nowego.
-->
Katalog domowy: jest to ograniczona przestrzeń na dane z niewielkim limitem pojemności 1GB. W praktyce jest to "worek" na katalogi projektowe.
Katalog projektowy Każdy użytkownik posiadający aktywny grant obliczeniowy (naukowy bądź komercyjny) na klastrze w swoim Katalogu domowym posiada automatycznie utworzony katalog o nazwie takiej jak nazwa usługi w portalu, np pl0001-01 dla każdego grantu w którym dany użytkownik bierze udział. W katalogu tym znajdują się dwa ważne podkatalogi:
- archive - jest to przestrzeń przeznaczona na przechowywanie danych, które nie są aktywnie wykorzystywane, np. przetworzonych wyników obliczeń itp. Przestrzeń ta jest wolniejsza niż "project_data" oraz "scratch", ale ma znacznie większy rozmiar - możliwe jest przechowywanie dziesiątków, bądź (jeśli jest to konieczne), setek TB danych;
- project_data - jest to katalog współdzielony miedzy wszystkimi użytkownikami danego grantu. Dane znajdujące się we wszystkich podkatalogach tego katalogu zabezpieczone przed przypadkowym usunięciem mechanizmem automatycznych kopii zapasowych. PCSS zapewnia dla tego katalogu gwarantowaną przestrzeń na dane w wielkości przyznanej w ramach wniosku grantowego lub komercyjnej umowy. Limit ten może być wykorzystywany wyłącznie przez użytkowników. W ramach tego katalogu użytkownicy mogą w dowolny sposób tworzyć i usuwać pliki/katalogi oraz manipulować prawami dostępu. Domyślna przestrzeń dostępna w tym katalogu to 5TB;
- scratch - jest to dedykowana dla danego grantu przestrzeń przeznaczona do prowadzenia obliczeń/przechowywania danych wejściowych. Zasady korzystania są identyczne do obecnie wykorzystywanej przestrzeni scratch. Domyślna wielkość tej przestrzeni to 10TB.
Dane dostępne w katalogu project_data dostępne będą przez cały okres trwania grantu poszerzony o pewien dodatkowy czas, dzięki któremu możliwe będzie zarchiwizowanie danych lub przeniesienie ich do przestrzeni nowego grantu. Obecnie dane udostępniane są przez okres 6 miesięcy od zakończenia grantu oraz dodatkowe 6 miesięcy, podczas których można odzyskać dane na żądanie. Nowa struktura danych wygląda następująco (przykładowo dla usługi/grantu o identyfikatorze pl0001-01:
-> ~<nazwa_użytkownika> : katalog domowy --> pl0001-01 ---> project_data : współdzielona przestrzeń na dane dla grantu pl0001-01 ---> scratch : przestrzeń danych przeznaczona dla danych w czasie obliczeń dla pl0001-01 ---> archive : współdzielona przestrzeń na dane archiwalne dla grantu pl0001-01
W przyszłości pojawią się dodatkowe katalogi zapewniające m.in. łatwiejszy dostęp do systemu archiwizacji lub też możliwość wymiany danych z usługą box.pionier.net.pl
Uwaga: katalogi project_data oraz scratch są linkami symbolicznymi do faktycznego miejsca montowania systemu składowania. Użytkownicy proszeni są o używanie wyłącznie ścieżek względnych (np. ~<nazwa_użytkownika>/grant_id/project_data), a nie fizycznych ścieżek montowania gdyż mogą się one zmieniać. Nowa struktura danych umożliwia nam dynamiczne przenoszenie grantów pomiędzy różnymi systemami składowania niejako "w locie", więc nie ma gwarancji, że przez cały okres trwania grantu dane przechowywane będą na tym samym fizycznym systemie.
Obecnie wykorzystywane systemy składowania są wycofywane od końca 2021 r. - zniknie katalog /tmp/lustre oraz znacząco zostanie ograniczone miejsce w katalogu domowym - głównym miejscem przechowywania danych powinny stać się katalogi project_data oraz scratch grantów. O wszelkich planowanych pracach użytkownicy będą informowani z co najmniej dwumiesięcznym wyprzedzeniem, aby umożliwić migrację danych.
Aby sprawdzić ile dany katalog (archive, project_data, scratch) zajmuje miejsaca oraz jaki ma limint należy użyć następujących poleceń:
sprawdzanie quoty dla archive:
getfattr -n ceph.quota.max_bytes /some/dir - quota na wielkosc getfattr -n ceph.quota.max_files /some/dir - quota na ilosc plikow
sprawdzanie quoty dla project_data i scratch:
project_data: lfs quota -h -p 399 /mnt/storage_2/project_data/grant_399 scratch: lfs quota -h -p 3990000 /mnt/storage_2/scratch/grant_399