== Obecna struktura danych na klastrze ==

<pre style="color: red">
Uwaga: ta struktura stopniowo będzie wycofywana z końcem 2022r.
</pre>

'''Katalog domowy''' : Każdy użytkownik po zalogowaniu na serwer dostępowy ma do dyspozycji osobistą przestrzeń do składowania plików która służy do przechowywania końcowych rezultatów obliczeń oraz innych cennych informacji. Przestrzeń ta zazwyczaj znajduje się w katalogu /home/users/<nazwa użytkownika>. Katalog ten jest dostępny na serwerze dostępowym oraz wszystkich serwerach obliczeniowych klastra pod tą samą ścieżką. PCSS wykonuje regularnie kopie zapasowe tych danych tak więc istnieje możliwość odtworzenia plików w przypadku awarii systemu składowania bądź omyłkowego skasowania danych przez właściciela danych.Katalogu tego, zgodnie z regulaminem, nie wolno udostępniać innym osobom.

'''Katalog do prowadzenia obliczeń / scratch.''' Każdy użytkownik ma dostęp do osobistej przestrzeni szybkiego systemu składowania. System ten jest przeznaczony do przechowywania danych wykorzystywanych w czasie obliczeń oraz jest to miejsce gdzie powinny być zapisywane dane tymczasowe generowane w trakcie działania aplikacji. Przestrzeń ta dostępna jest pod ścieżką '''/tmp/lustre/<nazwa użytkownika>'''. System ten jest wielokrotnie większy niż przestrzeń Katalogów Domowych oraz oferuje kilkunastokrotnie większą wydajność niemniej ta przestrzeń nie jest chroniona przez automatyczne wykonywanie kopii zapasowych - omyłkowo bądź celowo skasowanych danych nie da się odzyskać.Zarówno Katalogi domowe jak i przestrzeń scratch oferują całą dostępną przestrzeń dla każdego użytkownika.

Rozwiązanie to było niewątpliwie wygodne, niemniej błąd w zarządzaniu danymi pojedynczego użytkownika polegający na zajęciu całego dostępnego miejsca skutkował zablokowaniem możliwości prowadzenia obliczeń przez wszystkich użytkowników.Ze względu na cyklicznie występujące problemy z dostępnością miejsca i zapewnieniem odpowiedniej jakości świadczonej usługi zdecydowaliśmy się na stopniowe odejście od tego modelu na rzecz nowej struktury opisanej poniżej. Innym powodem dla którego zdecydowaliśmy się zmienić strukturę katalogów jest problematyczna migracja z pojedynczego centralnego systemu plików na inny. Obecnie wszystkie projekty na klastrze zajmują wiele petabajtów przestrzeni. Migracja tych danych na nowy system składowania tak, aby nie wpływało to znacząco na bieżące funkcjonowanie klastra, zajęło by wiele miesięcy.

== Nowa struktura danych. ==
<pre style="color: red">
NA chwilę obecną nowa struktura danych dostępna jest dla użytkowników lokalnych oraz projektu PRACE.
Z przyczyn technicznych na razie użytkownicy PLGRID nie mają dostępu do tej przestrzeni.
Uwaga: od lipca 2021 ta struktura dostępna jest równolegle ze starą struktura.
Do sierpnia 2021 przestrzeń będzie traktowana jako przedprodukcyjna - trwa faza optymalizacji wydajności.
</pre>

'''Katalog domowy''' Ograniczona przestrzeń na dane z niewielkim limitem pojemności rzędu kilkuset megabajtów. W praktyce jest to worek na '''katalogi projektowe'''

'''Katalog projektowy''' Każdy użytkownik mający aktywny grant obliczeniowy (naukowy bądź komercyjny) na klastrze w swoim '''Katalogu domowym''' posiada automatycznie utworzony katalog o nazwie '''grant_<nr_grantu>''' dla każdego grantu w którym dany użytkownik bierze udział. W katalogu tym znajdują się dwa istotne podkatalogi:
*'''archive''' - jest to przestrzeń przeznaczona na przechowywanie danych które nie są aktywnie wykorzystywane, np przetworzone wyniki obliczeń itp. Przestrzeń ta jest wolniejsza niż "project_data" oraz "scratch" ale ma znacznie większy rozmiar - możliwe jest przechowywanie dziesiątków bądź (jeśli jest to konieczne) setek TB danych.
*'''project_data''' - jest to katalog '''współdzielony''' miedzy wszystkimi użytkownikami danego grantu. Dane znajdujące się we wszystkich podkatalogach tego katalogu zabezpieczone przed przypadkowym usunięciem mechanizmem automatycznych kopii zapasowych. Dla tego katalogu PCSS zapewnia gwarantowaną przestrzeń na dane w wielkości która przyznana była w ramach wniosku grantowego lub komercyjnej umowy. Limit ten może być wykorzystywany wyłącznie przez użytkowników W ramach tego katalogu użytkownicy mogą w dowolny sposób tworzyć i osuwać pliki/katalogi oraz manipulować prawami dostępu. '''Domyślna przestrzeń dostępna w tym katalogu to 5TB'''
*'''scratch''' - '''dedykowana''' dla danego grantu przestrzeń przeznaczona do prowadzenia obliczeń/przechowywania danych wejściowych. Zasady korzystania są identyczne do obecnie wykorzystywanej przestrzeni scratch. '''Domyślna wielkość tej przestrzeni to 10TB'''

Dane dostępne w katalogu '''project_data''' dostępne będą przez cały okres trwania grantu plus pewien dodatkowy czas dzięki któremu możliwe będzie zarchiwizowanie danych lub przeniesienie ich do przestrzeni nowego grantu. Na chwilę obecną dane udostępniane są przez okres 6 miesięcy od zakończenia grantu plus dodatkowe 6 miesięcy w czasie których na żądanie jesteśmy w stanie odzyskać dane. Nowa struktura danych wygląda więc następująco

<nowiki>
-> ~<nazwa_użytkownika>                    : katalog domowy
--> grant_X
---> project_data                           : współdzielona przestrzeń na dane dla grantu_X
---> scratch                                : przestrzeń danych przeznaczona dla danych w czasie obliczeń dla grantu_x
---> archive                           : współdzielona przestrzeń na dane archiwalne dla grantu_X

--> grant_y
---> project_data                           : współdzielona przestrzeń na dane dla grantu_Y
---> scratch                                : przestrzeń danych przeznaczona dla danych w czasie obliczeń dla grantu_Y
---> archive                           : współdzielona przestrzeń na dane archiwalne dla grantu_Y

</nowiki>
W przyszłości pojawią się dodatkowe katalogi zapewniające np łatwiejszy dostęp do systemu archiwizacji lub też możliwość wymiany danych z usługą box.pionier.net.pl

Uwaga: katalogi '''project_data''' oraz '''scratch''' są linkami symbolicznymi do faktycznego miejsca montowania systemu składowania. Prosimy jednak o używanie wyłącznie ścieżek względnych (np /home/users/<nazwa_użytkownika>/grant_id/project_data) a nie fizycznych ścieżek montowania gdyż mogą się one zmieniać. Nowa struktura danych umożliwia nam dynamiczne przenoszenie grantów pomiędzy różnymi systemami składowania niejako "w locie" więc nie ma gwarancji że przez cały okres życia grantu dane przechowywane będą na tym samym fizycznym systemie.

Obecnie wykorzystywane systemy składowania zaczniemy wycofywać pod koniec roku 2021 - zniknie katalog /tmp/lustre oraz znacząco ograniczymy dostępne miejsce w '''katalogu domowym''' - głównym miejscem przechowywania danych powinny stać się katalogi '''project_data''' oraz '''scratch''' grantów. O wszelkich planowanych pracach poinformujemy z co najmniej dwumiesięcznym wyprzedzeniem aby możliwa była spokojna migracja danych.