System Archiwizacji

  • System archiwizacji udostępniony przez PCSS oparty jest o klaster dwóch serwerów współdzielących zasób dyskowy. Współdzielona przestrzeń dyskowa zarządzana jest oprogramowaniem Hierarchicznego Zarządzania Archiwum (HSM - Hierarchical Storage Management) a realizacja tego mechanizmu odbywa się przy pomocy oprogramowania IBM Spectrum Protect for Space Management (do niedawna nazywane IBM Tivoli Storage Manager for Space Management). Pierwszy poziom hierarchii to przestrzeń dyskowa znajdująca się na macierzy i zarządzana przy użyciu systemu plików IBM Spectrum Scale (przed zmianą nazwy był to GPFS - General Parallel File System). Drugi poziom składowania danych w hierarchii to przestań taśmowa, na którą trafiają pliki dzięki czemu zostaje zwolnione miejsce w przestrzeni dyskowej. Przestrzeń taśmowa to wydzielona partycja biblioteki IBM TS 3500, która wyposażona jest w napędy taśmowe LTO5 oraz Jaguar gen8. W związku z tym, że potrzebny jest czas do przegrania plików pomiędzy przestrzeniami taśma-dysk, pobieranie plików z archiwum wiąże się z oczekiwaniem na dostępność pliku a czas oczekiwania liniowo zależy od wielkości pliku (może to być więc od kilku sekund do kilkunastu minut). Czas oczekiwania może się również wydłużyć w przypadku gdy kilku klientów chce uzyskać dostęp do plików w tym samym czasie i zadania odtworzenia plików czekają na dostęp do napędów, których liczba jest ograniczona.

  • Dostęp do usługi archiwizacji odbywa się dwa poprzez serwery:
    • corylus.man.poznan.pl (150.254.161.115)
    • cerasus.man.poznan.pl (150.254.161.117)

  • Z systemu archiwizacji w PCSS mogą korzystać:
    • użytkownicy systemów HPC po wypełnieniu wniosku o grant w PCSS przy pomocy serwisu https://hpc.man.poznan.pl/
    • użytkownicy PCSS (zgodnie z informacjami na Wiki PCSS)
    • użytkownicy instytucjonalni - zgodnie z indywidualnymi ustaleniami z Administratorami Systemów - storage[at]man.poznan.pl

  • Dane dostępne są po protokole szyfrowanym przy pomocy aplikacji wykorzystującej **ssh (transmisja szyfrowana):
    • scp
    • sftp
    • winscp
    • sshfs
    • ftp (UWAGA! połączenie nieszyfrowane, wymagane pierwsze logowanie po scp aby zostały automatycznie wygenerowane poprawne katalogi domowe)

  • W katalogu domowym użytkowania dostępnym poprzez protokoły szyfrowane dostępne są dwa katalogi
    • .ssh - gdzie należy wgrać klucze od certyfikatów
    • ARCHIVE - gdzie można tworzyć katalogi i umieszczać w nich archiwa danych
  • Korzystając z protokołu ftp użytkownik trafia od razu do katalogu ARCHIVE

  • Prosimy o to, aby pliki przesyłane do systemu archiwizacji były przystosowane do wymagań architektury systemu HSM zabrania się przesyłania tysięcy małych plików. Małe pliki powodują znaczące obciążenie usługi archiwizacyjnej, dlatego preferowane jest umieszczanie w usłudze dużych plików (np. obszernych plików multimedialnych, obrazów systemów, backów baz danych), lub wielu plików spakowanych w archiwum (zip,tar,gzip etc.).

  • Prosimy o nie przenoszenie plików umieszczonych na serwerze pomiędzy katalogami np. zmieniając nazwę katalogu np. serwer_X na serwer_X.old - operacja taka powoduje dodatkowy, długotrwały ruch danych związany z operacjami wymazywania danych z serwera archiwizacji i backupu (pierwotna lokalizacja - katalog serwer_x) oraz ponownym wykonywaniem backupu oraz migracji dla nowej lokalizacji danych (katalog serwer_x.old)

  • Prosimy o nieużywanie polskich znaków w nazwach plików, gdyż czasami jest utrudniony dostęp dla systemu HSM do takich plików

ANS1228E Sending of object '/GPFS01/clients-stgr/.../...Ma▒opolski...wmv' failed.
ANS4042E Object name '/GPFS01/clients-stgr/.../...Ma▒opolski...wmv' contains one or more unrecognized characters and is not valid.


  • Zalecamy dodatkowe szyfrowanie danych przez ich umieszczeniem w archiwum np. przy pomocy wydajnej aplikacji AES Crypt

  • Administratorzy systemu dostępni są pod adresem storage[at]man.poznan.pl
Źródło: „https://wiki.man.poznan.pl/kdm?title=System_Archiwizacji&oldid=1355”