Kopiowanie danych

Kopiowanie danych

Kopiowanie danych z lustre do project_data prosimy wykonywać w trybie interaktywny na serwerze obliczeniowym. Sesję interaktywną inicjuje się w następujący sposób

srun --pty /bin/bash

Wszystkie duże operacje nie powinny być wykonywane na węźle dostępowym ponieważ konsekwencje odczują wszyscy użytkownicy w postaci powolnego działania UI

Węzły obliczeniowe połączone są połączone są szybką siecią co znacznie przyspiesza transfer plików

Operacje tą można jeszcze przyspieszyć wykorzystując zainstalowane na klastrze narzędzie rclone kopiując dane równolegle

Poniżej przesyłam przykład użycia:

rclone copy <source path > <target path> --progress --multi-thread-streams=N

W testy wykazały że powyżej N=8 nie ma już dodatkowych korzyści w postaci szybszego transferu danych.

Montowanie katalogu drive.man.poznan.pl za pomocą rclone

Aby zamontować powyższy katalog należy pierw skonfigurować połączenie rclone z naszym drive.man.poznan.pl
Aby tego dokonać uruchamiamy konfigurator połączenia rclone za pomocą poniższej komendy i postępujemy według wskazówek automatycznego konfiguratora

rclone config

Tworzymy nowe połączenie wybierając New remote:

NOTICE: Config file "/home/users/trojan/.config/rclone/rclone.conf" not found - using defaults
No remotes found, make a new one?
n) New remote
s) Set configuration password
q) Quit config
n/s/q> n 

Podajemy nazwę połączenia w tym przypadku test:

Enter name for new remote.
name> test 

Wybieramy gdzie mamy mieć przechowywane dane, w naszym przypadku wybieramy pozycje 46 - WebDAV na którym znajduje się drive.man.poznan.pl:

Option Storage.
Type of storage to configure.
Choose a number from below, or type in your own value.
 1 / 1Fichier
   \ (fichier)
 2 / Akamai NetStorage
   \ (netstorage)
 3 / Alias for an existing remote
   \ (alias)
 4 / Amazon Drive
   \ (amazon cloud drive)
 5 / Amazon S3 Compliant Storage Providers including AWS, Alibaba, Ceph, China Mobile, Cloudflare, 
ArvanCloud, DigitalOcean, Dreamhost, Huawei OBS, IBM COS, IDrive e2, IONOS Cloud, Liara, Lyve Cloud, 
Minio, Netease, RackCorp, Scaleway, SeaweedFS, StackPath, Storj, Tencent COS, Qiniu and Wasabi
   \ (s3)
 6 / Backblaze B2
   \ (b2)
 7 / Better checksums for other remotes
   \ (hasher)
 8 / Box
   \ (box)
 9 / Cache a remote
   \ (cache)
10 / Citrix Sharefile
   \ (sharefile)
11 / Combine several remotes into one
   \ (combine)
12 / Compress a remote
   \ (compress)
13 / Dropbox
   \ (dropbox)
14 / Encrypt/Decrypt a remote
   \ (crypt)
15 / Enterprise File Fabric
   \ (filefabric)
16 / FTP
   \ (ftp)
17 / Google Cloud Storage (this is not Google Drive)
   \ (google cloud storage)
18 / Google Drive
   \ (drive)
19 / Google Photos
   \ (google photos)
20 / HTTP
   \ (http)
21 / Hadoop distributed file system
   \ (hdfs)
22 / HiDrive
   \ (hidrive)
23 / In memory object storage system.
   \ (memory)
24 / Internet Archive
   \ (internetarchive)
25 / Jottacloud
   \ (jottacloud)
26 / Koofr, Digi Storage and other Koofr-compatible storage providers
   \ (koofr)
27 / Local Disk
   \ (local)
28 / Mail.ru Cloud
   \ (mailru)
29 / Mega
   \ (mega)
30 / Microsoft Azure Blob Storage
   \ (azureblob)
31 / Microsoft OneDrive
   \ (onedrive)
32 / OpenDrive
   \ (opendrive)
33 / OpenStack Swift (Rackspace Cloud Files, Memset Memstore, OVH)
   \ (swift)
34 / Oracle Cloud Infrastructure Object Storage
   \ (oracleobjectstorage)
35 / Pcloud
   \ (pcloud)
36 / Put.io
   \ (putio)
37 / QingCloud Object Storage
   \ (qingstor)
38 / SMB / CIFS
   \ (smb)
39 / SSH/SFTP
   \ (sftp)
40 / Sia Decentralized Cloud
   \ (sia)
41 / Storj Decentralized Cloud Storage
   \ (storj)
42 / Sugarsync
   \ (sugarsync)
43 / Transparently chunk/split large files
   \ (chunker)
44 / Union merges the contents of several upstream fs
   \ (union)
45 / Uptobox
   \ (uptobox)
46 / WebDAV
   \ (webdav)
47 / Yandex Disk
   \ (yandex)
48 / Zoho
   \ (zoho)
49 / premiumize.me
   \ (premiumizeme)
50 / seafile
   \ (seafile)
Storage> 46

Wybieramy adres naszej przestrzeni na drive.man.poznan.pl Wspomniany adres znajdziemy logując się do portalu drive.man.poznan.pl w zakładce Pliki -> Ustawienia plików -> WebDAV

Ten adres kopiujemy do naszego konfiguratora połączenia:

Option url.
URL of http host to connect to.
E.g. https://example.com.
Enter a value.
url> https://drive.man.poznan.pl/remote.php/dav/files/db9b...67c/ 

Wybieramy dostawcę usługi którym będzie Nextcloud:

Option vendor.
Name of the WebDAV site/service/software you are using.
Choose a number from below, or type in your own value.
Press Enter to leave empty.
 1 / Nextcloud
   \ (nextcloud)
 2 / Owncloud
   \ (owncloud)
 3 / Sharepoint Online, authenticated by Microsoft account
   \ (sharepoint)
 4 / Sharepoint with NTLM authentication, usually self-hosted or on-premises
   \ (sharepoint-ntlm)
 5 / Other site/service or software
   \ (other)
vendor> 1

Następnie podajemy nazwę użytkownika logującego się do portalu drive.man.poznan.pl:

Option user.
User name.
In case NTLM authentication is used, the username should be in the format 'Domain\User'.
Enter a value. Press Enter to leave empty.
user> trojan

Podajemy hasło:

Option pass.
Password.
Choose an alternative below. Press Enter for the default (n).
y) Yes, type in my own password
g) Generate random password
n) No, leave this optional password blank (default)
y/g/n> y
Enter the password:
password:****
Confirm the password:
password:****

Tą opcje zostawiamy pustą:

Option bearer_token.
Bearer token instead of user/pass (e.g. a Macaroon).
Enter a value. Press Enter to leave empty.
bearer_token> 

Zawansowane ustawienia, wybieramy nie:

Edit advanced config?
y) Yes
n) No (default)
y/n>

Pojawi się informacja z skonfigurowany połączeniem:

Configuration complete.
Options:
- type: webdav
- url: https://drive.man.poznan.pl/remote.php/dav/files/db9b...67c/
- vendor: nextcloud
- user: trojan
- pass: *** ENCRYPTED ***

Zachowujemy stworzone połączenie:

Keep this "test" remote?
y) Yes this is OK (default)
e) Edit this remote
d) Delete this remote
y/e/d> y

Jeżeli nie chcemy nic więcej konfigurować/edytować kończymy pracę:

Current remotes:

Name                 Type
====                 ====
test                 webdav

e) Edit existing remote
n) New remote
d) Delete remote
r) Rename remote
c) Copy remote
s) Set configuration password
q) Quit config
e/n/d/r/c/s/q> q

Aby przetestować połączenie z drive.man.poznan.pl można wykonać komendę rclone ls gdzie podajemy nazwę naszego nowo stworzonego połączenia w tym przypadku test

rclone ls test:

Następnie możemy stworzyć i podmontować katalog do drive.man.poznan.pl
Tworzymy katalog:

mkdir ~/rclone_tmp

Montujemy katalog:

rclone mount test: ~/rclone_tmp

Następnie możemy zacząć kopiować dane do katalogu rclone_tmp wówczas pojawią się one na drive.man.poznan.pl

Montowanie katalogu Google Drive za pomocą rclone

Aby zamontować powyższy katalog należy pierw skonfigurować połączenie rclone z naszym Google Drive
Aby tego dokonać uruchamiamy konfigurator połączenia rclone za pomocą poniższej komendy i postępujemy według wskazówek automatycznego konfiguratora

rclone config

Tworzymy nowe połączenie wybierając New remote:

No remotes found, make a new one?
n) New remote
s) Set configuration password
q) Quit config
n/s/q> n 

Podajemy nazwę połączenia w tym przypadku google:

Enter name for new remote.
name> google

Wybieramy gdzie mamy mieć przechowywane dane, w naszym przypadku wybieramy pozycje 18 - Google Drive:

Option Storage.
Type of storage to configure.
Choose a number from below, or type in your own value.
 1 / 1Fichier
   \ (fichier)
 2 / Akamai NetStorage
   \ (netstorage)
 3 / Alias for an existing remote
   \ (alias)
 4 / Amazon Drive
   \ (amazon cloud drive)
 5 / Amazon S3 Compliant Storage Providers including AWS, Alibaba, Ceph, China Mobile, Cloudflare, 
ArvanCloud, DigitalOcean, Dreamhost, Huawei OBS, IBM COS, IDrive e2, IONOS Cloud, Liara, Lyve Cloud, 
Minio, Netease, RackCorp, Scaleway, SeaweedFS, StackPath, Storj, Tencent COS, Qiniu and Wasabi
   \ (s3)
 6 / Backblaze B2
   \ (b2)
 7 / Better checksums for other remotes
   \ (hasher)
 8 / Box
   \ (box)
 9 / Cache a remote
   \ (cache)
10 / Citrix Sharefile
   \ (sharefile)
11 / Combine several remotes into one
   \ (combine)
12 / Compress a remote
   \ (compress)
13 / Dropbox
   \ (dropbox)
14 / Encrypt/Decrypt a remote
   \ (crypt)
15 / Enterprise File Fabric
   \ (filefabric)
16 / FTP
   \ (ftp)
17 / Google Cloud Storage (this is not Google Drive)
   \ (google cloud storage)
18 / Google Drive
   \ (drive)
19 / Google Photos
   \ (google photos)
20 / HTTP
   \ (http)
21 / Hadoop distributed file system
   \ (hdfs)
22 / HiDrive
   \ (hidrive)
23 / In memory object storage system.
   \ (memory)
24 / Internet Archive
   \ (internetarchive)
25 / Jottacloud
   \ (jottacloud)
26 / Koofr, Digi Storage and other Koofr-compatible storage providers
   \ (koofr)
27 / Local Disk
   \ (local)
28 / Mail.ru Cloud
   \ (mailru)
29 / Mega
   \ (mega)
30 / Microsoft Azure Blob Storage
   \ (azureblob)
31 / Microsoft OneDrive
   \ (onedrive)
32 / OpenDrive
   \ (opendrive)
33 / OpenStack Swift (Rackspace Cloud Files, Memset Memstore, OVH)
   \ (swift)
34 / Oracle Cloud Infrastructure Object Storage
   \ (oracleobjectstorage)
35 / Pcloud
   \ (pcloud)
36 / Put.io
   \ (putio)
37 / QingCloud Object Storage
   \ (qingstor)
38 / SMB / CIFS
   \ (smb)
39 / SSH/SFTP
   \ (sftp)
40 / Sia Decentralized Cloud
   \ (sia)
41 / Storj Decentralized Cloud Storage
   \ (storj)
42 / Sugarsync
   \ (sugarsync)
43 / Transparently chunk/split large files
   \ (chunker)
44 / Union merges the contents of several upstream fs
   \ (union)
45 / Uptobox
   \ (uptobox)
46 / WebDAV
   \ (webdav)
47 / Yandex Disk
   \ (yandex)
48 / Zoho
   \ (zoho)
49 / premiumize.me
   \ (premiumizeme)
50 / seafile
   \ (seafile)
Storage> 18

Opcjonalnie możesz dodać klucz Google Jeśli pozostawisz to pole puste, zostanie użyty klucz wewnętrzny o niskiej wydajności (Zostaw puste)

Option client_id.
Google Application Client Id
Setting your own is recommended.
See https://rclone.org/drive/#making-your-own-client-id for how to create your own.
If you leave this blank, it will use an internal key which is low performance.
Enter a value. Press Enter to leave empty.
client_id>

Kolejny ekran zostaw pusty

Option client_secret.
OAuth Client Secret.
Leave blank normally.
Enter a value. Press Enter to leave empty.

Wybierz jaki chcesz mieć dostęp do dysku Google:

Option scope.
Scope that rclone should use when requesting access from drive.
Choose a number from below, or type in your own value.
Press Enter to leave empty.
 1 / Full access all files, excluding Application Data Folder.
   \ (drive)
 2 / Read-only access to file metadata and file contents.
   \ (drive.readonly)
   / Access to files created by rclone only.
 3 | These are visible in the drive website.
   | File authorization is revoked when the user deauthorizes the app.
   \ (drive.file)
   / Allows read and write access to the Application Data folder.
 4 | This is not visible in the drive website.
   \ (drive.appfolder)
   / Allows read-only access to file metadata but
 5 | does not allow any access to read or download file content.
   \ (drive.metadata.readonly)
scope> 1

Kolejne okno jest opcjonalne, pozostaw puste

Option service_account_file.
Service Account Credentials JSON file path.
Leave blank normally.
Needed only if you want use SA instead of interactive login.
Leading `~` will be expanded in the file name as will environment variables such    as `${RCLONE_CONFIG_DIR}`.
Enter a value. Press Enter to leave empty.

Jeżeli nie chcesz konfigurować bardzie zaawansowanych ustawień wybierz opcje n

Edit advanced config?
y) Yes
n) No (default)
y/n>n

Na klastrze nie ma przeglądarki internetowej zaby autoryzować przez nią konto Google wybierz opicje n:

Use web browser to automatically authenticate rclone with remote?
 * Say Y if the machine running rclone has a web browser you can use
 * Say N if running rclone on a (remote) machine without web browser access
If not sure try Y. If Y failed, try N.

y) Yes (default)
n) No
y/n>n

Teraz należ przejeść na urządzenie lokalne z zainstalowany programem rclone i trzeba wydać polecenie które wyświetliło nam sie na klastrze podczas konfiguracji połączenia rclone np. rclone authorize "drive" "eyJzY29w........yaXZlIn0"

Option config_token.
For this to work, you will need rclone available on a machine that has
a web browser available.
For more help and alternate methods see: https://rclone.org/remote_setup/
Execute the following on the machine with the web browser (same rclone
version recommended):
        rclone authorize "drive" "eyJzY29w........yaXZlIn0"
Then paste the result.
Enter a value.
config_token>

Następnie zostaniemy przekierowani na stronę google.com gdzie zostaniemy poproszeni o dostęp do usługi Wybieramy Allow

Następnie w oknie na komputerze lokalnym zostanie wygenerowany token który należy wkleić na klastrze w konfiguratorze rclone

W kolejnym pytaniu wybieramy opcje n

Configure this as a Shared Drive (Team Drive)?

y) Yes
n) No (default)
y/n>

Zostaniemy poinformowani że konfiguracja przebiegła pomyślnie

Configuration complete.
Options:
- type: drive
- scope: drive
- token: {"access_token":"ya29.a0AXooCg..................qMOpM0lItmJjkVne1f_Zdz_1eyGtqdtvwa
srg1tT72g4I5AYgSVJV6rWS0q8LJ1TczwMExSrAcisn9SkxlyvjW6wxfsVcLsqoKTX8WwQOiByUM4LfTYS
a-I6EM2HXcjkfaCgYKAXMSARESFQHGX2MiaRaoUJiC1rOz5Jjc5kEWA0171","token_type":"Bearer",
"refresh_token":"1//09RkIDEDjTXcWCgYIARAAGAkSNwF9IrQ.............................qW1gx2COj5EtkIj56Q-kCkNkGOo",
"expiry":"2024-05-23T09:49:32.1493595+02:00"}
- team_drive:
Keep this "google" remote?
y) Yes this is OK (default)
e) Edit this remote
d) Delete this remote