Přenos dat na cluster Laniakea
Tento dokument popisuje základní způsoby přenosu dat mezi lokálním počítačem a clusterem Laniakea přes přihlašovací uzel polaris.laniakea.slu.cz z prostředí Linux. Pro práci z zprostředí Windows doporučujeme použít grafického clienta FileZilla nebo WinSCP.
Všechny uvedené metody využívají zabezpečené spojení SSH.
Kvóty v HOME adresáři
V současné době není pevně nastavena uživatelská kvóta pro home adresáře. Interně je však nastavena orientační mezní hodnota 1 TB na uživatele. Pokud tuto hodnotu výrazně překročíte, může Vás kontaktovat administrátor s návrhem vhodnějšího řešení (např. přesun dat na specializované datové úložiště). Home adresář je určen především pro pracovní soubory, zdrojové kódy a menší datové sady. Pro rozsáhlá experimentální nebo archivní data doporučujeme využít jiné typy úložišť.
SCP – jednoduché kopírování souborů
scp je nejjednodušší nástroj pro jednorázový přenos souborů mezi počítačem a serverem přes SSH.
Nahrání souboru z lokálního počítače na Polaris
scp local_file.dat jnovak@polaris.laniakea.slu.cz:/home/jnovak/kde local_file.dat je soubor na lokálním počítači a vy jste v adresáři kde se nachází. Tímto příkazem se tento soubor kopíruje pak do adresáře na headnode Polaris do adresáře /home/jnovak/.
Stažení souboru z Polaris na lokální počítač
Naopak pokud chcete stáhnout do aktuálního adresáře (část příkazu .) soubor /home/jnovak/results.dat z headnodu:
scp jnovak@polaris.laniakea.slu.cz:/home/jnovak/results.dat .Poznámka Pokud chcete nakopírovat soubor do jínam než do adresáře kde se nacházíte, nahraďte
.existuj9c9m místem kam chcete soubor umístít, např./home/jnovak/vysledky.
Přenos celého adresáře (rekurzivně)
Tento příkaz slouží k jednorázovému přenosu celého adresáře včetně jeho obsahu z lokálního počítače na server Polaris. Přenos probíhá přes zabezpečené SSH spojení.
scp -r data/ jnovak@polaris.laniakea.slu.cz:/home/jnovak/data/kde obdobně jako v p5edchozím přípaadě je /home/jnovak/data/ cílový adresář na vzdáleném serveru Polaris.
RSYNC – doporučený způsob (efektivní a bezpečný)
rsync je preferovaný nástroj pro práci s většími daty. Jeho výhodou je, že přenáší pouze změněné části souborů a umožňuje přerušení a následné pokračování přenosu.
Synchronizace lokálního adresáře na Polaris
Tímto příkazem synchronizujete lokální adresář data s adresářem na headnodu Polaris (/home/jnovak/data/).
rsync -av --progress data/ jnovak@polaris.laniakea.slu.cz:/home/jnovak/data/kde přepínače:
-a– Zachování struktury adresářů, práv, vlastníků, času změny a rekurzivní kopírování,-v– podrobný výpis (zobrazuje názvy souborů),--progress– zobrazení průběhu přenosu, rychlosti a odhadu zbývajícího času.
Stažení dat z Polaris na lokální počítač
Tímto příkazem synchronizujete adresář results umístěný na headnodu Polaris (/home/jnovak/results/) do lokálního adresáře ./results/.
rsync -av --progress jnovak@polaris.laniakea.slu.cz:/home/jnovak/results/ ./results/Navázání přerušeného přenosu pomocí rsync
Jednou z hlavních výhod nástroje rsync je možnost bezpečně pokračovat v přenosu, který byl přerušen (např. výpadkem sítě, odhlášením nebo ukončením terminálu).
Pro navázání přenosu stačí spustit stejný příkaz znovu:
rsync -av --progress data/ jnovak@polaris.laniakea.slu.cz:/home/jnovak/data/SFTP – grafický přenos souborů (FileZilla)
Pro uživatele, kteří preferují grafické rozhraní, je vhodnou volbou SFTP klient FileZilla. FileZilla využívá SSH, takže přenos je stejně bezpečný jako při použití scp nebo rsync.
Návod na instalaci najdete zde.
Základní nastavení ve FileZille
Pro samotné připojení pak použijte následující údaje:
| Položka | Hodnota |
|---|---|
| Hostname | polaris.laniakea.slu.cz |
| Username | vaše uživatelské jméno (např. jnovak) |
| Password | vaše heslo |
| Port | 22 |
Po potvrzení quickconnect se objeví okno s autentizací server, který porovnejte se skutečným zde. Po jeho potvrzení dostanete:
kde
- levá část okna = lokální počítač;
- pravá část okna = server Polaris;
- soubory přenášíte tažením myší (drag & drop);