Aller au contenu

Transférer des données dans VALERIA

Dans ces tutoriels, vous apprendrez à transférer des données vers VALERIA.

1. Téléverser des petits volumes de données vers le stockage objet (S3)

Le Navigateur S3 de VALERIA est la solution idéale pour transférer des petits volumes de données (<1 Go) vers le stockage objet S3 de VALERIA.

Prérequis

Tutoriel

Dans ce tutoriel, vous apprendrez à téléverser des données de votre poste vers le stockage objet (S3) de VALERIA à l'aide du Navigateur S3.

Liens utiles

2. Téléverser un petit volume de données sur le stockage Lustre de VALERIA

Pour les petits volumes de données (< 1 Go), vous pouvez passer directement par JupyterLab pour téléverser vos données vers le stockage Lustre.

Prérequis

Tutoriel

La vidéo qui suit présente comment transférer des données de votre poste vers un dossier de projet Lustre sur VALERIA.

3. Téléverser des données sur le stockage Lustre de VALERIA

Si vous cherchez à téléverser un plus gros volume de données, vous pouvez utiliser un client SFTP comme rclone. Après avoir la configuration, vous pouvez téléverser un ensemble de fichiers avec la commande :

rclone copy <chemin vers votre fichier> <remote>:<chemin sur le serveur distant>, où 'remote' est le nom que vous avez configuré pour la plateforme VALERIA et 'chemin' correspond à l'endroit où vous souhaitez avoir vos fichiers dans le stockage de la plateforme.

4. Transférer des données vers Lustre avec Globus

La solution Globus est idéale pour transférer des données volumineuses vers le stockage Lustre de VALERIA. Ayant des nœuds dédiés et connectés au réseau national de recherche, l'instance Globus de VALERIA vous offre de la performance et vous permet de déplacer vos données facilement, et ce, partout au pays.

Information

Veuillez noter qu’il est possible de transférer des fichiers avec Globus seulement vers ou à partir du stockage Lustre de VALERIA. Pour en apprendre davantage sur le transfert vers ou à partir du stockage S3 de VALERIA, nous vous invitons à visiter notre page de documentation.

Prérequis

Tutoriel

Dans ce tutoriel, vous apprendrez à effectuer un transfert de données de votre poste vers le stockage Lustre de VALERIA, à partir de Globus.

Liens utiles

Pour en connaître davantage, vous pouvez consulter les liens suivants :

5. Transférer des données entre Lustre et S3

Pour transférer les données entre Lustre et S3 (et vice versa), l'outil utilisé est Rclone. Rclone est un programme en ligne de commande qui permet de gérer différents types de stockage.

Un outil a été développé par l'équipe de VALERIA pour automatiser la configuration des clients S3 (Rclone, s3cmd, s3fs et awscli). Pour lancer la configuration, il suffit de lancer la commande val-generate-s3-config à l'invite de commande.

Prérequis

Tutoriel

Dans cette vidéo, nous utilisons un script Python pour configurer Rclone et déplacer des données entre Lustre et S3.

Pour y arriver, nous réalisons 3 étapes :

  1. Se connecter au JupyterLab de VALERIA
  2. Lancer un terminal à partir du Launcher
  3. Utiliser la commande cd pour se diriger dans le dossier /public/exemples/700
  4. Lancer la commande python val-generate-s3-config
  5. Entrer votre IDUL ou identifiant VALERIA
  6. Entrer votre mot de passe
  7. Utiliser les commandes rclone pour déplacer les données (en dessous de la vidéo)

Commandes rclone

Voici quelques commandes utiles avec Rclone :

  • Pour lister les dossiers sur un stockage distant : 
    rclone lsd <chemin du stockage distant>

  • Par exemple, pour lister les compartiments de votre stockage S3 de VALERIA : 

    rclone lsd s3://
    Important : la commande lsd liste uniquement vos compartiments. Pour accéder au compartiment d'une autre personne, vous devrez avoir les permissions requises sur le compartiment et entrer son nom directement dans la commande rclone lsd s3://nom-du-compartiment

  • Pour lister les dossiers et fichiers d'un stockage distant : 

    rclone lsf <chemin du stockage distant>

  • Pour copier des données d'une source vers une destination : 

    rclone copy <chemin de la source> <chemin de la destination>
  • Par exemple, pour copier des données d'un dossier Lustre nommé /test vers un compartiment S3 nommé exemple : 
    rclone copy /test s3://exemple

Liens utiles

Vous trouverez le contenu du tutoriel à partir de :