Aller au contenu

rclone

La procédure ci-dessous présente comment configurer rclone sous Linux. rclone est un programme informatique en ligne de commande pour gérer du contenu sur du stockage, dont le stockage objet (S3) de VALERIA. Ce programme est aussi disponible sur les systèmes d'exploitation Windows, macOS et FreeBSD.

Astuce techno

Cette procédure présente la configuration de l'application client sur votre poste de travail. Un outil est disponible pour automatiser la configuration de différents clients S3 (Rclone, s3cmd, s3fs et awscli), il suffit de lancer la commande val-generate-s3-config sur une invite de commande sur la plateforme de calcul.

Préalables

Sécurité et privilèges

  • Avoir les privilèges administratifs sur sa station de travail Linux afin d'installer des logiciels

  • Être sur le réseau de l'Université Laval ou être connecté au VPN.

Configuration de rclone

Étapes préliminaires

  • Récupérer les clés, disponibles sur le tableau de bord du portail de VALERIA, dans la carte « Clés de stockage S3 ».

  • Installer rclone : curl https://rclone.org/install.sh | sudo bash, ou en utilisant le gestionnaire de paquets du système d’exploitation

Configuration

Configuration interactive

a) Lancer rclone en mode de configuration interactive :

rclone config

b) Naviguer dans les étapes de configuration comme suit :

  • name : nom choisi constitué uniquement de lettres et chiffres (pas d’espace) car le nom servira à des noms de variables d'environnement

  • storage : Choisir l’option n°4 - Amazon S3 Compliant Storage Provider

  • provider : Choisir l’option n°14 - Any other S3 compatible provider

  • env_auth : Choisir l’option n°1 - Enter AWS credentials in the next step

  • access_key_id : Les clé S3 - laisser vide pour les spécifier au travers de variables d'environnement

  • secret_access_key : Le secret associé à la clé S3 - laisser cela vide pour les spécifier au travers de variables d'environnement

  • region : choisir l’option n°1 - Will use v4 signatures and an empty region.

  • endpoint : https://s3.valeria.science

  • location_constraint : ne rien mettre (appuyer simplement sur la touche « Entrée »)

  • acl : choisir l’option n°1 - Owner gets FULL_CONTROL. No one else has access rights (default).

  • Edit advanced config? : N

  • Confirmation de création de la configuration : Y

  • Quit config : Q

c) Une fois la configuration terminée, le fichier de configuration de rclone se retrouve dans $HOME/.config/rclone/rclone.conf :

Fichier de configuration

a) Ajouter le contenu suivant : $HOME/.config/rclone/rclone.conf :

Si le fichier existe déjà, ajouter la section ci-après

[s3]

type = s3

provider = Other

env_auth = false

access_key_id = VOTRE_CLE_ICI secret_access_key = VOTRE_SECRET_ICI

endpoint = https://s3.valeria.science

acl = private

Variable d'environnement

Il est possible de spécifier un certain nombre de paramètres à l’aide de variables d'environnements, si les paramètres correspondants dans le fichier de configuration ne sont pas spécifiés. C'est le cas pour la clé d'accès ainsi que le secret qui lui est associé. Dans le cas de la clé d'accès S3 et du secret associé, les noms de variables sont :

  • RCLONE_CONFIG__ACCESS_KEY_ID

  • RCLONE_CONFIG__SECRET_ACCESS_KEY

Note

Pour plus de détails sur les variables disponibles se référer à la documentation de rclone.

Exemple : Soit le fichier $HOME/.config/rclone/rclone.conf suivant :

[S3]

type = s3

provider = Other

env_auth = false

access_key_id =

secret_access_key =

endpoint = https://s3.valeria.science

acl = private

Les noms de variables à utiliser pour la clé S3 et son secret seront dans ce cas :

  • RCLONE_CONFIG_S3_ACCESS_KEY_ID

  • RCLONE_CONFIG_S3_SECRET_ACCESS_KEY