Utilisation du stockage objet (S3)¶

Le stockage objet (S3)¶

Le stockage objet (S3) peut être utilisé pour héberger toutes sortes de types de données de recherche. Il est idéal pour héberger de grands volumes de données de recherche non structurées, tels que des vidéos, des images, des enregistrements, etc. Les données peuvent être rendues disponibles via internet à des personnes collaboratrices de partout dans le monde.

Dès son inscription à VALERIA, chaque chercheuse et chercheur de l’Université Laval possède un espace de 4 To de stockage S3 subventionné par l’ULaval. Les personnes collaboratrices ont quant à elles accès à 25 Go d’espace de stockage S3.

Ce stockage de données est implémenté avec la technologie Ceph et est compatible avec le protocole objet (S3). Pour comparer avec nos autres offres de stockage, consulter la section Stockage de notre site web.

Quelques définitions, pour mieux comprendre¶

Fichier (objet) : Dans ce type de stockage, chaque fichier est un objet. Les fichiers sont contenus dans un compartiment. Un fichier est une entité qui contient plusieurs informations (les données).

Compartiment : Un compartiment est un conteneur de fichiers stockés dans VALERIA. Dans le Navigateur S3, on peut le voir comme un dossier traditionnel. La gestion des accès se fait au niveau du compartiment.

Important

Les noms des compartiments doivent respecter quelques règles. Sommairement, ils doivent avoir entre 3 et 63 caractères, peuvent être composés uniquement de lettres minuscules, de chiffres, de points (.) et de traits d'union (-), et commencer et se terminer par une lettre ou un chiffre. Vous trouverez l'ensemble des règles à la page des Règles de dénomination de compartiment du service Amazon S3.

Quotas de stockage objet (S3) subventionné¶

ChercheurCollaborateur

Type	Espace	Fichiers
Objet (S3)	4 To	1000 compartiments et 1M fichiers par compartiment

Type	Espace	Fichiers
Objet (S3)	25 Go	-

Accéder au stockage objet (S3)¶

Pour obtenir des accès, il est obligatoire d’avoir un compte VALERIA.

Pour une chercheuse ou un chercheur ULaval¶

Comme pour les outils VALERIA de base (Jupyter, GitLab, Globus, Navigateur S3) et le stockage haute performance pour le calcul (Lustre), les accès au stockage S3 sont automatiquement octroyés avec l’inscription à VALERIA.

Pour une personne collaboratrice¶

En tant que personne collaboratrice, pour obtenir des accès au stockage S3, il faut faire la demande à la une chercheuse ou le chercheur ULaval responsable. Cette dernière ou ce dernier peut octroyer les accès via l’application Gestion des accès aux ressources. Pour plus d’informations, consultez la page de documentation associée. Pour les utilisatrices et utilisateurs plus avancé(e)s, il est également possible de gérer les accès à l’aide des politiques d’accès de S3.

Attention

Pour les accès au stockage S3, une personne collaboratrice doit absolument être ajoutée par une chercheuse ou un chercheur.

Options pour accéder à votre espace de stockage¶

Option 1 (recommandée) : Utilisation du Navigateur S3 de VALERIA¶

Se connecter au portail et accéder au stockage S3 par l’entremise de la carte “Compartiments S3” qui liste les compartiments personnels, ainsi que ceux ont été partagés avec la personne utilisatrice. Pour connaitre le fonctionnement du navigateur S3, consulter la section sur le Navigateur S3.

Option 2 (avancée) : Utilisation de Rclone¶

Rclone est un programme en ligne de commande qui permet de gérer des espaces de stockage. Il fonctionne sur Linux, macOS et Windows. Rclone est une solution complète et performante pour des utilisatrices et utilisateurs intermédiaires ou avancé(e)s. Pour plus de détails, consulter la procédure d’utilisation.

Option 3 (non supportée par l’équipe VALERIA) : Logiciels clients S3¶

Il existe plusieurs logiciels téléchargeables sur ordinateur ou mobile qui prennent en charge le stockage S3 (ex. : Cyberduck, S3 Browser, etc.). Ces logiciels permettent d’utiliser le stockage objet VALERIA. Pour utiliser cette option, il faut configurer le logiciel avec les clés S3 disponible sur le tableau de bord du portail de VALERIA. Pour plus de détails consulter comment configurer et utiliser Cyberduck.

Consulter son quota et utilisation de stockage objet (S3)¶

Pour le stockage objet (S3), il est possible de consulter la taille et le nombre d'objets à l'aide des commandes rclone size ou rclone ncdu.

Pour ce faire, il faut avoir configuré Rclone avec le stockage objet de VALERIA.

Pour tous les compartiments

rclone size s3:
rclone ncdu s3:

Pour un compartiment précis

rclone size s3:<compartiment>
rclone ncdu s3:<compartiment>

Augmenter son quota de stockage objet (S3)¶

Pour augmenter le quota d’un stockage S3, il faut accéder au tableau de bord sur le portail de VALERIA, sélectionner « Ajout de stockage » dans la carte « Stockage VALERIA » et compléter le courriel de demande. Pour toutes questions ou besoins spécifiques, il est possible d’écrire directement à info@valeria.science. Pour connaître la tarification consulter l’offre de services.