Stockage haute performance (Lustre)¶

La plateforme de calcul VALERIA possède un stockage haute performance par système de fichiers (Lustre). Ce dernier vous permet d’accéder à vos fichiers à partir des nœuds de la plateforme, incluant l’environnement JupyterLab, ainsi que depuis le service de transfert de données Globus.

Chaque chercheuse ou chercheur de l’Université Laval a 1 To d’espace de stockage haute performance dans VALERIA. Les personnes collaboratrices ont quant à elles accès à 50 Go d’espace de stockage haute performance.

Lorsque vous vous connectez à la plateforme de calcul VALERIA, vous vous retrouverez dans votre espace personnel HOME, qui vous appartient et qui n'est accessible qu'à vous. Aussi, dans votre HOME, vous trouverez trois dossiers :

PROJECT : Votre espace de projet partagé avec vos personnes collaboratrices
SCRATCH : Votre espace de travail
PUBLIC : Un espace public pour tous, où vous trouverez des exemples de scripts de notre équipe VALERIA (dont des tutoriels)

Pour le partage du dossier PROJECT, consulter l'application de Gestion des accès aux ressources de VALERIA.

Pour téléverser ou télécharger des fichiers sur la plateforme de stockage, voir notre page de documentation.

Quotas sur le stockage haute performance¶

Chaque utilisatrice et utilisateur a un quota de stockage sur la plateforme de calcul de VALERIA.

ChercheurCollaborateur

Type	Variable	Espace	Fichiers
HOME	`$HOME`	50 Go	300 k
PROJECT	-	1 To	500 k
SCRATCH	-	1 To	500 k
LOCAL SCRATCH	`$SLURM_TMPDIR`	-	-

Type	Variable	Espace	Fichiers
HOME	`$HOME`	50 Go	300 k
PROJECT	-	-	-
SCRATCH	-	-	-
LOCAL SCRATCH	`$SLURM_TMPDIR`	-	-

Si vous désirez augmenter le quota de votre stockage haute performance (Lustre) au-delà de la portion subventionnée, veuillez écrire à info@valeria.science. Vous pouvez consulter l’offre de services  pour connaitre la tarification sur le stockage haute performance additionnel.

Politiques d’accès¶

Les politiques d'accès suivantes s'appliquent par défaut aux espaces de travail sur la plateforme de calcul :

Répertoire	Usager	Groupe	Autre
HOME	Complet	Aucun	Aucun
PROJECT	Complet	Complet	Aucun
SCRATCH	Complet	Aucun	Aucun
PUBLIC	Lecture	Lecture	Lecture

Un accès complet signifie que l'utilisatrice ou utilisateur, ou les membres du groupe, peuvent lire, écrire, effacer et modifier les fichiers ou leurs statuts.

Consulter son quota et utilisation de stockage haute performance (Lustre)¶

Il est possible de consulter votre utilisation pour le stockage haute performance (Lustre) avec certaines commandes.

Pour afficher vos quotas et l'utilisation de vos espaces (HOME, PROJECTs et SCRATCH), utiliser la commande val-show-space.

Voici un exemple de sortie :

$ val-show-space
**** HOME
     Filesystem    used   quota   limit   grace   files   quota   limit   grace
     /lustre-a/     10G      0k     50G       -   95104       0  300000       -
**** SCRATCH
     Filesystem    used   quota   limit   grace   files   quota   limit   grace
     /lustre-a/      5G      0k      1T       -      50       0  500000       -
**** PROJECT def-<IDUL>
     Filesystem    used   quota   limit   grace   files   quota   limit   grace
      /lustre-a    200G      0k      1T       -   11100       0  500000       -

Problématique lors de la copie de fichiers dans le dossier PROJECT¶

Les politiques par défaut sont appliquées adéquatement avec les outils disponibles sur la plateforme de calcul. Toutefois, plusieurs outils de copie de fichiers, tels que FileZilla ou WinSCP, utilisent leurs propres politiques. Ceci peut générer des erreurs d'accès aux fichiers sous le répertoire PROJECT, avec des accès au groupe limité en lecture seule.

Solution¶

Ajuster la politique de permissions d'accès de votre logiciel pour ajouter la permission d'écriture au groupe.

Alternativement, corriger les permissions aux fichiers copiés avec les commandes suivantes sur les serveurs de la plateforme de calcul :

cd project/répertoire-copié

find . -type f -exec chmod g+w {} \;

find . -type d -exec chmod g+wx {} \;

Droits d'accès alternatifs¶

Vous pouvez octroyer des accès à un ou des utilisatrices et utilisateurs et groupes spécifiques avec l'utilisation d'une liste de contrôle d'accès, ou access control list (ACL) en anglais. Cette approche n'est généralement pas recommandée, la gestion des accès à privilégier est celle disponible dans l'application de Gestion des accès aux ressources.

Toutefois, dans certaines situations, donner des accès directs pourrait être requis (ex.: pour un partage temporaire sous l'espace SCRATCH).

La commande suivante donnera accès à l'utilisatrice ou utilisateur «idul» au répertoire «dir», et à son contenu, comme si cette personne en était la ou le propriétaire :

setfacl -Rm u:idul:rwx dir

La commande suivante affichera la liste de contrôle d'accès du fichier :

getfacl fichier

Attention

Vous êtes responsable de vos ACL. Lors du retrait des accès d'une utilisatrice ou d’un utilisateur via le gestionnaire d'accès, les accès donnés via les ACL ne seront pas retirés.

Aussi, une mauvaise gestion des permissions peut retirer tous les accès à une utilisatrice ou un utilisateur, incluant vous-même.