Le stockage et la gestion des données¶

VALERIA offre aux chercheuses et chercheurs de l'Université Laval et à leurs équipes trois solutions de stockage situées sur le campus de l'Université Laval. Sécuritaires et accessibles, ces technologies sont adaptées à divers besoins et visent à libérer l'utilisateur des systèmes de stockage physiques et propriétaires, souvent onéreux et peu sécuritaires.

Attention

À l’exception de PostgreSQL, les sauvegardes ne sont pas incluses dans VALERIA. Elles sont possibles sur demande et des frais peuvent s’appliquer.

3 solutions de stockage¶

Stockage objet (S3)¶

Le stockage objet (S3) est idéal pour héberger de grands volumes de données de recherche non structurées, tels que des vidéos, des images, des enregistrements, etc. Contrairement aux systèmes de fichiers traditionnels, le stockage en mode objet ne repose pas sur une structure hiérarchique de dossiers, il permet plutôt aux personnes utilisatrices de stocker et de récupérer des objets de manière indépendante, en se basant sur les données elles-mêmes et leurs métadonnées.

Le stockage objet (S3) offre donc une capacité d’adaptation élevée aux fluctuations de la demande en conservant ses fonctionnalités de base. Il offre également une résilience aux pannes et une gestion simplifiée des données, pour les charges de travail distribuées et volumineuses. C'est pourquoi il est largement utilisé pour stocker divers types de données non structurées. De plus, les données peuvent être rendues disponibles via internet à des personnes collaboratrices de partout dans le monde.

Chaque chercheuse et chercheur de ULaval se fait automatiquement octroyer 4 To d’espace de stockage objet subventionné dès leur inscription à VALERIA.

Ceph¶

Dans VALERIA, ce stockage de données est implémenté avec la technologie Ceph et est compatible avec le protocole objet (S3). Ceph est une plateforme de stockage open-source conçue pour stocker de grandes quantités de données de manière évolutive, fiable et efficace. Elle est souvent utilisée dans les environnements de cloud et de stockage objet. Ceph offre une architecture flexible et hautement disponible.

Grande capacité d’hébergement totale allant jusqu’à 2,1 pétaoctets.
Accessibilité aux données depuis n’importe où.
Possibilité de partager des données avec des personnes collaboratrices.
Copies de sauvegarde disponibles sur demande.
Fiabilité grâce à un stockage distribué sur 4 centres de données, à même le campus.
Sécurité des données : mesures inspirées des normes ISO 27002 et basées sur les critères de disponibilité, d’intégrité et de confidentialité.
Faibles exigences matérielles : nul besoin d’un poste de travail de haute performance pour profiter de la performance du stockage, VALERIA propose une interface Web avec le Navigateur S3.
Solution open-source permettant une grande évolutivité.

Stockage haute performance (environnement de calculs)¶

Avec le stockage haute performance, les données sont stockées en tant qu'élément unique d'information à l'intérieur d'un dossier, tout comme des documents imprimés que vous rangeriez dans une chemise en carton. Les données stockées dans des fichiers sont organisées et récupérées à l'aide de quelques métadonnées qui indiquent à l'ordinateur où le fichier se trouve. Le système fonctionne comme un catalogue de bibliothèque. Ce type de stockage permet une gestion centralisée des données, en facilite la sauvegarde et la récupération, et offre des fonctionnalités avancées telles que le contrôle d'accès et la redondance pour assurer la disponibilité des données. Cette approche est largement utilisée dans les environnements de recherche pour fournir un stockage partagé qui soit sécurisé et fiable.

Chaque chercheuse et chercheur de l’Université Laval se fait automatiquement octroyer 1 To d’espace de stockage haute performance subventionné par l’ULaval dès son inscription à VALERIA. La chercheuse ou le chercheur ULaval peut partager cet espace avec ses personnes collaboratrices.

Lustre¶

Le stockage Lustre est le produit utilisé par VALERIA pour les environnements de calculs, car ce type de système de fichiers parallèle est souvent privilégié pour les applications de calcul haute performance (HPC, pour high performance computing). Il est conçu pour gérer efficacement de grandes quantités de données et permet à de nombreux nœuds de calcul de lire et d'écrire simultanément sur ces données. Il offre une grande extensibilité, une haute performance et une capacité à gérer des charges de travail intensives.

Grande capacité totale d’hébergement allant jusqu’à 670 téraoctets.
Traitement de données avec les outils de VALERIA grâce à une intégration avec JupyterHub (ex. : Jupyter Notebook, RStudio et VS Code).
Intégration avec Globus pour le transfert des données.
Espace de stockage réparti parmi les répertoires « Home » pour les fichiers utilisateur, « Scratch » comme espace temporaire pour le traitement de données, et « Project » pour partager avec les membres d’un projet.
Fiabilité grâce à une redondance des données dans un centre de données à même le campus.
Versatilité : convient aussi bien aux besoins en performance de l’IA qu’aux traitements de fichiers traditionnels.
Copies de sauvegarde disponibles sur demande.
Peut accueillir tous les types de données, qu’elles soient structurées ou non.
Solution open-source.

Stockage par bases de données relationnelles¶

Dans son offre, VALERIA propose un système de gestion de base de données relationnelle (SGBDR). Le système offert, PostgreSQL, est open-source, très puissant, flexible et il permet :

Une facilité d’utilisation pour les programmes d’analyse.
La sécurité des données:
Sauvegarde des données incluse (backups)
Données encryptées au repos
Grande tolérance aux erreurs grâce au write-ahead logging
L’accessibilité à la base de données depuis l’extérieur du campus, mais à partir du VPN (à l’intérieur du RÉSUL).
Un environnement idéal pour les types de données structurées.
De bénéficier des avantages des solutions open-source.

Le système de base de données relationnelle implique l'utilisation de structures de données relationnelles telles que des tables, des index et des vues pour organiser et stocker les données de manière efficace. Les données sont stockées de façon à garantir leur intégrité, leur cohérence et leur sécurité. Ce système offre également des fonctionnalités avancées pour assurer la fiabilité et la disponibilité des données.

Dans VALERIA, la chercheuse ou le chercheur ULaval peut partager cet espace avec ses personnes collaboratrices.

Au-delà des ressources subventionnées, certains services et outils VALERIA sont tarifés, comme le stockage par bases de données relationnelles, consultez la Grille tarifaire de VALERIA.