Au carrefour du HPC et du Big Data
Face à des volumes de données qui croissent constamment, alimentés par les nouvelles sources d’information de notre monde connecté, gérer des Pétaoctets de données est devenu un vrai défi. S’appuyant sur sa longue expérience de la mise en oeuvre réussie de solutions de gestion de données massives, basées sur des technologies multiples, Atos propose désormais non seulement des solutions sur mesure, mais également Bull Director for HPSS, le premier élément d’une gamme de logiciels Bull dédiés au stockage pour le calcul haute performance.
Outils Bull de gestion des données
Les utilisateurs doivent souvent faire face à une efficacité de leurs applications inférieure à ce qu’ils attendaient. Dans ces cas là, il est précieux de pouvoir disposer d’outils d’analyse de l’exécution des applications pour comprendre où se situent les goulots d’étrangement. Les E/S étant l’une des parties les moins connues de l’exécution des tâches, Atos a développé un ensemble complet d’outils permettant de comprendre et améliorer l’efficacité des applications s’exécutant au sein de charges complexes.
Les outils logiciels et matériels suivants sont déjà disponibles :
- Bull IO Instrumentation – un profileur d’E/S pour les applications
- Bull IO Pattern Analyzer – un outil de comparaison multi-jobs et d’automatisation de l’usage des accélérateurs
- Bull Fast IO Libraries – des modules logiciels d’accélération
- Bull Smart Burst Buffer – un accélérateur polyvalent de stockage Flash
Une utilisation fine et focalisée des ces outils permet d’obtenir des informations précieuses sur l’exécution des applications et facilite l’analyse des travaux non optimisés au sein de charges de calcul complexes.
Solutions de stockage hiérarchisé (HSM)
Alors que les jeux de données qui se mesurent en centaines de Teraoctets, voire même en Pétaoctets, deviennent courants, les solutions de stockage hiérarchisé (HSM – Hierarchical Storage Management) deviennent un rouage essentiel des systèmes de gestion intensive de données. Le HSM est une technique de stockage de données qui permet de déplacer automatiquement les données entre les supports de stockage haute performance à coût élevé et les supports de stockage d’entrée de gamme, moins chers et offrant une capacité de stockage supérieure. Pour optimiser les coûts, les systèmes de HSM stockent les données sur des supports lents et économiques tels que des bibliothèques sur bandes robotisées, et copient les données sur des disques plus rapides dès qu’elles doivent être utilisées pour des calculs.
HPSS (High Performance Storage System) est un système de HSM né d’une collaboration entre IBM Global Business Services et 5 laboratoires américains du DOE, récemment rejoints par le CEA/DAM français. Atos a une longue expérience de la mise en oeuvre de HPSS dans des environnements difficiles, dans lesquels la conservation à long terme et la réutilisation de jeux de données massifs sont essentielles.
Bull Director for HPSS : la solution maline pour doper les performances de HPSS
Atos a développé Bull Director for HPSS afin d’éliminer certains des goulots d’étranglement de HPSS.
Bull Director for HPSS est un add-on à ce système de HSM. Il améliore les performances globales de HPSS pour les bibliothèques sur bandes, dans des environnements avec de nombreuses demandes d’accès simultanées, en regroupant en temps réel les demandes simultanées de différents utilisateurs.