Plus tôt cette année, nous avons établi un nouveau record en calculant 314 billions de décimales de Pi . Le calcul, qui a duré des mois sur un seul serveur Dell PowerEdge R7725, a poussé les infrastructures modernes de processeurs et de stockage à leurs limites, tout en démontrant les progrès considérables réalisés par le matériel informatique d'entreprise. Une fois le calcul terminé, le record lui-même s'est avéré n'être qu'une partie de l'histoire. Le calcul a produit un ensemble de données colossal composé de 628 fichiers d'environ 206 Go chacun, pour un total de plus de 130 To. Ces fichiers représentent l'intégralité du résultat du calcul et constituent souvent la partie la plus intéressante d'un projet de ce type. Les mathématiciens, les développeurs et les data scientists souhaitent souvent explorer plus en détail ces ensembles de données, que ce soit pour valider certaines parties du calcul, expérimenter de nouvelles méthodes d'analyse ou travailler avec des ensembles de données numériques exceptionnellement volumineux.
Cela pose un problème pratique qui dépasse largement le cadre du calcul de Pi. Les charges de travail informatiques modernes génèrent de plus en plus d'énormes ensembles de données qui doivent rester accessibles longtemps après la fin du calcul. Les simulations scientifiques, les analyses génomiques et les entraînements d'IA à grande échelle produisent tous des résultats pouvant atteindre des dizaines, voire des centaines de téraoctets. Si un environnement de laboratoire est parfaitement adapté à la génération de ces données, il est rarement le plus approprié pour les héberger indéfiniment à destination d'un public mondial.
Pour notre projet Pi, conserver plus de 130 To de résultats stockés en permanence dans le laboratoire StorageReview n'était pas la solution adéquate. Les chercheurs avaient déjà commencé à en faire la demande, et la mise à disposition à grande échelle de l'ensemble de données nécessitait une infrastructure capable de le stocker de manière fiable et de le distribuer efficacement.
C’est là qu’est intervenu Backblaze. L’entreprise héberge l’intégralité des données Pi sur sa plateforme de stockage cloud Backblaze B2, rendant ainsi les résultats accessibles aux chercheurs et passionnés qui souhaitent les exploiter. Fournir un stockage durable et un accès mondial à un ensemble de données de cette envergure représente un engagement important, et nous remercions Backblaze pour son aide précieuse qui permet à la communauté scientifique de profiter pleinement des résultats de ce calcul record.
Cette collaboration illustre également une tendance de plus en plus observée dans les infrastructures modernes : les avantages concrets des flux de travail hybrides qui combinent calcul sur site et stockage et distribution dans le cloud. Le calcul de Pi a été entièrement exécuté dans notre laboratoire sur un seul système, mais une fois le travail terminé, le cloud s’est imposé comme la solution idéale pour héberger et partager les résultats.
Avant cela, les données devaient être transférées de notre laboratoire à Backblaze. Transférer plus de 130 To de résultats représente un défi de taille, mais grâce à une connexion réseau performante, le transfert a été réalisé en moins de deux semaines, avec un débit constant de 2 Gbit/s pendant la majeure partie du processus. Les grands ensembles de données restent gourmands en ressources, et lorsqu'on transfère des centaines de gigaoctets à la fois, la bande passante devient rapidement le facteur limitant.
Maintenant que les données sont stockées en toute sécurité sur Backblaze B2, les résultats du calcul de 314 billions de décimales peuvent être partagés au-delà de notre laboratoire. Les chercheurs peuvent télécharger les fichiers, les tester, vérifier certaines parties du calcul ou explorer les décimales pour leurs propres projets. À l'approche de la Journée Pi 2026, c'est le moment idéal pour rendre ces données accessibles.
Backblaze B2 : Stockage cloud d'entreprise pour les données à grande échelle
Pour rendre le jeu de données Pi largement accessible, une infrastructure capable de stocker et de distribuer de manière fiable de très grands volumes de données était indispensable. Backblaze B2 Cloud Storage est une plateforme de stockage objet d'entreprise conçue précisément pour ce type de charge de travail. Le stockage objet permet de stocker d'importantes collections de fichiers dans des compartiments d'objets évolutifs, plutôt que de les contraindre à des hiérarchies de fichiers traditionnelles. Il est ainsi parfaitement adapté aux grands ensembles de données, aux sauvegardes et aux pipelines de données modernes. B2 prend également en charge les API compatibles S3, permettant aux organisations d'interagir avec le service à l'aide d'outils et de flux de travail familiers, sans avoir à repenser leurs applications ou processus de données existants.
Backblaze a axé sa plateforme sur la fourniture d'un stockage durable, économique et simple d'utilisation. Son architecture est conçue pour une disponibilité des données de 99,9 ...
Hébergement du jeu de données dans Backblaze B2
Une fois le calcul de PI (314 billions de décimales) terminé et les données transférées du R7725 vers le stockage NAS, la question de leur mise à disposition publique a nécessité une réflexion approfondie. Diffuser 130 To directement depuis le laboratoire n'était pas envisageable. Notre connexion WAN, limitée à 2 Gbit/s en débit montant et descendant, est partagée entre toutes les opérations du laboratoire. Des téléchargements publics continus et importants auraient perturbé le fonctionnement quotidien, et la limitation de bande passante aurait rendu les téléchargements simultanés de grande envergure lents et peu fiables pour tout utilisateur souhaitant accéder aux données.
L'idée initiale était de distribuer l'ensemble de données via BitTorrent. Bien que techniquement possible, cette solution n'est pas des plus accessibles à la plupart des utilisateurs. Télécharger un ensemble de données de 130 To via torrent nécessite un client, une certaine familiarité avec le fonctionnement de ce type de téléchargement, et de la patience face à un processus moins simple qu'un téléchargement direct. Pour un ensemble de données destiné à être largement accessible aux chercheurs et à la communauté scientifique, il était préférable d'éviter ces difficultés.
Backblaze B2 a résolu ces deux problèmes de manière élégante. L'ensemble de données est hébergé intégralement dans le cloud, ce qui permet aux téléchargements publics de s'affranchir du réseau étendu du laboratoire et de toute charge sur son fonctionnement. Les connexions à B2 sont assurées par HTTPS directement depuis l'infrastructure Backblaze, garantissant ainsi des téléchargements sécurisés, cohérents et indépendants de la disponibilité de serveurs tiers. L'ensemble des données est désormais stocké dans le bucket pi-314-trillion sous la forme de 628 objets totalisant environ 132 To, organisés sous un chemin de données unique et accessibles à tous, sans impact sur le laboratoire.
Le transfert depuis le NAS du laboratoire a été effectué à l'aide d'une configuration Rclone simple, acheminée via notre UDM Pro Max, qui sert de passerelle, à un débit constant d'un peu plus de 2 Gbit/s pendant toute la durée du transfert. À ce débit, le transfert de 130 To a nécessité environ 10 jours de transfert continu. Les graphiques ci-dessous illustrent ce temps de transfert, à la minute et de manière cumulative.
Utilisation du WAN pendant le transfert
Le tableau de bord réseau UniFi du laboratoire confirme les caractéristiques de chargement durant la période de transfert. L'interface WAN indique que Backblaze est l'application dominante en termes de volume de trafic, avec un débit montant de 2.27 Gbit/s et une consommation mensuelle de données WAN de 90.9 To enregistrée sur la période. La connexion est restée stable tout au long du transfert, sans perte de paquets significative.
Le tableau de bord UniFi affiche un débit montant soutenu de plus de 2 Gbit/s, Backblaze étant l'application WAN principale pendant la période de transfert.
Débit de transfert par minute
Le graphique ci-dessous illustre le débit de transfert mesuré par minute sur une période représentative du chargement. Les barres atteignent régulièrement entre 15 et 16 gigaoctets par minute, ce qui correspond à un débit de ligne soutenu d'environ 2 Gbit/s. Les brèves interruptions visibles sur le graphique correspondent à des pauses de validation de somme de contrôle effectuées périodiquement pendant le transfert afin de garantir l'intégrité des données avant de poursuivre.
Débit de transfert en octets par minute pendant le chargement, affichant un débit constant entre 15 et 16 Go par minute sur toute la fenêtre de transfert active.
Progrès cumulatif des transferts
Le graphique cumulatif des octets transférés illustre la progression linéaire et constante des données, passant de 0 à environ 100 To sur cette période. Cette stabilité, observée sur l'ensemble de la période, témoigne de la fluidité du transfert, sans interruption majeure ni baisse de débit.
Disposition finale des seaux
Backblaze a créé le bucket pi-314-trillion, qui contient l'ensemble des 628 fichiers et dont la taille confirmée est de 132 210,5 Go. Ce bucket est configuré comme privé, conserve toutes les versions des fichiers et est accessible via le point de terminaison compatible S3 à l'adresse s3.us-west-004.backblazeb2.com. Le stockage objet simplifie la gestion d'un ensemble de données de cette ampleur. Chaque fichier est adressable individuellement, la liste complète peut être récupérée par programmation et il n'y a aucune hiérarchie de système de fichiers ni limite de volume à contourner.
La console Backblaze B2 affiche le bucket pi-314-trillion confirmant 628 fichiers, une taille totale de 132 210,5 Go et le point de terminaison compatible S3.
Accéder à l'ensemble de données
Des chercheurs nous demandent d'accéder à ces données ; d'ailleurs, un projet est déjà en cours. Michael Kleber est ingénieur logiciel principal chez Google, mais il étudie les décimales de pi depuis l'obtention de son doctorat en mathématiques en 1999. Les mathématiciens considèrent pi comme un nombre normal , il est donc raisonnable de se demander : « Parmi les 10^d séquences de d chiffres, laquelle met le plus de temps à apparaître dans pi, et combien de chiffres faut-il ? » Kleber a mené la recherche jusqu'à d = 7, et lorsque Fabrice Bellard a calculé 2.7 billions de décimales de pi en 2009, Kleber l'a encouragé à étendre ses recherches jusqu'à d = 11, la limite du possible à l'époque. « Avec 314 billions de chiffres aléatoires, il y a environ 79 % de chances de trouver toutes les séquences de longueur 13 », explique Kleber, « alors j'espère que nous aurons de la chance ! » Nous nous attendons à ce que cela se produise beaucoup plus souvent maintenant que Backblaze a rendu les données accessibles à tous.
L'ensemble de données PI est hébergé sur Backblaze B2 et peut être téléchargé par toute personne souhaitant l'utiliser. L'accès se fait via un lien de demande permettant d'obtenir des identifiants ou les instructions de téléchargement pour récupérer les fichiers. Backblaze hébergera l'ensemble de données afin d'en garantir la disponibilité pour la recherche et la vérification pendant toute la durée de l'hébergement.
Options de téléchargement
Les utilisateurs peuvent récupérer des fichiers individuels ou l'intégralité des 130 To de données, selon leurs besoins. Le bucket est structuré de manière à ce que chaque objet puisse être accédé et téléchargé directement, sans avoir à récupérer l'ensemble des données. Pour ceux qui souhaitent tout récupérer, une synchronisation complète du bucket peut être effectuée à l'aide des outils décrits ci-dessous. Cette option nécessite 135 To d'espace libre.
Outils recommandés
- Rclone est l'outil recommandé pour accéder à l'ensemble de données. Il s'intègre parfaitement à Backblaze B2 et permet aux utilisateurs d'adapter le processus de téléchargement à leurs besoins en bande passante.
- API compatible S3Ainsi, tout outil de téléchargement compatible avec S3 peut être utilisé pour récupérer les données. La seule condition est que cet outil permette de modifier l'URL du point de terminaison S3 par défaut afin de pointer vers le point de terminaison B2 plutôt que vers AWS.
Un exemple concret d'infrastructure hybride
Notre calcul de Pi à 314 billions de décimales illustre parfaitement ce à quoi ressemble une infrastructure hybride en pratique. Le calcul a été entièrement exécuté sur un seul serveur Dell PowerEdge R7725 du laboratoire StorageReview. Cependant, le système devant être réaffecté à d'autres projets et tâches une fois le calcul terminé, conserver en permanence 130 To de résultats au sein du laboratoire n'était pas une solution viable.
Le désir de mettre les données à la disposition de ceux qui souhaitent les utiliser, que ce soit pour des travaux scientifiques rigoureux ou par simple curiosité, est bien réel. Cependant, héberger un ensemble de données de cette taille au sein du laboratoire représente rapidement une charge importante pour les opérations. La bande passante est saturée, l'infrastructure est constamment sollicitée et les tâches quotidiennes du laboratoire sont perturbées par chaque requête de téléchargement.
Une solution comme Backblaze B2 élimine tous ces obstacles. Les données résident dans une infrastructure cloud conçue spécifiquement pour les volumes de données de cette envergure, avec un débit évolutif, de multiples points de redondance pour garantir leur intégrité, et la sécurité ainsi que l'expertise opérationnelle propres aux plateformes de stockage d'entreprise. Les ressources de calcul étaient hébergées sur site car le projet l'exigeait. Le stockage est dans le cloud car c'est tout simplement la solution la plus adaptée pour la suite.
Amazon