Hot Chips 2026 : La mémoire HBF en préparation
La mémoire HBF, acronyme de High Bandwidth Flash, suscite un intérêt croissant, bien qu’elle ne soit pas encore commercialisée. Une session complète lui a été dédiée lors de la conférence Hot Chips 2026, qui se déroule cette semaine dans la Silicon Valley. Cette technologie se base sur des circuits de NAND, composants essentiels des SSD, intégrés au sein de puces accélératrices, similaire à la mémoire HBM.
L’objectif principal de la mémoire HBF est de rapprocher le stockage des données de travail, telles que les KV Caches et les copies des modèles de langage (LLM), des circuits de calcul. Cette approche vise à réduire les goulets d’étranglement et à augmenter les débits.
15 fois plus de capacité qu’en HBM
Développée par le consortium OCP (Open Compute Platform), la norme HBF propose trois modèles : un circuit de 256 Go avec un débit de 384 Go/s, un autre de 512 Go à 1,5 To/s, et un dernier modèle de 512 Go, mais avec un débit de 3 To/s pour les futures générations. En comparaison, les vitesses de lecture et d’écriture sur un SSD connecté en réseau varient entre 40 et 80 Go/s. En termes de capacité, un circuit HBF offre 15 fois plus qu’un circuit HBM, qui ne dépasse pas 36 Go, tout en maintenant des coûts de fabrication similaires. Par conséquent, un GPU équipé de huit circuits HBF pourrait atteindre 4 To de capacité, contre 288 Go avec HBM.
Cependant, l’OCP considère qu’il serait plus pratique d’utiliser un mélange, avec un quart des composants en HBF et le reste en HBM, car ce dernier atteint déjà un débit de 2,75 To/s. Dans cette configuration, un GPU pourrait disposer d’une capacité de 1,24 To et d’un débit cumulé de 19,5 To/s, par rapport à 22 To/s en HBM seul.
Des contraintes et des perspectives
Anurag Agrawal, architecte de circuits électroniques chez Oxmiq Labs, a présenté deux contraintes techniques à surmonter pour l’implémentation de la mémoire HBF. Premièrement, les données doivent être lues ou écrites par blocs de 64 Ko, tandis que les LLM fonctionnent souvent à une granularité d’un octet. De plus, pour maximiser la bande passante, il serait nécessaire d’écrire un train de 16 blocs, soit 1 Mo à chaque opération.
Deuxièmement, il est essentiel d’intégrer un firmware dans la puce pour gérer l’écriture et limiter l’u des cellules NAND. Ce logiciel devrait également diriger les données vers la HBM ou la HBF, selon les besoins de l’application.
Agrawal envisage également des applications potentielles pour la mémoire HBF, notamment avec les LLM MoE (Mixture of Experts), permettant d’économiser une partie de la mémoire HBM en ne chargeant que les segments nécessaires pour le prompt en cours. De plus, dans un environnement de GPU interconnectés, la mémoire HBF pourrait servir de cache pour stocker les données d’autres GPU, évitant ainsi des temps d’attente liés au réseau.
Néanmoins, la mise en œuvre de ces fonctionnalités nécessitera le développement de nouveaux logiciels, car il ne sera pas possible de remplacer simplement la HBM par de la HBF.
Source : Lemagit.fr
