FlashBlade//EXA d’Everpure atteint des performances exceptionnelles dans les tests de cache KV
Everpure a annoncé que son système de stockage FlashBlade//EXA a atteint des performances remarquables lors des tests de cache KV de MLPerf Storage v3.0, avec un résultat culminant à 85 736 tokens par seconde. Ce benchmark met en lumière l’importance du stockage non seulement pendant l’entraînement des modèles d’intelligence artificielle, mais également lors de l’inférence.
Les tests ont révélé que, sur une charge Llama 3.1 8B utilisant uniquement le stockage, FlashBlade//EXA atteint 85 736 tokens par seconde. Pour une charge 8B combinant stockage et mémoire, le système fournit 67 642 tokens par seconde, tandis qu’une charge 70B utilisant uniquement le stockage affiche un résultat de 33 403 tokens par seconde. Ces résultats se concentrent sur la récupération rapide des données du cache, distincte du processus de checkpointing qui consiste à sauvegarder l’état d’un entraînement.
À me que les charges de travail en intelligence artificielle augmentent en complexité, la performance ne repose plus uniquement sur le nombre de GPU ou d’accélérateurs. Le stockage doit également être en me de fournir les données à la vitesse requise par les ressources de calcul. Rob Lee, Chief Technology and Growth Officer d’Everpure, souligne que les organisations à la pointe du développement de l’IA nécessitent une infrastructure capable de garantir des niveaux élevés de performance et d’évolutivité, tout en maintenant fiabilité et simplicité opérationnelle.
Les résultats de MLPerf Storage v3.0 illustrent ainsi le rôle croissant du stockage dans le domaine de l’intelligence artificielle, tant lors de l’entraînement que de l’inférence des modèles.
Source : Everpure, MLPerf Storage v3.0
