Nutanix mise sur un seul GPU pour personnaliser les petits modèles d’IA
Nutanix a annoncé la disponibilité de sa mise à jour Enterprise AI 2.8, permettant d’ajuster des modèles ouverts de moins de huit milliards de paramètres en utilisant un seul GPU. Cette version intègre également plusieurs options visant à accélérer l’inférence et à déployer des modèles dans des environnements privés.
La personnalisation d’un modèle et son déploiement nécessitent des ressources variées à différentes étapes du projet. Avec NAI 2.8, Nutanix renforce ces deux aspects : l’ajustement aux données privées et l’exécution des modèles en production.
Un périmètre précis pour la personnalisation
L’ajustement fin permet de modifier un modèle existant à partir de données privées. Nutanix précise que cette opération peut être réalisée avec une infrastructure dotée d’un seul GPU pour les modèles de moins de huit milliards de paramètres. Cette fonctionnalité offre aux équipes d’intelligence artificielle une nouvelle option pour adapter ces modèles à leurs besoins. En matière d’inférence, la plateforme supporte plusieurs GPU grâce au parallélisme de tenseurs et au traitement par lots, complétant ainsi la personnalisation sur un seul GPU avec des ressources adaptées à l’exécution des modèles.
Accélérer la génération et suivre les usages
Nutanix Private Inference introduit le décodage spéculatif, qui peut multiplier par 2,5 la vitesse de génération de tokens, selon l’éditeur. Cette amélioration vise à augmenter la rapidité des réponses générées. Le déploiement est également conçu pour respecter des contraintes d’isolement. NAI prend en charge NVIDIA NIM dans des environnements isolés du réseau, et son interface unifiée permet de suivre la consommation de tokens ainsi que d’asr des fonctions d’observabilité.
Source : Nutanix
