Au-delà des LLM, les « harnais IA » font grimper la facture du développement
Les experts en intelligence artificielle (IA) soulignent l’importance d’évaluer les modèles non pas en fonction de leur consommation de tokens, mais selon l’efficacité des tâches accomplies. Cette approche, recommandée par LeMagIT, met en avant la nécessité de pondérer les métriques par le taux d’échec ou de faux accomplissement, souvent qualifié de tricherie.
Databricks, éditeur d’une plateforme de gestion de données et d’IA, précise que « les coûts par token constituent souvent un indicateur peu fiable des coûts globaux d’une tâche, en raison des écarts d’efficacité du raisonnement entre les différents modèles ». L’évaluation comparative doit donc se faire au niveau de la tâche, car la structure et la complexité des tâches varient selon les contextes.
Actuellement, les modèles de raisonnement consomment de plus en plus de tokens, favorisant des échanges plus pertinents entre le LLM, les outils et les utilisateurs. Cependant, la pénurie sur le marché du matériel a conduit les fournisseurs de modèles propriétaires à répercuter ces coûts sur leurs clients, ce qui se traduit par une augmentation significative des factures.
Le prix au million de tokens n’est pas un bon indicateur, jugent les spécialistes
Une tendance récente montre que les fournisseurs de LLM tentent de réduire le volume de tokens nécessaires pour générer des réponses, en optimisant les flux de travail pour éliminer les boucles inutiles et autres comportements coûteux. Des modèles comme GPT-5.6 Sol et Claude Opus 4.8 en bénéficient. Bien qu’ils soient plus chers que leurs concurrents, leurs capacités supérieures les rendent plus économes.
Databricks indique que « Sonnet 5 coûte environ 1,7 fois moins cher par token qu’Opus 4.8, mais pour nos tâches, nous avons constaté que Sonnet coûtait 2,09 dollars par tâche contre 1,94 dollar pour Opus 4.8, tout en affichant un taux de réussite inférieur de 6 points de pourcentage (81 % contre 87 %) ». Cette différence s’explique par le fait que Sonnet 5 a nécessité plus de temps et de données, entraînant une consommation de 1,9 fois plus de tokens.
Un modèle open weight comme GLM 5.2, bien que gourmand en tokens, peut être un choix viable grâce à son coût relativement faible et à la qualité de ses résultats. Databricks souligne qu’une combinaison d’outils et de LLMs est essentielle pour obtenir des résultats pertinents dans le domaine du développement.
Ce n’est pas que la faute des modèles : Claude Code et Codex pointé du doigt pour leur inefficience
Les outils utilisés en combinaison avec les LLM jouent un rôle crucial dans le rapport prix-performance. Dans un benchmark qualitatif sur les vulnérabilités du code, Sentry a mis en lumière des différences notables entre le SDK de Claude et Pi, un framework open source développé par Earendil. Claude Opus 4.8, associé au SDK d’Anthropic, a identifié 17 des 86 vulnérabilités pour un coût total de 80 dollars, tandis que le même modèle intégré à Pi a trouvé 24 vulnérabilités pour moins de 22 dollars.
GitHub a également comparé son propre harnais agentique avec Codex et Claude Code, révélant que « le harnais GitHub Copilot atteint des taux de complétion de tâches comparables à ceux des harnais proposés par d’autres fournisseurs de LLM, tout en affichant une consommation de tokens inférieure dans la plupart des configurations », avec une économie d’au moins 30 % de tokens par tâche.
Des essais menés par Databricks montrent que le coût par tâche varie considérablement selon les harnais utilisés, parfois de plus du double, tout en maintenant une qualité similaire. La quantité de contexte fournie par chaque harnais est déterminante.
L’émergence des « méta-harnais IA »
Databricks a lancé Omniagent, un métaharnais open source pour les agents de programmation, visant à orchestrer différents modèles comme Claude Code, Codex et Pi. Ce cadre est compatible avec les API d’OpenAI et d’Anthropic, et un banc d’essai est mis à disposition pour évaluer la pertinence de ce métaharnais selon divers cas d’usage.
Inspiré par des chercheurs de l’Université de Stanford, ce métaharnais pourrait permettre de consommer quatre fois moins de tokens tout en améliorant les résultats d’une tâche de classification de textes. D’autres acteurs, comme Cursor et Jetbrains, développent également des solutions pour gérer les coûts des tokens dans les cycles de développement.
La gestion des coûts liés à la consommation de tokens reste un enjeu majeur pour les entreprises utilisant des modèles d’IA, et l’optimisation des outils et des processus est essentielle pour maintenir une efficacité économique.
Source : LeMagIT, Databricks
