L’inférence coûtera bientôt plus cher que l’entraînement des modèles
FAIT PRINCIPAL :
Amin Vahdat, responsable de l’infrastructure mondiale chez Google, a déclaré lors du Raise Summit que l’inférence, qui consiste à utiliser des modèles d’intelligence artificielle (IA), pourrait bientôt dépasser les coûts d’entraînement des modèles eux-mêmes.
CONTEXTE FACTUEL :
Vahdat supervise une infrastructure qui soutient des services majeurs tels que Google Search, YouTube et Google Cloud, ainsi que le modèle d’IA Gemini, développé par DeepMind. Il a souligné l’importance de l’équilibre entre la qualité des modèles et leur coût opérationnel, précisant que l’optimisation des ressources est essentielle pour rendre ces technologies viables à grande échelle.
DONNÉES OU STATISTIQUES :
Il a observé une tendance historique dans le domaine du traitement des données, où les ressources étaient principalement allouées à la construction d’index, mais où la demande a progressivement basculé vers le service aux utilisateurs. Actuellement, la capacité d’inférence s’approche d’un équilibre de 50/50 avec l’entraînement. Vahdat a également noté que des clients peuvent rapidement augmenter leur demande de capacités de traitement, passant de quelques unités à plusieurs milliers.
CONSÉQUENCE DIRECTE :
Si cette tendance se poursuit, les entreprises devront ajuster leur infrastructure et leurs investissements pour répondre à une demande croissante en matière d’inférence, ce qui pourrait transformer la manière dont les ressources sont allouées dans l’écosystème de l’IA.
SOURCE :
JDN.
