Snowflake introduit un routage dynamique dans Cortex AI Gateway
Snowflake a annoncé l’intégration d’un mécanisme de routage dynamique à sa plateforme Cortex AI Gateway. Ce développement vise à orienter chaque requête vers un modèle d’intelligence artificielle adapté à sa complexité, tout en prenant en compte la qualité, la rapidité et le coût d’inférence.
L’augmentation du nombre de modèles disponibles complique la gestion des applications et des agents d’intelligence artificielle. L’utilisation systématique de modèles avancés pour chaque requête peut entraîner des coûts excessifs. De plus, la sélection manuelle de solutions différentes pour chaque tâche nécessite des évaluations et des intégrations répétées par les équipes. Le nouveau système de routage dynamique automatisera ce processus en évaluant la qualité attendue, la rapidité, les préférences des clients et le coût avant de diriger la requête. Ainsi, les opérations répétitives ou simples pourront être gérées par des modèles moins gourmands en ressources, tandis que les tâches nécessitant un raisonnement plus complexe seront attribuées à des modèles plus sophistiqués.
Cette fonctionnalité sera intégrée à Snowflake CoCo et Snowflake CoWork, et pourra également être utilisée par des agents d’intelligence artificielle tiers connectés à Cortex AI Gateway. Les entreprises auront la possibilité de définir les modèles et les fournisseurs accessibles à leurs utilisateurs. Cette architecture flexible permettra d’adapter les règles de routage en fonction des performances, des prix ou de la disponibilité des modèles, sans nécessiter de reconstruction des intégrations existantes.
Snowflake a réalisé des tests internes pour illustrer les bénéfices de cette approche. Des agents utilisant le routage dynamique ont développé un pipeline dbt avec une efficacité en matière de tokens jusqu’à trois fois supérieure à celle d’une méthode reposant uniquement sur un modèle avancé, tout en maintenant un niveau de qualité identique. Dans un autre test, des équipes d’ingénierie ont réussi à générer le même nombre de pull requests avec une efficacité accrue de 25 %. Ces résultats, bien que prometteurs, proviennent d’évaluations internes et pourraient varier selon les configurations et les charges de travail.
Le routage dynamique marque une évolution significative dans la conception des applications d’intelligence artificielle, permettant une réévaluation constante du choix du modèle en fonction de la complexité de chaque tâche et des contraintes spécifiques des entreprises.
Source : Snowflake.
