Un simple curseur qui peut transformer une IA sage en générateur de réponses complètement imprévisibles. Explications.
Lors d’une journée d’été, il est possible de passer l’après-midi à tester différents modèles d’IA sur Hugging Face. L’éventail d’options peut rapidement devenir déroutant, mais après quelques minutes d’hésitation, un modèle est choisi.
Le prompt est prêt, mais une dernière option s’affiche : régler la température du modèle.
La température d’une IA est un paramètre crucial qui influence la nature des réponses générées. Dans le fonctionnement des modèles de langage, chaque mot à générer est déterminé par un calcul de probabilités. La température agit sur ce tirage : une température basse resserre les probabilités sur les mots les plus attendus, rendant les réponses prévisibles et répétitives. À l’inverse, une température élevée élargit ces probabilités, permettant à des mots moins évidents d’être choisis.
Ce curseur de température varie généralement de 0 à 2 selon les plateformes, avec un réglage par défaut de 1.0 sur de nombreux modèles, comme ceux d’Anthropic.
Bien que les utilisateurs puissent ajuster ce paramètre via des API ou des démos communautaires, dans la plupart des chatbots grand public, la gestion de la température est automatique. Une étude d’IBM sur son modèle Granite a montré que pour un même prompt, un réglage à basse température produit des réponses sobres et prévisibles, tandis qu’une température élevée peut générer des réponses plus détaillées et inattendues.
Cependant, des recherches, telles que celles de Peeperkorn et al., indiquent que la température a une corrélation faible avec la nouveauté du texte, une corrélation moyenne avec son incohérence, et aucune avec sa cohésion ou son originalité. En d’autres termes, augmenter la température rend le modèle moins fidèle à son entraînement, sans garantir une plus grande inventivité.
Cette compréhension de la température est essentielle pour quiconque souhaite optimiser ses interactions avec des modèles d’IA.
Source : Numerama
