Le mot « distillation » est partout depuis que Washington accuse la start-up chinoise Moonshot d’avoir pillé un modèle américain grâce à cette technique. On vous explique les nuances qui se cachent derrière ce terme.
Nous sommes le 22 juillet 2026 et Michael Kratsios, directeur du Bureau de la politique scientifique et technologique de la Maison Blanche, publie sur X une accusation directe : Moonshot AI aurait distillé le modèle Fable 5 d’Anthropic pour produire son propre modèle Kimi K3.
Selon lui, l’entreprise chinoise aurait développé une plateforme interne sophistiquée pour mener une distillation à grande échelle contre des modèles américains, en changeant rapidement de méthode d’accès pour échapper à la détection.
Reste que le responsable américain ne condamne pas la pratique en bloc. Il distingue explicitement la distillation légitime, qu’il juge essentielle à l’écosystème de l’innovation ouverte, de la distillation industrielle massive et clandestine visant à voler de la technologie américaine.
Mais alors, où se situe exactement la ligne entre distillation acceptée et distillation volée ?
La distillation classique : une technique d’entraînement banale
Le concept de la distillation trouve son origine dans un article de 2006, sobrement intitulé « Model Compression ». Sans jamais employer le mot « distillation », trois chercheurs de l’université de Cornell expliquent s’être appuyés sur un modèle d’ensemble ultra performant pour étiqueter un vaste jeu de données. Ils ont ensuite entraîné un unique réseau de neurones sur ces données, aboutissant à un modèle compact « 1 000 fois plus petit et 1 000 fois plus rapide » que l’ensemble d’origine.
Le terme « distillation » n’apparaît qu’en 2015, popularisé par une équipe de chercheurs de Google. Le principe reste le même : transférer les compétences d’un grand modèle déjà entraîné (le « professeur ») vers un modèle plus petit (l’« élève »), permettant à ce dernier de reproduire ses performances sans en avoir la taille ni le coût de calcul.
C’est ainsi qu’a été construit GPT-4o mini, par exemple, sans accès non autorisé à un modèle tiers.
La distillation attack : la même mécanique, sans autorisation
La distillation attack, aussi appelée model extraction attack ou model stealing, repose sur le même principe technique, mais dans un tout autre contexte : l’attaquant n’a ni l’autorisation ni un accès légitime au modèle visé.
Il interroge son API publique massivement, parfois plusieurs millions de fois, collectant systématiquement les paires question/réponse pour entraîner son propre modèle. L’objectif est de créer une réplique quasi identique du modèle ciblé, sans jamais accéder à ses paramètres internes.
L’efficacité de l’attaque repose souvent sur l’exploitation des probabilités fines renvoyées par certains modèles, fournissant plus d’informations sur la distribution interne que la réponse finale, ce qui affine l’apprentissage de l’élève.
Ce qui sépare l’attaque de la distillation classique, c’est le contexte d’accès. Une distillation attack contourne les limites d’usage d’un service commercial, souvent en multipliant les comptes ou en changeant de clé API pour échapper à la détection, exactement ce que Kratsios reproche à Moonshot.
Cette affaire n’est pas isolée. En février 2026, Anthropic a également annoncé avoir détecté des campagnes de distillation à l’échelle industrielle contre ses modèles, menées par plusieurs laboratoires chinois, impliquant plus de 24 000 comptes frauduleux et 16 millions d’échanges.
Source : Numerama
