Beaucoup de fournisseurs ont livré des IA bâclées, sans la télémétrie nécessaire
David Girard, directeur de la sécurité de l’IA et des partenariats chez TrendAI, a récemment souligné la nécessité d’établir un cadre de traçabilité pour les systèmes d’intelligence artificielle (IA). Il a fondé un groupe de travail au sein de la Coalition pour la sécurité de l’IA (CoSAI) pour s’attaquer à ce problème.
Depuis 2024, Girard a identifié un manque crucial de journalisation dans les systèmes d’IA, où de nombreuses bases de données vectorielles utilisées par les IA génératives ne produisaient pas de logs. Sans ces enregistrements, il est difficile de détecter les menaces cybernétiques générées par ces technologies.
En décembre 2025, Girard a présenté une première version d’un cadre de télémétrie de l’IA à des experts. Ce groupe, composé de représentants de grandes entreprises technologiques telles que Microsoft, Google, Meta et TrendAI, a pour mission d’améliorer ce cadre et de proposer une version bêta d’ici décembre 2026. Ce cadre vise à établir des normes concernant les logs à générer pour suivre le comportement des IA, incluant les inputs et outputs, les étapes de raisonnement et l’exécution de scripts.
Malgré des rapports publiés par des fournisseurs comme Anthropic, qui détaillent comment des groupes cybercriminels exploitent leurs modèles, la collecte de télémétrie reste sous le contrôle des éditeurs. Les clients n’ont pas accès aux logs, ce qui complique les enquêtes sur les abus potentiels. Bien qu’Anthropic ait récemment proposé des logs limités sur l’utilisation de son IA, ceux-ci ne permettent pas une analyse approfondie des comportements malveillants.
Girard attribue ce manque de télémétrie aux pratiques de développement précipitées de nombreux fournisseurs d’IA, qui ont lancé des produits sans les outils de suivi nécessaires. Même pour les organisations qui choisissent d’installer des IA open source sur leurs propres serveurs, la collecte de logs reste un défi. Ces systèmes ne sont pas conçus pour générer des logs de sécurité, et les utilisateurs doivent souvent établir des standards de logs compatibles de manière indépendante, ce qui nécessite des compétences techniques avancées.
Le groupe de travail de Girard vise à convaincre les experts en open telemetry et en open cybersecurity schema framework d’intégrer leur cadre aux normes existantes. Ils souhaitent également influencer les futures versions de la norme ISO 42001, qui porte sur la gestion de l’IA, pour garantir la génération et la collecte de logs essentiels.
Source : TrendAI.
