Une nouvelle méthode pour protéger les enfants contre le contenu illégal généré par l’IA
Avec la popularité croissante de l’intelligence artificielle générative, de nombreux modèles open-source sont désormais accessibles en ligne, permettant à quiconque de les adapter à ses besoins, comme la création de rendus de produits dans un style artistique particulier. Cependant, ces modèles peuvent également tomber entre les mains d’acteurs malveillants qui les optimisent pour produire du contenu illégal, tel que des discours de haine ou des contenus d’abus sexuels sur enfants (CSAM). Ce phénomène s’avère préoccupant : le National Center for Missing and Exploited Children a signalé plus de 1,5 million de cas de CSAM généré par IA en 2025, une hausse par rapport à 67 000 en 2024.
Traditionnellement, les ingénieurs testent les capacités nuisibles de l’IA en incitant le modèle et en inspectant ses résultats, mais cela est impossible pour le CSAM, car il est illégal de générer ce type de contenu aux États-Unis, quelle que soit l’intention. Pour contourner ce dilemme et améliorer la sécurité de l’IA, une équipe de chercheurs du MIT, dirigée par l’étudiant diplômé Vinith Suriyakumar et les professeurs associés Ashia Wilson et Marzyeh Ghassemi, a collaboré avec l’organisation à but non lucratif Thorn pour développer une nouvelle approche d’audit. Cette méthode permet de déterminer si un modèle peut produire du CSAM sans le solliciter directement.
La technique examine les adaptations internes d’un modèle sans jamais générer de sortie. En analysant des représentations cachées, elle peut inférer de manière fiable si un modèle a été spécialisé pour produire des images nuisibles. Lors des tests, la procédure d’audit a identifié des variations de modèles spécialisées dans la génération de CSAM avec une précision de 100 %. Une plateforme d’hébergement pourrait utiliser cette technique pour signaler des modèles non sécurisés et les retirer rapidement ou empêcher leur téléchargement.
Vinith Suriyakumar a déclaré : « Cela ouvre une nouvelle avenue pour les plateformes qui hébergent des modèles open-source et pour les forces de l’ordre afin de tester réellement si un modèle est capable de générer du CSAM. Avant, nous n’avions aucun moyen de mer cela. C’était un énorme point aveugle que certaines personnes exploitaient. Maintenant, nous pouvons aborder un problème de sécurité de l’IA ayant des impacts négatifs graves. »
La méthode développée par les chercheurs est évolutive et relativement peu coûteuse à mettre en œuvre, ce qui est essentiel pour aider les auditeurs à retirer les adaptations nuisibles avant qu’elles ne soient largement diffusées. Les chercheurs prévoient d’évaluer leur technique sur un plus grand nombre de variations de modèles et d’explorer si cette approche peut détecter des capacités nuisibles dans les modèles de base avant qu’ils ne soient adaptés.
Cette recherche a été soutenue, en partie, par le Bridgewater AIA Labs Research Fellowship.
Source : MIT News.
