Quand les modèles d’Anthropic sont détournés à des fins malveillantes
Anthropic a récemment publié son premier rapport sur les usages illégitimes de ses modèles génératifs. Ce document se distingue par son niveau de détail et les efforts de surveillance nécessaires pour en arriver à ces conclusions.
Ce rapport révèle que l’adoption de l’intelligence artificielle (IA) a transformé l’équation des cyber-menaces. Les capacités des modèles génératifs ont réduit le fossé de compétences et d’outillage qui séparait traditionnellement les opérations étatiques des acteurs individuels. L’IA est désormais un accélérateur, optimisant la reconnaissance, le développement d’outils et l’exploitation des vulnérabilités.
Les cyber-opérations observées par Anthropic indiquent que l’IA a évolué d’un rôle d’assistant à celui d’orchestrateur. Les acteurs malveillants utilisent des systèmes multi-agents pour effectuer des tâches allant de la reconnaissance à l’exfiltration de données, souvent de manière autonome. Par exemple, un acteur d’espionnage russe a mis en place un workflow assisté par IA, permettant de reconstruire et redéployer son kit d’outils en cas de détection par les systèmes de sécurité.
Cette autonomie a pour effet de diminuer considérablement le coût opérationnel pour les adversaires. Alors que les défenseurs pouvaient auparavant ralentir un attaquant en déployant de nouvelles détections, certains adversaires sont désormais en me de resserrer l’étau plus rapidement, laissant peu de temps aux équipes de défense. L’impact de l’IA se me en termes de vitesse, d’échelle et de profondeur, permettant à des campagnes multi-victimes d’être menées par des opérateurs individuels, ce qui nécessitait auparavant de nombreuses équipes spécialisées.
L’influence de l’IA s’étend au-delà des opérations informatiques, devenant centrale dans les campagnes d’influence, la surveillance étatique et la recherche et développement. Dans le domaine de l’information, l’IA permet de produire et diffuser du contenu à grande échelle tout en le personnalisant. Des acteurs ont utilisé l’IA pour rédiger des articles de presse dans une douzaine de langues, les adaptant à différents publics tout en les présentant comme des médias locaux indépendants.
Dans le domaine de la surveillance, l’IA est intégrée dans les dispositifs de sécurité étatiques. Des acteurs liés à l’État chinois s’en servent pour produire des « notes de situation » quotidiennes, cataloguant dissidents et communautés ethniques. Des groupes iraniens utilisent également l’IA pour développer des systèmes de surveillance.
En ce qui concerne la recherche et développement, l’IA est utilisée pour concevoir des spécifications pour des systèmes militaires, tels que des logiciels pour des drones kamikazes autonomes.
Enfin, l’IA est devenue un actif économique et stratégique. La distillation illicite, qui consiste à extraire les capacités d’un modèle de pointe pour les répliquer dans un modèle plus petit, est souvent menée par des laboratoires en Chine, utilisant des comptes frauduleux. Anthropic accuse Alibaba d’avoir réalisé la plus grande attaque de distillation observée, ciblant des transcriptions de raisonnement de ses modèles.
L’accès à l’IA est également devenu un marché. Certains groupes exploitent des clés API et jetons de session pour alimenter leurs opérations, allant jusqu’à créer des revendeurs frauduleux offrant un accès « à prix réduit ».
L’intelligence artificielle, loin d’être un simple outil d’aide à la décision, se transforme en moteur d’accélération qui redéfinit les frontières de l’opérationnel, de l’influence et de la recherche. Les modèles de langage sont devenus des actifs stratégiques pour les acteurs malveillants, les États et les entreprises.
Source : Rapport d’Anthropic sur les usages illégitimes de ses modèles génératifs.
