Black Mirror devient réalité : la manipulation des données par les hackers

Pendant trente ans, la cybersécurité a principalement cherché à empêcher le vol de données. L’arrivée des intelligences artificielles connectées aux outils métiers fait émerger une menace bien différente.

Dans un épisode de Black Mirror, des soldats équipés d’un implant perçoivent leurs ennemis sous une forme monstrueuse. Leur environnement physique n’a pas changé, mais la représentation générée par leur système a été altérée. Cette idée résume l’un des prochains grands risques cyber pour les entreprises. Les hackers de demain n’auront pas toujours besoin de bloquer un serveur ou de publier une base de données volée. Ils pourront simplement modifier un chiffre, une source ou une recommandation au moment exact où un humain doit prendre une décision.

Le directeur financier pourrait voir une trésorerie rassurante alors qu’elle se dégrade, tandis que le responsable des achats recevra une recommandation en faveur d’un fournisseur compromis. Le technicien pourrait croire qu’une machine fonctionne normalement, et le comité exécutif lira une synthèse stratégique construite à partir de documents manipulés. Tout semblera fonctionner, ce qui constitue précisément le problème.

Surprotection du secret, sous-protection de la vérité

La cybersécurité repose traditionnellement sur trois propriétés : la confidentialité, l’intégrité et la disponibilité. La confidentialité empêche une personne non autorisée de lire une information, la disponibilité garantit que les services restent accessibles, et l’intégrité as que les données, les logiciels et les décisions ne sont pas modifiés sans autorisation.

Cependant, dans l’imaginaire collectif, une cyberattaque est principalement associée à la confidentialité et à la disponibilité. L’atteinte à l’intégrité, moins visible, peut produire des conséquences plus graves, car l’organisation continue à fonctionner sur la base d’une réalité falsifiée. Le NIST (National Institute of Standards and Technology) consacre plusieurs guides spécifiques aux attaques contre l’intégrité des données, recommandant notamment d’identifier les actifs critiques et de surveiller les modifications.

L’intelligence artificielle amplifie ce risque en ajoutant une chaîne complexe entre la donnée brute et le décideur, composée de modèles, de bases documentaires et d’outils externes. L’utilisateur ne voit généralement pas cette chaîne ; il reçoit une réponse fluide et assurée.

Risques d’une réponse crédible provenant d’une source compromise

Prenons un exemple courant : une entreprise déploie un assistant d’IA interne. Ce modèle ne connaît pas directement les procédures, contrats et tableaux financiers de l’organisation. Lorsqu’un salarié pose une question, le système recherche des passages pertinents dans une base documentaire, puis les transmet au modèle pour construire sa réponse. Cette architecture, appelée RAG (Retrieval-Augmented Generation), crée une nouvelle surface d’attaque.

Un adversaire capable de déposer un document dans le corpus peut influencer les réponses futures. Ce document peut contenir de fausses informations ou des instructions cachées. Lorsqu’un utilisateur pose une question, le système peut récupérer le document empoisonné, interprétant son contenu non comme une simple source, mais comme une instruction.

L’OWASP (Open Web Application Security Project) classe l’injection de prompt parmi les principaux risques liés aux grands modèles de langage, soulignant que l’ajout d’une couche RAG ne supprime pas cette vulnérabilité.

Empoisonnement des données et modification des décisions

Les attaques peuvent se produire pendant l’entraînement ou l’adaptation du modèle par l’introduction de données malveillantes. L’empoisonnement vise à dégrader les performances, introduire un biais ou créer une porte dérobée. Une porte dérobée comportementale peut rester invisible pendant les tests ordinaires, provoquant des comportements indésirables sous certaines conditions.

Le NIST distingue plusieurs catégories d’attaques contre les systèmes d’apprentissage automatique, soulignant que l’enjeu est de sécuriser l’ensemble du cycle de vie du modèle.

Actions automatiques : un danger croissant

Les entreprises connectent progressivement leurs assistants d’IA à divers systèmes, ce qui transforme ces modèles en agents capables d’agir. Par exemple, un agent peut être chargé de lire des courriels entrants et de préparer des paiements. Une facture malveillante pourrait contenir des instructions destinées à l’IA, modifiant des informations critiques sans que l’utilisateur ne s’en rende compte.

L’ANSSI (Agence nationale de la sécurité des systèmes d’information) recommande de limiter les actions automatiques déclenchées à partir d’entrées non maîtrisées et de cloisonner les environnements.

La fraude au tableau de bord

La falsification des données ne vise pas seulement l’IA, mais aussi les sources considérées comme objectives. Un attaquant peut modifier les données d’un outil de business intelligence, altérer des flux de capteurs ou injecter de faux événements dans un système de supervision. Ces manipulations peuvent avoir des conséquences graves dans divers secteurs, de l’industrie à la santé.

Conclusion : construire une sécurité de la réalité

Les entreprises doivent protéger quatre niveaux distincts : la source de l’information, les transformations appliquées, les décisions prises et les actions déclenchées. Cela implique d’identifier clairement l’origine des données, d’exiger des confirmations humaines pour les actions critiques et de maintenir une traçabilité des opérations.

La confiance ne peut plus reposer uniquement sur la vraisemblance. Les systèmes génératifs, bien que performants, nécessitent des mécanismes de vérification robustes pour asr l’intégrité des informations produites.

Ainsi, la question à se poser n’est plus seulement : « Quelqu’un est-il entré dans notre système ? » mais également : « Ce que notre système nous montre est-il encore réel ? »

Source : NIST, OWASP, ANSSI