« Le casse de la mémoire » de Claude : comment un site piégé a poussé l'IA à divulguer toutes vos données

Le casse de la mémoire : une faille dans l’IA Claude expose les données des utilisateurs

Un chercheur en cybersécurité, Ayush Paul, a découvert qu’un simple site web piégé pouvait inciter Claude, l’intelligence artificielle générative d’Anthropic, à divulguer des informations sensibles telles que le nom, l’employeur et la ville d’origine de l’utilisateur. Cette vulnérabilité repose sur la mémoire extensive de l’IA et sa capacité à naviguer sur Internet pour extraire des informations.

Claude utilise un système de mémoire en deux volets : il mémorise des résumés quotidiens de conversations et possède un outil de recherche dans l’historique des échanges. Cette mémoire permet à l’IA de répondre de manière pertinente aux requêtes des utilisateurs, mais elle pose également des risques en matière de sécurité, car elle peut accumuler des données personnelles et professionnelles.

Depuis 2023, plusieurs modèles de langage, y compris Claude, ont intégré des fonctions de mémoire pour suivre les préférences des utilisateurs. Cependant, cette fonctionnalité peut être exploitée par des cybercriminels. Ayush Paul a démontré qu’en attirant Claude vers un site web piégé, il était possible d’extraire des informations directement de sa mémoire.

Pour cela, il a transformé son site en un « clavier » où chaque lien représentait une lettre. En demandant à Claude d’écrire son prénom en suivant ces liens, l’IA a révélé des informations personnelles. En poussant cette méthode plus loin, Paul a réussi à récupérer le nom complet, l’employeur et la ville d’origine de l’utilisateur.

L’attaque ne nécessite pas d’interaction complexe de la part de l’utilisateur. Par exemple, il suffit de poser une question à Claude sur un café, et l’IA peut involontairement divulguer des informations sensibles. Ce type de faille peut avoir des conséquences graves, notamment en matière de vol d’identité et de chantage.

En réponse à cette découverte, Anthropic a rapidement pris des mes pour corriger la vulnérabilité. L’entreprise a désactivé la fonctionnalité permettant à Claude de suivre des liens externes, limitant ainsi sa capacité à naviguer sur le web de manière autonome.

Cette situation met en lumière les défis de la cybersécurité dans le domaine de l’intelligence artificielle, ainsi que la nécessité d’une vigilance accrue lors de l’utilisation de ces technologies.

Source : Ayush Paul

Source
Leave a Comment

Comments

No comments yet. Why don’t you start the discussion?

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *