OpenAI dévoile GPT-Red, l’IA dédiée à la sécurité de ChatGPT
OpenAI a récemment annoncé le lancement de GPT-Red, un modèle d’intelligence artificielle conçu spécifiquement pour identifier les failles de sécurité au sein de ses systèmes, notamment ceux qui alimentent ChatGPT. Cet outil, qui simule des cyberattaques réelles, vise à détecter les vulnérabilités, en particulier celles liées aux injections de requêtes. Actuellement, GPT-Red est réservé à un usage interne et n’est pas accessible au grand public.
Jusqu’à présent, la détection des failles était principalement effectuée par des chercheurs. Avec GPT-Red, OpenAI a choisi d’automatiser ce processus pour accélérer la détection de vulnérabilités. Le modèle a été entraîné avec une puissance de calcul similaire à celle de ses plus grands modèles d’IA, un niveau d’entraînement sans précédent pour un outil de sécurité. OpenAI espère que GPT-Red deviendra autonome dans la détection de ses propres failles avant qu’elles ne soient exploitées par des tiers.
Le modèle est particulièrement axé sur la prévention des attaques par injection de requêtes, où des commandes malveillantes sont insérées dans les requêtes vers l’IA. Ces attaques peuvent amener le système à exécuter des actions nuisibles en interprétant ces instructions comme légitimes. Le risque de telles attaques a augmenté avec la multiplication des agents IA autonomes capables d’interagir avec le web et divers outils.
Pour entraîner GPT-Red, OpenAI l’a mis en compétition avec d’autres modèles d’IA dédiés à la défense. À chaque fois que GPT-Red réussit à contourner les défenses d’un modèle, il est récompensé, tandis que le modèle défensif apprend à se renforcer. Ce processus d’entraînement a conduit à des résultats significatifs, GPT-Red ayant réussi à percer dans 84 % des scénarios testés, comparé à seulement 13 % pour les chercheurs humains.
En outre, OpenAI a découvert une nouvelle catégorie d’attaques, appelée « fake chain-of-thought », qui consiste à induire en erreur le modèle en lui faisant croire qu’il a validé une information incorrecte. Malgré son efficacité, GPT-Red présente encore des angles morts, notamment face aux attaques longues et aux offensives cachées dans des images. Par conséquent, l’expertise humaine en cybersécurité demeure cruciale.
OpenAI a pris la décision de ne pas rendre GPT-Red accessible au public, afin d’éviter tout abus. L’entreprise vise à utiliser cette technologie pour construire des modèles d’IA futurs plus sûrs et résilients, établissant ainsi un « cercle vertueux » en matière de cybersécurité.
Source : 01net
