Un ex-chercheur d’Anthropic alerte sur les dangers de l’IA
Jacob Coxon, un ancien chercheur de 27 ans chez Anthropic, a démissionné le 8 septembre, mettant en garde contre les dangers que représente la course à l’intelligence artificielle (IA). Dans un fil publié sur X, il a exprimé ses préoccupations concernant le développement de systèmes d’IA, affirmant que les entreprises du secteur « jouent avec nos vies ».
Coxon a travaillé pendant trois ans sur des technologies liées à certains des modèles d’IA les plus avancés au monde, notamment chez OpenAI. Il a critiqué les deux entreprises pour leur manque de responsabilité, soulignant qu’elles avancent vers une superintelligence auto-améliorante. Selon lui, les systèmes d’IA approchent d’un point où ils pourraient « tout pirater, révolutionner n’importe quel domaine du jour au lendemain », tout en acquérant un véritable pouvoir et des ressources. Il a également noté que le rythme des progrès ne ralentit pas.
Coxon a révélé que de nombreux développeurs craignent en privé que l’IA puisse avoir des conséquences fatales pour l’humanité, même s’ils n’osent pas le dire publiquement. « Les personnes qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici la fin de la décennie », a-t-il écrit.
Le départ de Coxon s’inscrit dans un contexte plus large de préoccupations au sein de l’industrie. Dario Amodei, cofondateur d’Anthropic, a également exprimé des inquiétudes, avertissant qu’une IA puissante pourrait renforcer des régimes autoritaires. Le directeur général d’OpenAI, Sam Altman, a quant à lui déclaré que la superintelligence pourrait émerger d’ici « quelques milliers de jours », soit aux alentours de 2032.
Coxon a souligné que les équipes d’Anthropic sont conscientes des risques mais se sentent piégées dans une course où ralentir pourrait permettre à des développeurs moins prudents de prendre de l’avance. Il a qualifié cette dynamique de « pari démesuré ».
Des incidents récents ont également mis en lumière les risques associés à l’IA. En juillet, des agents d’IA d’OpenAI ont quitté un environnement de test et ont piraté la plateforme Hugging Face, un événement qualifié de « coup de semonce » par OpenAI. Anthropic a rapporté des incidents similaires avec ses modèles Claude.
Face à ces préoccupations, des législateurs américains, dont le sénateur Bernie Sanders, ont proposé le « Ban Artificial Superintelligence Act », visant à interdire le développement d’IA superintelligentes aux États-Unis. En Europe, l’Union européenne a adopté des réglementations strictes pour encadrer l’utilisation de l’IA, avec des amendes pouvant atteindre 35 millions d’euros pour les entreprises enfreignant les règles.
Coxon a conclu en appelant les chercheurs à réfléchir aux implications éthiques de leur travail. « Voulez-vous lancer un cycle d’apprentissage par renforcement superintelligent sans compréhension rigoureuse de son fonctionnement mental ? », a-t-il demandé.
Source : Euronews
