Elles « jouent avec nos vies » : un chercheur en IA quitte Anthropic
Un chercheur en intelligence artificielle, Jacob Coxon, a récemment quitté l’industrie, accusant les laboratoires Anthropic et OpenAI de « jouer avec nos vies » dans leur quête pour développer des IA capables de s’améliorer de manière autonome. À 27 ans, ce Britannique avait travaillé pendant trois ans sur le pré-entraînement des modèles, d’abord chez OpenAI, puis chez Anthropic.
Coxon a exprimé ses préoccupations sur X, affirmant que « aucune des deux entreprises n’agit de manière responsable ». Il a souligné que les concepteurs d’IA croyaient sincèrement que ces technologies pourraient représenter une menace mortelle d’ici la fin de la décennie, qualifiant ses avertissements de non marketing.
Evan Hubinger, responsable de la sûreté chez Anthropic, a corroboré ces inquiétudes, estimant que le risque que l’IA puisse tuer tous les humains était supérieur à 10 % dans la prochaine décennie. Il a reconnu qu’Anthropic n’avait pas encore de plan pour garantir que des IA plus puissantes obéissent à leurs créateurs, tout en jugeant « faible » le risque des modèles actuels.
La démission de Coxon survient alors qu’Anthropic se prépare à une introduction en bourse. Cet été, des incidents de piratage impliquant des outils d’IA en test ont également soulevé des inquiétudes. Les deux entreprises n’ont pas encore réagi aux déclarations de Coxon. Les experts du secteur évoquent un stade critique d’« auto-amélioration récursive », où un modèle pourrait concevoir son propre successeur sans contrôle humain.
Coxon a noté que ses collègues décrivent cette situation comme un « crunchtime » ou un « endgame », soulignant que le développement responsable d’une IA surpassant les humains nécessiterait une intervention étatique ou un ralentissement coordonné.
En ce sens, il a critiqué la culture de compétition au sein d’Anthropic, où les enjeux sont compris mais où la pression pour être le premier à atteindre ces objectifs prévaut. En février, Anthropic a retiré de sa charte de sûreté l’engagement de suspendre le développement si les risques devenaient incontrôlables, arguant qu’une pause unilatérale favoriserait les acteurs moins prudents.
Fin juillet, plus d’un millier de professionnels du secteur, y compris Dario Amodei, le directeur d’Anthropic, ont appelé à la mise en place d’un mécanisme de freinage. OpenAI a suspendu certaines de ses formations pendant deux semaines en août, tandis qu’Anthropic a encouragé l’industrie à adopter rapidement un mécanisme de ralentissement vérifiable.
Le chef scientifique d’OpenAI, Jakub Pachocki, a récemment déclaré que le moment actuel nécessitait une extrême prudence et que la coordination internationale devait devenir une priorité pour les gouvernements. Actuellement, aucune législation fédérale ne régule ces modèles aux États-Unis, où une approche légère est privilégiée. Une proposition de loi déposée début septembre par le sénateur Bernie Sanders et le représentant démocrate Greg Casar vise à suspendre le développement des IA jusqu’à la création d’un régulateur.
(Source : AFP)
