Anthropic alerte sur la perte de contrôle humain face à l’auto-amélioration récursive de l’IA
Le cofondateur d’Anthropic, Jack Clark, a appelé jeudi l’industrie de l’intelligence artificielle à se doter d’un mécanisme de frein avant que les systèmes d’IA ne commencent à se développer de manière entièrement autonome, sans intervention humaine. L’avertissement, formulé dans un entretien accordé à la BBC et étayé par un billet de blog publié le même soir, intervient alors que la société reconnaît que 80 % de ses travaux de codage sont déjà réalisés par son modèle Claude.
Une industrie dotée d’un accélérateur, mais sans frein
Clark a usé d’une métaphore automobile pour illustrer le déséquilibre structurel du secteur : « L’industrie de l’IA dispose aujourd’hui d’une pédale d’accélérateur, mais elle n’a pas de pédale de frein dans la voiture, et nous voulons contribuer à construire cette pédale. » Il a précisé que la proportion de code produit par Claude pourrait atteindre 100 % d’ici quelques années, tout en soulignant qu’il s’agit d’un choix délibéré des entreprises de laisser la technologie progresser à ce rythme.
Ce phénomène porte un nom technique : l’auto-amélioration récursive. Il désigne la capacité d’une IA à s’améliorer elle-même sans supervision humaine, un seuil que les chercheurs d’Anthropic estiment désormais plus proche qu’anticipé.
Des agents capables de concevoir leurs propres successeurs
Dans le scénario décrit par Anthropic, les agents d’IA — ces entités autonomes générées par un modèle de langage — pourraient devenir suffisamment performants pour concevoir et entraîner eux-mêmes de nouveaux modèles. En d’autres termes, Claude pourrait être continuellement amélioré par Claude lui-même, sans que des ingénieurs humains n’interviennent dans la boucle de développement.
La société cite plusieurs indicateurs internes pour étayer cette trajectoire : le taux de corrections apportées par ses équipes au code produit par Claude diminue régulièrement depuis un an, signe d’une réduction des erreurs. Le modèle est par ailleurs capable de conduire ses propres expériences de recherche sur des questions ouvertes — par exemple : « Un modèle moins puissant peut-il superviser un modèle plus capable ? » — et de formuler des solutions sans aide extérieure.
Des bénéfices potentiels contrebalancés par des risques systémiques
Anthropic reconnaît que l’IA récursive pourrait générer des avancées significatives dans des domaines tels que la recherche scientifique et la santé. Toutefois, la société avertit explicitement que cette dynamique risque d’augmenter « le risque que les humains perdent le contrôle des systèmes d’IA ».
« Si les systèmes sont capables de construire entièrement leurs propres successeurs, la manière dont nous les sécurisons, les surveillons et façonnons leur comportement devient d’autant plus cruciale », souligne le billet de blog. Le rôle des humains, précise Anthropic, « se réduit à chaque étape du processus de développement ».
Un mécanisme de vérification à construire collectivement
Pour répondre à ce défi, Anthropic annonce que son institut de recherche travaillera à l’élaboration d’un système de vérification indépendant, destiné à contrôler si les développeurs ont effectivement ralenti ou interrompu leur marche vers l’IA récursive.
La société reconnaît néanmoins que l’efficacité d’un tel dispositif dépend d’une condition difficile à réunir : il faudrait que plusieurs laboratoires bien financés, opérant à la frontière technologique, dans plusieurs pays, acceptent de s’arrêter simultanément et selon les mêmes critères. Une coordination internationale dont l’absence constitue précisément l’un des principaux angles morts de la gouvernance mondiale de l’IA.