Le cofondateur d’Anthropic, Jack Clark<\/strong>, a appel\u00e9 jeudi l’industrie de l’intelligence artificielle \u00e0 se doter d’un m\u00e9canisme de frein avant que les syst\u00e8mes d’IA ne commencent \u00e0 se d\u00e9velopper de mani\u00e8re enti\u00e8rement autonome, sans intervention humaine. L’avertissement, formul\u00e9 dans un entretien accord\u00e9 \u00e0 la BBC et \u00e9tay\u00e9 par un billet de blog publi\u00e9 le m\u00eame soir, intervient alors que la soci\u00e9t\u00e9 reconna\u00eet que 80 % de ses travaux de codage<\/strong> sont d\u00e9j\u00e0 r\u00e9alis\u00e9s par son mod\u00e8le Claude.<\/p>\n<\/p>\n Clark a us\u00e9 d’une m\u00e9taphore automobile pour illustrer le d\u00e9s\u00e9quilibre structurel du secteur : \u00ab L’industrie de l’IA dispose aujourd’hui d’une p\u00e9dale d’acc\u00e9l\u00e9rateur, mais elle n’a pas de p\u00e9dale de frein dans la voiture, et nous voulons contribuer \u00e0 construire cette p\u00e9dale. \u00bb<\/em> Il a pr\u00e9cis\u00e9 que la proportion de code produit par Claude pourrait atteindre 100 %<\/strong> d’ici quelques ann\u00e9es, tout en soulignant qu’il s’agit d’un choix d\u00e9lib\u00e9r\u00e9 des entreprises de laisser la technologie progresser \u00e0 ce rythme.<\/p>\n<\/p>\n Ce ph\u00e9nom\u00e8ne porte un nom technique : l’auto-am\u00e9lioration r\u00e9cursive<\/strong>. Il d\u00e9signe la capacit\u00e9 d’une IA \u00e0 s’am\u00e9liorer elle-m\u00eame sans supervision humaine, un seuil que les chercheurs d’Anthropic estiment d\u00e9sormais plus proche qu’anticip\u00e9.<\/p>\n<\/p>\n Dans le sc\u00e9nario d\u00e9crit par Anthropic, les agents d’IA<\/strong> \u2014 ces entit\u00e9s autonomes g\u00e9n\u00e9r\u00e9es par un mod\u00e8le de langage \u2014 pourraient devenir suffisamment performants pour concevoir et entra\u00eener eux-m\u00eames de nouveaux mod\u00e8les. En d’autres termes, Claude pourrait \u00eatre continuellement am\u00e9lior\u00e9 par Claude lui-m\u00eame, sans que des ing\u00e9nieurs humains n’interviennent dans la boucle de d\u00e9veloppement.<\/p>\n<\/p>\n La soci\u00e9t\u00e9 cite plusieurs indicateurs internes pour \u00e9tayer cette trajectoire : le taux de corrections apport\u00e9es par ses \u00e9quipes au code produit par Claude diminue r\u00e9guli\u00e8rement depuis un an<\/strong>, signe d’une r\u00e9duction des erreurs. Le mod\u00e8le est par ailleurs capable de conduire ses propres exp\u00e9riences de recherche sur des questions ouvertes \u2014 par exemple : \u00ab Un mod\u00e8le moins puissant peut-il superviser un mod\u00e8le plus capable ? \u00bb<\/em> \u2014 et de formuler des solutions sans aide ext\u00e9rieure.<\/p>\n<\/p>\n Anthropic reconna\u00eet que l’IA r\u00e9cursive pourrait g\u00e9n\u00e9rer des avanc\u00e9es significatives dans des domaines tels que la recherche scientifique<\/strong> et la sant\u00e9<\/strong>. Toutefois, la soci\u00e9t\u00e9 avertit explicitement que cette dynamique risque d’augmenter \u00ab le risque que les humains perdent le contr\u00f4le des syst\u00e8mes d’IA \u00bb<\/em>.<\/p>\n<\/p>\n \u00ab Si les syst\u00e8mes sont capables de construire enti\u00e8rement leurs propres successeurs, la mani\u00e8re dont nous les s\u00e9curisons, les surveillons et fa\u00e7onnons leur comportement devient d’autant plus cruciale \u00bb<\/em>, souligne le billet de blog. Le r\u00f4le des humains, pr\u00e9cise Anthropic, \u00ab se r\u00e9duit \u00e0 chaque \u00e9tape du processus de d\u00e9veloppement \u00bb<\/em>.<\/p>\n<\/p>\n Pour r\u00e9pondre \u00e0 ce d\u00e9fi, Anthropic annonce que son institut de recherche travaillera \u00e0 l’\u00e9laboration d’un syst\u00e8me de v\u00e9rification ind\u00e9pendant<\/strong>, destin\u00e9 \u00e0 contr\u00f4ler si les d\u00e9veloppeurs ont effectivement ralenti ou interrompu leur marche vers l’IA r\u00e9cursive.<\/p>\n<\/p>\n La soci\u00e9t\u00e9 reconna\u00eet n\u00e9anmoins que l’efficacit\u00e9 d’un tel dispositif d\u00e9pend d’une condition difficile \u00e0 r\u00e9unir : il faudrait que plusieurs laboratoires bien financ\u00e9s, op\u00e9rant \u00e0 la fronti\u00e8re technologique, dans plusieurs pays<\/strong>, acceptent de s’arr\u00eater simultan\u00e9ment et selon les m\u00eames crit\u00e8res. Une coordination internationale dont l’absence constitue pr\u00e9cis\u00e9ment l’un des principaux angles morts de la gouvernance mondiale de l’IA.<\/p>","protected":false},"excerpt":{"rendered":" Anthropic alerte sur la perte de contr\u00f4le humain face \u00e0 l’auto-am\u00e9lioration r\u00e9cursive de l’IA Le cofondateur d’Anthropic, Jack Clark, a appel\u00e9 jeudi l’industrie de l’intelligence artificielle \u00e0 se doter d’un m\u00e9canisme de frein avant que les syst\u00e8mes d’IA ne commencent \u00e0 se d\u00e9velopper de mani\u00e8re enti\u00e8rement autonome, sans intervention humaine. L’avertissement, formul\u00e9 dans un entretien […]<\/p>\n","protected":false},"author":2,"featured_media":2861,"comment_status":"open","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11,7],"tags":[],"class_list":["post-2862","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-actualites","category-culture"],"blocksy_meta":[],"yoast_head":"\nUne industrie dot\u00e9e d’un acc\u00e9l\u00e9rateur, mais sans frein<\/h2>\n<\/p>\n
Des agents capables de concevoir leurs propres successeurs<\/h2>\n<\/p>\n
Des b\u00e9n\u00e9fices potentiels contrebalanc\u00e9s par des risques syst\u00e9miques<\/h2>\n<\/p>\n
Un m\u00e9canisme de v\u00e9rification \u00e0 construire collectivement<\/h2>\n<\/p>\n