Le message vient de l’un de ceux qui participent directement à la course.
Dario Amodei, patron d’Anthropic, estime que l’industrie de l’intelligence artificielle doit désormais ralentir le rythme auquel elle augmente les capacités de ses modèles. Dans un nouvel essai intitulé We Must Pace the Frontier, il explique que le problème n’est plus seulement la puissance de l’IA, mais la vitesse à laquelle cette puissance progresse par rapport aux mécanismes de sécurité capables de l’encadrer.
Amodei reste pourtant très optimiste sur ce que l’IA pourrait apporter. Il estime notamment qu’elle pourrait accélérer considérablement la recherche médicale, stimuler la croissance économique et contribuer à résoudre certains problèmes majeurs. Mais pour lui, ces bénéfices ne justifient pas une course sans limites.
Le risque : une IA qui accélère elle-même le développement de l’IA
L’une de ses principales inquiétudes concerne ce qu’on appelle l’amélioration récursive : des systèmes suffisamment avancés pour participer eux-mêmes à la recherche, au codage et à la conception de modèles encore plus puissants.
À partir de là, le progrès pourrait devenir beaucoup plus rapide. Les humains ne seraient plus les seuls à construire la génération suivante d’IA : la génération actuelle participerait elle-même à sa création. C’est précisément ce décalage entre vitesse de développement et capacité de contrôle qu’Amodei veut éviter.
Il évoque également les risques liés aux cyberattaques, aux usages biologiques dangereux, à la perturbation économique et surtout à des systèmes autonomes capables d’agir à grande échelle avec des objectifs mal alignés sur ceux des humains.
Anthropic accepte désormais des observateurs extérieurs
Mais Amodei ne demande pas seulement aux autres d’agir.
Anthropic s’engage à appliquer immédiatement la première partie de son plan : permettre à des évaluateurs indépendants d’avoir un accès permanent comparable à celui d’employés à certains de ses systèmes.
Ils pourront contrôler le respect des mesures de sécurité, examiner les incidents et évaluer l’alignement des modèles pendant leur entraînement. Une manière d’éviter que les entreprises développant les IA les plus puissantes soient les seules à juger elles-mêmes si leurs systèmes sont suffisamment sûrs.
Un plan en trois étapes
La première étape consiste donc à introduire cette surveillance indépendante au cœur des laboratoires.
La deuxième serait beaucoup plus large : pousser les principales entreprises d’IA, notamment dans les pays démocratiques, à adopter ensemble des standards de sécurité et à éviter une compétition où chaque laboratoire serait obligé d’aller toujours plus vite simplement parce qu’il craint d’être dépassé par les autres.
La troisième est aussi la plus difficile : parvenir à une coordination internationale incluant des puissances comme la Chine, afin qu’un ralentissement dans un groupe de pays ne soit pas immédiatement annulé par une accélération ailleurs. Amodei évoque également la nécessité de conserver un contrôle sur certaines technologies stratégiques, notamment les puces les plus avancées.
Et il n’est déjà plus seul
La déclaration a rapidement dépassé Anthropic.
Sam Altman a publiquement déclaré être d’accord avec Amodei sur la nécessité de mieux contrôler le rythme de progression de l’IA. Il a également annoncé qu’OpenAI adopterait l’idée d’évaluateurs indépendants disposant d’un accès comparable à celui proposé par Anthropic.
Elon Musk a lui aussi réagi très simplement au texte : “Dario is right.”
On assiste donc à une situation assez particulière : certains des hommes qui dirigent la course mondiale vers des IA toujours plus puissantes commencent eux-mêmes à demander que cette course ralentisse.
Et c’est probablement là que se trouve la vraie question soulevée par le texte d’Amodei : si ceux qui construisent les systèmes les plus avancés commencent à dire que la sécurité n’avance plus assez vite pour suivre leurs capacités, jusqu’où peut-on encore accélérer avant que ralentir ne devienne beaucoup plus difficile ?
