Un chercheur britannique en intelligence artificielle a décidé de quitter l’industrie, estimant que les grandes entreprises du secteur prennent des risques considérables dans leur course au développement de systèmes d’IA toujours plus puissants et autonomes.

Jacob Coxon, 27 ans, a annoncé mercredi 9 septembre son départ du secteur. Il avait auparavant travaillé chez OpenAI avant de rejoindre cette année Anthropic, entreprise qu’il considérait comme plus prudente dans ses recherches sur l’intelligence artificielle.

Spécialiste du préentraînement des modèles d’IA, une étape au cours de laquelle les systèmes analysent d’importantes quantités de données, Jacob Coxon affirme désormais que les deux entreprises américaines ne prennent pas suffisamment en compte les risques liés à leurs recherches.

« Aucune des deux entreprises n’agit de manière responsable. Elles foncent tout droit vers une superintelligence capable de s’améliorer elle-même et jouent avec nos vies », a-t-il écrit sur X.

Le risque d’une IA capable de s’améliorer seule

Au cœur des inquiétudes du chercheur se trouve le développement d’une intelligence artificielle capable de dépasser les capacités humaines et, surtout, de participer elle-même à son amélioration.

Cette perspective, parfois appelée « autoamélioration récursive », pourrait conduire à la création de systèmes capables de concevoir ou d’améliorer leurs propres successeurs, avec un contrôle humain potentiellement réduit.

Jacob Coxon affirme que certains spécialistes travaillant dans le secteur prennent très au sérieux le risque que cette évolution puisse avoir des conséquences extrêmement graves pour l’humanité.

« Les gens qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici la fin de la décennie. Ce n’est pas un coup marketing », a-t-il déclaré.

Le chercheur estime ainsi que le développement d’une telle technologie ne devrait pas être laissé aux seules entreprises privées engagées dans une compétition technologique et commerciale.

Anthropic reconnaît également l’existence d’un risque

Les inquiétudes de Jacob Coxon ont trouvé un écho au sein même d’Anthropic. Evan Hubinger, responsable de la sûreté de l’entreprise, a reconnu sur X que le risque d’une IA pouvant provoquer la disparition de l’humanité était pris au sérieux.

« Nous croyons vraiment sincèrement que l’IA pourrait tuer tous les humains », a-t-il écrit.

À titre personnel, Evan Hubinger estime à plus de 10 % le risque qu’un tel scénario puisse se produire au cours de la prochaine décennie.

Il précise toutefois que les modèles d’IA actuels présentent, selon lui, un risque relativement faible. Il reconnaît également qu’Anthropic fait de son mieux pour anticiper les dangers, mais qu’elle ne dispose pas encore d’un plan permettant de garantir qu’une intelligence artificielle dépassant les capacités humaines continuerait à obéir à ses concepteurs.

Une course entre les géants de l’IA

Jacob Coxon quitte ainsi l’industrie au moment où les principaux laboratoires américains intensifient leurs efforts pour développer des modèles d’IA toujours plus avancés.

Selon le chercheur, cette compétition pousse les entreprises à poursuivre rapidement leurs travaux, même lorsqu’elles ont conscience des risques potentiels.

Il estime qu’Anthropic comprend les enjeux liés à la sécurité de l’IA, mais qu’elle cherche malgré tout à être la première à atteindre une intelligence artificielle plus performante que l’être humain.

« Chez Anthropic, les enjeux sont bien compris, mais ils sont engagés dans une course pour y parvenir les premiers », a-t-il expliqué.

Pour Jacob Coxon, aucune entreprise ne peut développer seule et de manière responsable une intelligence artificielle surpassant les capacités humaines. Il appelle plutôt à une intervention des États et à une coordination internationale permettant de ralentir la course si les risques deviennent trop importants.

Des inquiétudes qui dépassent Anthropic

Les préoccupations autour de la sécurité de l’intelligence artificielle ne concernent pas uniquement Anthropic.

En février, l’entreprise a retiré de sa charte de sûreté l’engagement de suspendre le développement de ses modèles si elle ne parvenait pas à en maîtriser les risques. Anthropic avait notamment estimé qu’une pause décidée unilatéralement pourrait permettre à des acteurs moins prudents de prendre l’avantage dans la compétition.

Plus récemment, plus d’un millier de professionnels du secteur, dont le patron d’Anthropic, Dario Amodei, ont demandé aux autorités américaines de mettre en place un mécanisme permettant de ralentir le développement de certaines technologies d’intelligence artificielle.

De son côté, OpenAI a suspendu pendant deux semaines, en août, une partie de l’entraînement de ses modèles. Anthropic a également appelé l’industrie à mettre en place, dès que possible, un mécanisme « vérifiable » de ralentissement coordonné.

Le chef scientifique d’OpenAI, Jakub Pachocki, a lui aussi appelé à la prudence. Il a estimé que la période actuelle exigeait une « extrême prudence » et que la coordination internationale devait devenir une priorité pour les gouvernements.

Vers une régulation des systèmes d’IA ?

Ces inquiétudes apparaissent au moment où plusieurs États cherchent encore la meilleure manière d’encadrer le développement de l’intelligence artificielle.

Aux États-Unis, aucune loi fédérale générale ne réglemente actuellement l’ensemble de ces modèles. Le gouvernement américain privilégie une approche relativement souple afin de ne pas freiner l’innovation et la compétitivité du pays dans le domaine de l’IA.

Mais certains élus souhaitent aller plus loin. Le sénateur Bernie Sanders et l’élu démocrate Greg Casar ont déposé début septembre une proposition de loi visant à suspendre le développement de certains systèmes d’IA jusqu’à la création d’une autorité de régulation.

Le débat oppose ainsi deux impératifs : poursuivre les progrès technologiques et protéger la société contre d’éventuels risques majeurs.

Ézéchiel MONTEIRO | NUMERICO.CD AVEC AFP