Avertissement sur la « superintelligence » de Paul Christiano, nouveau membre de la direction d'OpenAI : une perte de contrôle pourrait être fatale

Paul Christiano, reconnu pour ses travaux dans le domaine de la sécurité de l'intelligence artificielle, a été nommé au conseil d'administration de la fondation à but non lucratif d'OpenAI. Tout en siégeant au sein de la fondation qui supervise la structure commerciale à l'origine de ChatGPT, M. Christiano conservera également son poste de conseiller technique principal au sein du Centre pour les normes et l'innovation en matière d'IA (CAISI) du département du Commerce des États-Unis.

Selon le Financial Times, cette nomination est perçue comme une volonté des laboratoires d'IA de renforcer leur expertise en matière de sécurité, de normes et de réglementation. Dans le secteur, la surveillance des modèles puissants, les risques liés à la cybersécurité et les appels à l'intervention des autorités publiques font l'objet de débats de plus en plus intenses.

Dans ses commentaires sur ses nouvelles fonctions, M. Christiano a souligné que le développement de systèmes d'IA extrêmement puissants sans une coordination plus étroite aux niveaux national et international pourrait engendrer des risques sérieux.

Si nous développons une superintelligence sans une coordination plus forte, je prévois que nous perdrons totalement le contrôle sur celle-ci. Si cela devait arriver, la plupart des humains pourraient perdre la vie.

M. Christiano a insisté sur la nécessité d'une coopération tant au niveau national qu'international pour atténuer cette menace. Il a soutenu que, dans l'ensemble du secteur, y compris chez OpenAI, les efforts actuels ne sont pas suffisants pour réduire le risque de perte de contrôle à un niveau acceptable.

Des avertissements similaires avaient déjà été formulés par Geoffrey Hinton, lauréat du prix Nobel et surnommé le « parrain » de l'intelligence artificielle. M. Hinton avait exprimé l'opinion qu'il n'est pas possible, à l'heure actuelle, de construire en toute sécurité, par le biais d'entreprises, des systèmes qui dépassent manifestement l'intelligence humaine.