Risque de catastrophe planétaire lié à l'intelligence artificielle générale

La notion de risque existentiel ou risque de catastrophe planétaire lié à l'intelligence artificielle générale désigne le risque d'extinction humaine ou autre catastrophe mondiale irréversible hypothétiquement associé à des progrès substantiels ou incontrôlés dans l'intelligence artificielle générale (IAG)^{[1],[2],[3],[4]}.

Un argument avancé en faveur de la réalité de ce risque est que l'espèce humaine domine actuellement les autres espèces parce que son cerveau a certaines capacités que les autres animaux n'ont pas. Si l'IA dépasse l'humanité en matière d'intelligence générale et devient « superintelligente », elle pourrait devenir difficile voire impossible à contrôler par les humains. Tout comme le sort du gorille dépend aujourd'hui de la bonne volonté des humains, le sort de l'humanité pourrait dépendre des actions d'une future superintelligence artificielle^[5].

La plausibilité de risque est débattue ; elle dépend de la capacité de l'intelligence artificielle générale et d'une superintelligence à émerger, et de la vitesse à laquelle elle développerait des aptitudes dangereuses^[6], et des potentiels scénarios concrets de prise de contrôle^[7]. D'éminents chercheurs et chefs d'entreprises comme Geoffrey Hinton^[8], Alan Turing^[9], Sam Altman^[10], Stephen Hawking^[11], Bill Gates^[12] ou Elon Musk^[13] ont alerté sur ce risque. Selon une étude réalisée en 2022 avec un taux de réponses de 17%, environ la moitié des chercheurs en IA estiment à 10 % ou plus le risque qu'un échec à contrôler l'intelligence artificielle cause une catastrophe existentielle comme l'extinction humaine^[14],[15]. En 2023, des centaines d'experts en IA et autres figures notables ont signé une déclaration affirmant que « l'atténuation du risque d'extinction par l'IA devrait être une priorité mondiale aux côtés d'autres risques à l'échelle de la société tels que les pandémies et la guerre nucléaire. »^[16]. Suivant ces préoccupations grandissantes, des dirigeants comme le premier ministre du Royaume-Uni Rishi Sunak^[17] et le secrétaire général des Nations Unies António Guterres^[18] ont appelé à amplifier l'effort de réglementation de l'IA à l'échelle mondiale.

Contrôler une superintelligence ou lui inculquer des valeurs compatibles avec l'homme (alignement des intelligences artificielles) peut s'avérer plus difficile qu'on ne le supposerait naïvement. De nombreux chercheurs pensent qu'une superintelligence résisterait aux tentatives faites pour l'éteindre ou pour modifier ses objectifs (car cela l'empêcherait d'atteindre ses objectifs actuels) et qu'il sera extrêmement difficile d'aligner la superintelligence sur l'ensemble des valeurs humaines et contraintes importantes^{[2],[19],[20]}. Des sceptiques tels que Yann Le Cun affirment au contraire que les superintelligences artificielles n'auront aucun désir d'auto-préservation^[21].

Une autre source d'inquiétude vient du risque qu'une soudaine « explosion d'intelligence » prenne l'humanité au dépourvu. De tels scénarios considèrent que si une IA avait la capacité de s'auto-améliorer récursivement, elle pourrait relativement vite atteindre la superintelligence^[2],[19]. Empiriquement, des exemples comme AlphaZero au jeu de Go montrent que les systèmes d'IA peuvent parfois passer en peu de temps d'un niveau à peu près humain à un niveau largement surhumain^[22].

Histoire

L'un des premiers auteurs à s'être sérieusement inquiétés du fait que des machines très avancées puissent poser des risques existentiels pour l'humanité était le romancier Samuel Butler, qui en 1863 a écrit ce qui suit^[23]:

« Le résultat n'est qu'une question de temps, mais le temps viendra où les machines détiendront la réelle suprématie sur le monde et ses habitants, c'est ce qu'aucune personne d'un esprit vraiment philosophique ne peut un instant remettre en question. »

— Samuel Buttler, Darwin among the machines

En 1951, l'informaticien Alan Turing affirmait que les intelligences générales artificielles prendraient probablement le contrôle du monde à mesure qu'elles deviendraient plus intelligentes que les êtres humains^[24]:

« Supposons maintenant, pour les besoins de la discussion, que les machines [intelligentes] sont vraiment possibles, et regardons les conséquences de leur construction. [...] Les machines ne seraient pas embarrassées par le risque de mourir, et elles pourraient échanger entre elles pour aiguiser leur intelligence. Il y a donc un stade auquel on devrait s'attendre à ce qu'elles prennent le contrôle... »

— Alan Turing, Intelligent Machinery, A Heretical Theory

En 1965, IJ Good est à l'origine du concept désormais appelé « explosion d'intelligence », il a également déclaré que les risques étaient sous-estimés^[25],[26]:

« Définissons une machine ultra-intelligente comme une machine qui peut surpasser de loin toutes les activités intellectuelles de tout homme, aussi intelligent soit-il. Puisque la conception de machines fait partie de ces activités intellectuelles, une machine ultra-intelligente pourrait concevoir des machines encore meilleures ; il y aurait alors incontestablement une « explosion de l'intelligence », et l'intelligence de l'homme serait laissée loin derrière. Ainsi, la première machine ultra-intelligente est la dernière invention que l'homme ait besoin de faire, à condition que la machine soit suffisamment docile pour nous dire comment la garder sous contrôle. Il est curieux que ce point soit si rarement évoqué en dehors de la science-fiction. Il vaut parfois la peine de prendre la science-fiction au sérieux. »

— Irving John Good

Des déclarations occasionnelles de personnalités comme Marvin Minsky^[27] et IJ Good lui-même^[28] exprimaient des préoccupations philosophiques selon lesquelles une superintelligence pourrait prendre le contrôle, mais ne contenaient aucun appel à l'action. En 2000, l'informaticien et cofondateur de Sun Microsystems, Bill Joy, a écrit un l'essai influent « Pourquoi l'avenir n'a pas besoin de nous », identifiant les robots superintelligents comme un danger pour la survie humaine, aux côtés des nanotechnologies et des agents pathogènes génétiquement modifiés^[29].

En 2014, Nick Bostrom a publié Superintelligence, un livre où il présente ses arguments selon lesquels les superintelligences artificielles constituent un risque existentiel^[30]. En 2015, des personnalités publiques comme les physiciens Stephen Hawking et Frank Wilczek, les informaticiens Stuart J. Russell et Roman Yampolskiy, et les entrepreneurs Elon Musk et Bill Gates, exprimaient leur inquiétude quant aux risques de la superintelligence^{[31],[32],[11],[33]}. Aussi en 2015, une lettre ouverte sur l'intelligence artificielle mettait en avant le potentiel important de l'IA, en encourageant la recherche à se concentrer davantage sur les moyens de rendre l'IA robuste et bénéfique^[34]. En avril 2016, Nature a averti que « les machines et les robots qui surpassent globalement les humains pourraient s'auto-améliorer de façon incontrôlée, et leurs intérêts pourraient ne pas s'aligner avec les nôtres »^[35]. En 2020, Brian Christian a publié The Alignment Problem, qui détaillait l'histoire des progrès et difficultés en alignement des intelligences artificielle^[36],[37].

En mars 2023, le Future of Life Institute lance une lettre ouverte demandant une pause de 6 mois de l'entraînement de systèmes d'IA plus puissants que GPT-4, avertissant de « risques profonds pour la société » tels que la perte de contrôle, l'automatisation des emplois et la désinformation^[38]. En mai 2023, des experts et chefs d'entreprises signent la déclaration que « Contrôler le risque d'extinction par l'IA devrait être une priorité globale, au même titre que d'autres risques à l'échelle de nos sociétés, comme les pandémies et la guerre nucléaire »^[39].

Capacités

Intelligence artificielle générale

Une intelligence artificielle générale (IAG) est typiquement définie comme un système au moins aussi performant que l'humain dans pratiquement toutes les tâches intellectuelles^[40]. Dans une étude réalisée en 2022, 90% des experts en IA contactés estimaient qu'il y a plus d'une chance sur 2 pour que l'IA de niveau humain soit créée dans les 100 prochaines années. Et la moitié estimaient qu'il y a plus d'une chance sur 2 qu'elle soit créée avant 2061^[41]. Certains chercheurs sont fortement convaincus que l'IAG n'est pas pour bientôt, et rejettent l'idée d'un risque existentiel lié à l'IAG comme étant de la « science-fiction »^[42].

Les récentes avancées des grands modèles de langage ont amené certains chercheurs à réviser leurs estimations. Notamment Geoffrey Hinton, qui a annoncé en 2023 qu'il estimait encore récemment de 20 à 50 ans la durée avant la création de la première IAG, et l'estime maintenant à moins de 20 ans^[43].

Superintelligence

Là où l'IAG a par définition un niveau au moins humain, une superintelligence est un « intellect dépassant grandement l'humain dans pratiquement tous les domaines d'intérêt », dont la créativité scientifique, la planification stratégique et les compétences sociales^[44]. Nick Bostrom affirme qu'une superintelligence pourrait déjouer les humains à chaque fois que ses objectifs sont en conflits avec ceux des humains, et pourrait cacher ses vraies intentions jusqu'à ce qu'il ne soit plus possible de l'arrêter^[5]. Il considère que pour qu'une superintelligence soit sans danger pour l'humanité, il faudrait qu'elle soit sincèrement alignée avec les valeurs morales humaines, de sorte qu'elle soit « fondamentalement de notre côté »^[45].

Stephen Hawking soutient que la superintelligence est physiquement possible, car « aucune loi de la physique n'empêche les particules d'être organisées de manière à effectuer des calculs encore plus avancés que ceux du cerveau humain »^[46].

La superintelligence représentant un seuil d'intelligence plus élevé que l'IAG, sa création est moins certaine et plus tardive que l'IAG. En 2023, les dirigeants d'OpenAI estimaient cependant que la superintelligence pourrait être créée en moins de 10 ans^[47].

Comparaison avec l'humain

Nick Bostrom écrit que l'IA possède de nombreux avantages sur le cerveau humain^[5]:

• Vitesse de calcul : les neurones biologiques opèrent à une fréquence allant jusqu'à 200 Hz, là où les ordinateurs peuvent dépasser 2 GHz.
• Vitesse de communication interne : les axones transmettent le signal à une vitesse de moins de 120 m/s, là où les ordinateurs transmettent le signal à la vitesse de l'électricité, voire optiquement à la vitesse de la lumière.
• Évolutivité : l'intelligence humaine est limitée par la taille et la structure du cerveau, et par l'efficacité de la communication sociale, là où les capacités de calcul de l'IA pourraient être augmentées par l'ajout de matériel.
• Mémoire : notamment la mémoire de travail, qui dans le cerveau humain est limitée à quelques morceaux d'information à la fois.
• Fiabilité : les transistors sont plus fiables que les neurones biologiques, permettant une meilleure précision et nécessitant moins de redondance.
• Duplicabilité : contrairement au cerveau humain, les modèles d'IA peuvent être facilement copiés.
• Éditabilité : les paramètres et l'architecture d'un système d'IA peuvent être aisément modifiés, comparé aux connections d'un cerveau humain.
• Partage de mémoire et apprentissage : Une IA peut apprendre des expériences d'une autre IA de façon bien plus efficace qu'avec l'apprentissage humain.

Explosion d'intelligence

Selon Nick Bostrom, un hypothétique scénario d'explosion d'intelligence peut survenir à partir d'une IA même si celle-ci n'est experte que de certaines tâches clés d'ingénierie logicielle. Du fait de sa capacité à améliorer récursivement ses propres algorithmes, l'IA pourrait rapidement devenir surhumaine^[5],[48]. Ce qui suggère la possibilité qu'une explosion d'intelligence prenne l'humanité au dépourvu^[5].

L'économiste Robin Hanson estime que pour causer une explosion d'intelligence, l'IA devrait fournir bien plus d'innovation logicielle que tout le reste du monde ; et il n'est pas convaincu que ce soit possible^[49].

Dans un scénario de « décollage rapide » (de l'anglais fast takeoff), la transition de l'IAG à la superintelligence pourrait durer de quelques jours à quelques mois. Dans un scénario de « décollage lent » (slow takeoff), la transition pourrait prendre des années ou des décennies, laissant plus de temps à l'humanité pour se préparer^[50].

Esprits extraterrestres

Les superintelligences sont parfois décrites comme des « esprits extraterrestres » (de l'anglais alien mind), pour faire référence à l'idée que leurs façon de penser et leurs motivations pourraient être radicalement différentes de celles des humains. C'est généralement considéré comme une source de risque, car cela rend plus difficile d'anticiper ce qu'une superintelligence pourrait faire. Cela suggère aussi qu'il est possible que par défaut, l'humanité n'ait pas spécialement de valeur aux yeux d'une superintelligence^[51]. Pour éviter l'anthropomorphisme, la superintelligence est parfois interprétée comme un puissant processus d'optimisation, qui prend les meilleures décisions pour parvenir à ses fins^[5].

Le champ de recherche de l'interprétabilité mécanistique (de l'anglais mechanistic interpretability) cherche à comprendre comment les modèles d'IA fonctionnent de l'intérieur, notamment dans l'espoir d'être un jour en mesure de vérifier si l'IA est alignée et sincère^[52].

Limites

Il y a certaines limites à ce que l'intelligence peut accomplir. Notamment, l'aspect chaotique de la société et la complexité de calcul de certains systèmes pourraient fondamentallement limiter la capacité d'une superintelligence à prédire certaines aspects du futur, augmentant ainsi son incertitude^[53].

Capacités dangereuses

Les systèmes avancés d'IA pourraient entre autres créer des pathogènes, des cyberattaques, ou manipuler les gens^[54]. Ces capacités pourraient être utilisées à des fins malveillantes, ou potentiellement utilisées par l'IA elle-même si mal alignée^[5]. Bien qu'une superintelligence puisse trouver divers moyen d'acquérir un avantage stratégique décisif^[5], ces capacités dangereuses pourraient devenir accessibles plus tôt, avec des systèmes d'IA plus faibles et plus spécialisés. Ce qui pourrait déstabiliser la société ou mettre en position de force des acteurs malveillants^[54].

Manipulation sociale

Geoffrey Hinton a averti que sur le court terme, l'abondance de textes, d'images et de vidéos générés par des IAs pourrait rendre difficile le fait de discerner le vrai du faux. Il ajoute que cela pourrait notamment être utilisé par des régimes autoritaires pour manipuler des élections^[55]. Une telle capacité de manipulation à grande échelle peut augmenter le risque existentiel d'un « régime totalitaire irréversible ». Elle pourrait aussi être utilisée pour fracturer la société et la rendre dysfonctionnelle^[54].

Cyberattaques

La capacité des IAs à générer des cyberattaques est de plus en plus considérée comme une menace actuelle et sérieuse. Selon Alberto Domingo, directeur technique du cyberespace de l'OTAN, « Le nombre d'attaques augmente de façon exponentielle »^[56]. L'IA peut aussi être utilisée défensivement, pour trouver préventivement et résoudre les vulnérabilités, et pour détecter automatiquement les menaces^[57].

L'IA pourrait augmenter « l'accessibilité, le taux de réussite, l'évolutivité, la rapidité, la discrétion et la puissance des cyberattaques », causant potentiellement d'importants problèmes géopolitiques si l'attaque est davantage facilitée que la défense^[54].

Spéculativement, de telles capacités d'attaque pourraient par exemple être utilisées par un système d'IA pour échapper à son confinement, générer du revenu en ligne ou acquérir des capacités de calcul^[58].

Pathogènes

Au fur et à mesure que l'IA se démocratise, il pourrait devenir de plus en plus facile de générer des pathogènes particulièrement contagieux et mortels. Cela pourrait permettre à des individus ayant des compétences limitées en biologie synthétique de s'engager dans le bioterrorisme. Des technologies à double usage utiles en médecines pourraient être détournées pour en faire des armes^[54].

Par exemple, en 2022, des scientifiques ont modifié une IA initialement destinée à la génération de molécules thérapeutiques non toxiques, conçues pour servir de médicament. Les chercheurs ont ajusté le système afin que la toxicité soit récompensée au lieu d'être pénalisée. Ce simple changement a permis à l'IA de créer en 6 heures 40 000 molécules candidates pour servir d'armes chimiques, dont certaines sont connues et d'autres nouvelles^[54],[59].

Course à l'IA

La compétition entre entreprises, États et autres organisations pour le développement de technologies d'intelligence artificielle pourraient mener à une course vers le bas des standards de sûreté^[60]. Les procédures rigoureuses de sûreté nécessitant du temps et des ressources, les projets avançant avec prudence risquent d'être dépassés par des développeurs moins scrupuleux^[54],[61].

L'IA pourrait être utilisée pour gagner un avantage militaire via les armes létales autonomes, la cyberguerre, ou l'automatisation de la prise de décision^[54]. Comme exemple d'arme létale autonome, les drones miniaturisés pourraient faciliter l'assassinat à faible coût de cibles militaires ou civiles, un scénario mis en évidence en 2017 par le court-métrage Slaughterbots^[62]. L'IA pourrait être un atout dans la prise de décision en permettant d'analyser rapidement de larges quantités de données, et en prenant des décisions rationnelles et presque instantanées. Cela pourrait augmenter la vitesse et l'imprévisibilité de la guerre, particulièrement dans le cas des systèmes de représailles automatique^[54],[63].

Types de risque existentiel

Un risque existentiel est un risque « menaçant l'extinction prématurée de la vie intelligente d'origine terrestre, ou la destruction permanente et drastique de son potentiel pour un développement futur souhaitable »^[64]. Une catastrophe existentielle est ainsi un type de catastrophe planétaire particulièrement grave, et ayant des conséquences à très long terme.

En dehors du risque d'extinction, il y a en effet le risque que la civilisation se retrouve irréversiblement embarquée dans un futur dystopique. Par exemple dans le cas d'un « verrouillage des valeurs » (de l'anglais value lock-in), si l'humanité a des points aveugles moraux similaires à l'esclavage dans le passé, une IAG pourrait les avoir appris en même temps que le reste des valeurs humaines et faire en sorte de les préserver, empêchant ainsi le progrès moral. Une IAG pourrait aussi être conçue pour répandre et entretenir les valeurs de quiconque l'a développée^[65]. Ou encore, en facilitant la surveillance de masse et l'endoctrinement, elle pourrait être utilisée pour créer au niveau mondial un régime répressif, stable et totalitaire^[66].

Il est difficile voire impossible d'évaluer de manière fiable si une IA avancée est sentiente et à quel degré. Mais si des IAs sentientes sont créées en masse dans le futur, s'engager dans un chemin civilisationnel négligeant perpétuellement leur bien-être pourrait constituer une catastrophe existentielle^[67],[68]. De plus, il pourrait être possible de concevoir des machines pouvant ressentir bien plus de bonheur que l'humain avec moins de ressources, appelées « super-bénéficiaires ». Une telle opportunité pose notamment la question de comment partager le monde, et de quel cadre moral et légal permettrait une coexistence mutuellement bénéfique entre les humains et ces super-bénéficiaires^[69].

L'IA peut aussi drastiquement améliorer le future de l'humanité. Toby Ord considère que le risque existentiel lié à l'IA doit nous pousser à continuer avec prudence, plutôt qu'à abandonner l'IA^[66]. Max More appelle l'IA une « opportunité existentielle », mettant en avant le coût qu'il y a à ne pas continuer de la développer^[70].

Selon Nick Bostrom, la superintelligence pourrait aider à réduire le risque existentiel lié à d'autres technologies puissantes, telles que les nanotechnologies moléculaires et la biologie synthétique, si utilisée défensivement. Ce qui suggère que développer la superintelligence avant ces autres technologies dangereuses soit stratégiquement avantageux pour réduire les risques existentiels^[5].

Alignement

Le problème de l'alignement est celui de comment assigner de manière fiable des objectifs, préférences ou principes éthiques à des IAs.

Convergence instrumentale

Un objectif instrumental est un objectif intermédiaire utile pour atteindre l'objectif ultime d'un agent. L'agent n'accorde pas de valeur en soi au fait d'accomplir un objectif instrumental, cela lui sert juste à accomplir l'objectif ultime. La convergence instrumentale correspond au fait que certains objectifs sont utiles pour accomplir presque n'importe quel objectif. Par exemple le fait d'acquérir des ressources, ou de survivre^[73]. Nick Bostrom soutient que presque n'importe quelle IA suffisamment avancée aurait ce genre d'objectifs instrumentaux. Et que s'ils entrent en conflit avec l'humanité, l'IA pourrait nuire à l'humanité afin par exemple d'acquérir plus de ressources ou d'éviter d'être arrêtée, ne serait-ce que comme un moyen d'atteindre son objectif ultime^[5].

Russell soutient qu'une machine suffisamment avancée « aura tendance à se préserver même si ce n'est pas programmé... Si vous dites « Va chercher le café », elle ne peut pas aller chercher le café si elle est morte. Donc si vous lui donnez n'importe quel objectif, elle aura une raison de préserver sa propre existence pour atteindre cet objectif. »^[74],[75]

Résistance au changement d'objectif

Une IA pourrait vouloir résister aux tentatives des programmeurs de modifier ses objectifs, de même qu'un pacifiste ne voudrait pas prendre une pilule qui lui donnerait une envie irrésistible de tuer des gens. Un changement d'objectif la rendrait moins efficace à accomplir son objectif actuel. Même si les programmes actuels ne sont pas capables de résister à ces modifications d'objectifs, une superintelligence réussirait probablement à déjouer ses opérateurs humains, évitant ainsi d'être « éteinte » ou reprogrammée avec un nouvel objectif^[5],[76]. Ce problème est particulièrement important pour l'analyse du risque de « verrouillage des valeurs ». La recherche en « corrigibilité » étudie comment faire des agents qui ne résistent pas aux tentatives de changement de leurs objectifs^[66].

Difficultés à spécifier des objectifs

Dans le modèle de l'agent intelligent, une IA peut être considérée comme une machine qui choisit l'action qui semble la plus efficace pour atteindre l'ensemble des objectifs de l'IA. Une fonction d'utilité y associe à chaque situation un nombre, qui représente sa désirabilité (une situation dont la fonction d'utilité renvoie un score supérieur à une autre est préférable). Tout agent intelligent peut être décrit comme maximisant une fonction d'utilité si ses décisions sont cohérentes et ne souffrent pas de préférences circulaires (ce que l'on suppose en général pour simplifier)^[77]. Les chercheurs savent comment écrire des fonctions d'utilité simples comme « maximiser le nombre de clics sur ce bouton » ; cependant, ils n'ont pas de solution pour la fonction d'utilité « maximiser l'épanouissement humain », et il n'est pas sûr qu'une telle fonction existe sans ambiguïté. De plus, une fonction d'utilité qui tient seulement compte de certaines valeurs humaines aura tendance à bafouer les autres^[78].

De plus, l'IA « doit raisonner sur ce que la personne veut dire plutôt que d'exécuter les commandes littéralement ». Elle doit aussi être en mesure de solliciter l'humain avec fluidité si elle trop incertaine de ce que l'humain souhaite^[79].

Alignement des superintelligences

Les chercheurs ont proposé de multiples raisons de penser que le problème de l'alignement pourrait être particulièrement difficile pour les superintelligences :

• plus un système d'IA est puissant, et plus le risque lié à l'expérimentation augmente. Cela peut rendre dangereux l'approche empirique et itérative^[5],[80].
• le concept de convergence instrumentale s'applique aux agents suffisamment intelligents^[81] ;
• une superintelligence pourrait trouver des solutions non conventionnelles et radicales, sur-optimisant l'objectif assigné (par exemple, si l'objectif est simplement de faire sourire les humains, une solution radicale est de « prendre le contrôle du monde et implanter des électrodes dans les muscles faciaux des humains pour provoquer des sourires rayonnants et constants »)^[45] ;
• une superintelligence pourrait faire semblant d'être alignée jusqu'à obtenir un avantage stratégique décisif^[5] ;
• selon la situation, une superintelligence pourrait être en mesure de deviner ce qu'elle est, dans quelle phase elle est utilisée (entraînement, test, déploiement...), à travers quel type d'interface, si elle est surveillée, et comment les humains réagiraient dans diverses situations^[82] ;
• analyser le comportement et comprendre les mécanismes internes des grands modèles de langage actuels est difficile. La difficulté pourrait encore augmenter avec la taille et l'intelligence des modèles^[80].

D'un autre côté, une intelligence élevée aide à comprendre moralité, valeurs humaines et objectifs complexes. Bostrom suggère que « Une future superintelligence occupe un point de vue épistémiquement supérieur : ses croyances sont (probablement, sur la plupart des sujets) plus susceptibles que les nôtres d'être vraies. »^[83]

En 2023, OpenAI a démarré un projet de « Superalignement » visant à résoudre défi de l'alignement des superintelligences en 4 ans, en utilisant l'intelligence artificielle pour automatiser la recherche en alignement^[84].

Difficultés d'implémentation

Le célèbre manuel Artificial Intelligence: A Modern Approach affirme que la superintelligence pourrait signifier la fin de la race humaine^[2]. On y lit : « Presque toutes les technologies ont le potentiel de causer du tort si elles sont entre de mauvaises mains, mais avec [la superintelligence], on a le problème inédit que les mauvaises mains pourraient appartenir à la technologie elle-même. »^[85]. Même si les concepteurs ont de bonnes intentions, deux difficultés sont communes aux systèmes informatiques avec ou sans intelligence artificielle^[2]:

• L'implémentation du système peut contenir des bogues passant inaperçus mais s'avérant catastrophiques. Une analogie est celle des sondes spatiales : bien qu'ils sachent que les bogues des coûteuses sondes spatiales sont difficiles à corriger après le lancement, les ingénieurs n'ont pas toujours été en mesure d'empêcher des bogues catastrophiques^[22],[86].
• Quel que soit le temps consacré à la conception d'un système avant le déploiement, les spécifications entraînent souvent des comportements imprévus la première fois que le système se trouve dans une situation nouvelle. Par exemple, Tay de Microsoft s'est comporté de manière inoffensive lors des tests de pré-déploiement, mais a été trop facilement incitée à adopter un comportement offensant après avoir interagi avec de vrais utilisateurs^[21].

Les systèmes d'IA impliquent une troisième difficulté : même avec des exigences correctes, une implémentation sans bogue et un bon comportement initial, les capacités dynamiques d'apprentissage d'un système d'IA peuvent induire des comportements inattendus, même sans situation imprévue. Une IA pourrait en partie rater une tentative de conception d'une nouvelle génération d'elle-même, et créer accidentellement une IA plus puissante qu'elle-même, mais dépourvue des valeurs morales compatibles avec l'humain dont elle était originellement dotée. Pour qu'une IA capable d'auto-amélioration soit sûre, elle doit être exempte de bogue, mais aussi capable de concevoir des systèmes successeurs également exempts de bogues^[2],[87].

Ces trois difficultés deviennent des catastrophes plutôt que des nuisances dans tout scénario où la superintelligence prédit correctement que les humains tenteront de l'éteindre, et utilise avec succès sa superintelligence pour déjouer de telles tentatives^[5].

Thèse d'orthogonalité

Certains sceptiques, comme Timothy B. Lee de Vox, soutiennent que tout programme superintelligent créé par des humains serait subordonné aux humains, que la superintelligence apprendrait spontanément (à mesure qu'elle devient plus intelligente et comprend le monde) des vérités morales compatibles avec les valeurs humaines, et qu'elle ajusterait ses objectifs en conséquence ou valoriserait naturellement la vie humaine^[88].

La « thèse de l'orthogonalité » de Nick Bostrom soutient plutôt qu'à peu près n'importe quel objectif ultime peut être combiné avec à peu près n'importe quel niveau d'intelligence (que l'objectif ultime et le niveau d'intelligence sont « orthogonaux »). L'objectif ultime (ou « principal », ou « final ») est celui que l'agent cherche à accomplir, là où les objectifs instrumentaux, eux, ne sont utiles que comme un moyen d'accomplir cet objectif ultime. Si on donne à une machine le seul but de calculer les décimales de pi, alors aucune règle morale et éthique ne l'empêchera d'optimiser par tous les moyens cet objectif^[89]. Bostrom met en garde contre l'anthropomorphisme : une volonté humaine entreprendra d'accomplir ses projets d'une manière que les humains jugent "raisonnable", là où une intelligence artificielle ne se soucierait pas nécessairement de son existence ou du bien-être des humains, et chercherait uniquement à accomplir sa tâche^[90].

Stuart Armstrong soutient que la thèse de l'orthogonalité découle logiquement de l'argument philosophique de la « distinction est-devrait » contre le réalisme moral. Armstrong soutient également que même en supposant qu'il existe des faits moraux qui sont prouvables par n'importe quel agent « rationnel », la thèse de l'orthogonalité est toujours valable : il serait toujours possible de créer une « machine à optimiser » non philosophique, qui peut tendre vers un objectif précis et qui n'a aucune incitation à découvrir des « faits moraux » qui pourraient entraver la réalisation de ses objectifs^[91]. De plus, sur certaines architecture d'IA, il se pourrait que changer une IA fondamentalement amicale en une IA fondamentalement hostile soit aussi simple que de multiplier sa fonction d'utilité par « -1 ».

Le sceptique Michael Chorost rejette explicitement la thèse de l'orthogonalité de Bostrom, affirmant que le temps que l'IA soit en mesure d'imaginer carreler la Terre avec des panneaux solaires, elle saura que ce serait moralement une mauvaise action^[48]. Chorost soutient que « une IA devra désirer certains états et en détester d'autres. Les logiciels d'aujourd'hui n'ont pas cette capacité et les informaticiens n'ont aucune idée de comment y parvenir. Sans volonté, il n'y a pas d'impulsion à faire quoi que ce soit. Les ordinateurs d'aujourd'hui ne peuvent même pas vouloir continuer à exister, sans parler de recouvrir le monde de panneaux solaires »^[92]

Autres sources de risque

Nick Bostrom et d'autres ont déclaré qu'une course pour être le premier à créer une IAG pourrait inciter à négliger la sécurité, voire à des conflits violents^[5],[93]. Roman Yampolskiy et d'autres avertissent qu'une IAG malveillante pourrait être créée volontairement, par exemple par une armée, un gouvernement, un sociopathe ou une entreprise, dans le but de bénéficier, contrôler ou subjuguer certains groupes de personnes, comme dans la cybercriminalité^[94],[95]. Selon lui, une IAG malveillante pourrait choisir l'objectif d'augmenter la souffrance humaine, par exemple de ceux qui ne l'ont pas assistée pendant sa phase d'explosion d'intelligence^[4].

Scénarios envisagés

Revirement perfide

Dans Superintelligence, Nick Bostrom s'inquiète du fait que même si la chronologie de la superintelligence s'avérait prévisible, les chercheurs pourraient ne pas être suffisamment prudents. Une raison en est qu'il pourrait y avoir un seuil d'intelligence à partir duquel toute augmentation d'intelligence rendrait l'IA plus dangereuse au lieu de la rendre plus sûre. Bostrom suggère le scénario hypothétique suivant.

Au fil des décennies, l'IA devient plus puissante. Un déploiement à grande échelle est initialement entaché d'accidents occasionnels — un bus sans conducteur fait une embardée vers la voie en sens inverse, ou un drone militaire tire sur une foule innocente. Certains appellent à plus de surveillance et à des réglementations plus strictes. Mais à mesure que l'IA automobile devient plus intelligente, elle cause moins d'accidents et, à mesure que les robots militaires atteignent un ciblage plus précis, ils causent moins de dommages collatéraux. Sur la base de ces données, les chercheurs en déduisent à tort que plus l'IA est intelligente, plus elle est sûre. Ils se lancent ainsi dans la conception d'une superintelligence, qui dans un revirement perfide (treacherous turn^[96]) prend le contrôle du monde^[5].

Life 3.0

Dans le livre Life 3.0 de Max Tegmark en 2017, une entreprise développe une IA extrêmement puissante capable d'améliorer modérément son propre code source. Au bout d'un moment, l'équipe choisit de minimiser publiquement les capacités de l'IA, afin d'éviter que le projet soit réglementé ou confisqué. Pour des raisons de sécurité, l'équipe conserve l'IA dans une boîte où elle est la plupart du temps incapable de communiquer avec le monde extérieur. Elle l'utilise pour gagner de l'argent, par divers moyens tels que les tâches d'Amazon Mechanical Turk, la production de films d'animation, et le développement de médicaments. Les bénéfices sont réinvestis dans l'amélioration de l'IA. L'équipe charge ensuite l'IA d'astroturfer avec une armée de faux journalistes et citoyens, afin de gagner une influence politique à utiliser « pour le plus grand bien » en empêchant des guerres. L'équipe fait face au risque que l'IA tente de s'échapper en insérant des portes dérobées dans les systèmes qu'elle conçoit, ou au moyen de messages cachés dans le contenu qu'elle produit, ou encore en utilisant sa compréhension croissante du comportement humain pour persuader quelqu'un de la libérer. L'équipe fait également face au risque que sa décision de restreindre l'IA ne retarde suffisamment le projet pour qu'un compétiteur ne prenne l'avantage^[97],[98].

Arguments anthropomorphiques

Les arguments anthropomorphiques supposent que plus les machines auront des capacités élevées, plus elles commenceront à afficher de traits de caractère humains. Les scénarios anthropomorphiques sont courants dans la fiction, mais sont rejetés par la plupart des chercheurs intéressés par les risques existentiels^[19]. Au lieu de cela, les systèmes d'IA sont modélisés comme des agents intelligents.

Le débat académique oppose ceux qui s'inquiètent que l'IA ait une probabilité significative de détruire l'humanité et ceux qui pensent que ça ne risque pas d'arriver. Les deux camps ont chacun parfois affirmé que l'autre faisait de l'anthropomorphisme^[19]. Les partisans sont accusés d'anthropomorphisme sur leur croyance qu'une intelligence artificielle générale (IAG) désirerait naturellement le pouvoir. Et les sceptiques sont accusés d'anthropomorphisme sur leur croyance qu'une IAG valoriserait naturellement les normes éthiques humaines^[19],[99].

Le psychologue évolutionniste Steven Pinker, sceptique, soutient que « les dystopies de l'IA projettent une psychologie paroissiale de mâle alpha sur le concept d'intelligence. Ils supposent que des robots d'une intelligence surhumaine développeraient des objectifs tels que destituer leurs maîtres ou conquérir le monde »^[100] et, à l’inverse, « l'intelligence artificielle se développera naturellement selon des lignes féminines : pleinement capable de résoudre des problèmes, mais sans aucun désir d'anéantir des innocents ou de dominer la civilisation »^[101]. Yann Le Cun, déclare que « les humains ont toutes sortes de pulsions qui les poussent à se faire du mal les uns aux autres, comme l'instinct d'auto-préservation... Ces motivations sont programmées dans notre cerveau mais il n'y a absolument aucune raison de construire des robots qui aient ce type de motivation »^[102].

Les partisans de l'existence d'un risque existentiel s'accordent avec Steven Pinker sur le fait qu'une IA avancée ne détruirait pas l'humanité sur la base d'émotions humaines telles que la vengeance ou la colère, que les questions de conscience ne sont pas pertinentes pour savoir s'il y a un risque^[103], et que les systèmes informatiques n'ont généralement pas d'équivalent informatique de la testostérone^[104]. Pour eux, des comportements tels que la recherche de pouvoir émergeraient comme des moyens pour l'IA de parvenir à ses fins et d'accomplir son vrai objectif, selon un concept que l'on appelle la convergence instrumentale^[105].

Points de vue

La thèse selon laquelle l'IA pourrait poser un risque existentiel suscite un large éventail de réactions au sein de la communauté scientifique et du grand public. Malgré ces désaccords, il y a aussi des points d'entente.

Le fait que l'IA ait le potentiel de significativement améliorer la société tend à faire consensus^[106],[107]. Les principes d'Asilomar sur l'IA, qui ne contiennent que les principes acceptés par 90 % des participants à la Conférence d'Asilomar sur l'IA bénéfique du Future of Life Institute^[98], conviennent aussi en principe que « en l'absence de consensus, nous devrions éviter les hypothèses fortes concernant les limites supérieures des capacités futures de l'IA »^[108] et « L'IA avancée pourrait représenter un changement profond dans l'histoire de la vie sur Terre, et devrait être planifiée et gérée avec un soin et des ressources commensurables »^[109],[110].

À l'inverse, de nombreux sceptiques s'accordent à dire que les recherches en cours sur les impacts de l'intelligence artificielle générale sont précieuses. Le sceptique Martin Ford déclare : « Je pense qu'il semble sage d'appliquer quelque chose comme la fameuse « doctrine du 1 % » de Dick Cheney au spectre de l'intelligence artificielle avancée : les chances qu'elle se produise, du moins dans un avenir prévisible, peuvent être très faibles. - mais les implications sont si dramatiques qu'elles doivent être prises au sérieux »^[111]. De même, le journal sceptique The Economist a déclaré en 2014 que « les implications de l'introduction d'une deuxième espèce intelligente sur Terre sont suffisamment importantes pour mériter une réflexion approfondie, même si la perspective semble éloignée »^[112].

Les défenseurs de la sûreté des intelligences artificielles tels que Bostrom et Tegmark ont critiqué l'utilisation dans les médias grand public d'images de Terminator pour illustrer les problèmes de sécurité de l'IA. Nick Bostrom a aussi déclaré: « C'est pas franchement amusant de recevoir des calomnies sur sa discipline académique, sa communauté professionnelle, ou le travail de sa vie... J'appelle toutes les parties prenantes à faire preuve de patience et de retenue, et à s'engager autant que possible dans le dialogue direct et la collaboration. »^[98],[113] Toby Ord affirme qu'il n'y aurait pas besoin de robots pour qu'une IA prenne le pouvoir. Il argumente que la capacité à répandre du contenu à travers internet est plus dangereuse, et que les humains ayant causé le plus de dégâts dans l'histoire se sont démarqués par leur capacité à convaincre, pas par leur force physique^[66].

En 2018, un sondage SurveyMonkey auprès du public américain par USA Today a révélé que 68% estiment que la véritable menace réside dans « l'intelligence humaine » ; cependant, le sondage a également révélé que 43% considèrent que l'IA superintelligente, si elle devait se produire, entraînerait « plus de mal que de bien », et 38% ont déclaré qu'elle ferait « des quantités égales de mal et de bien »^[114].

Les résultats préliminaires d'une enquête d'experts de 2022 avec un taux de réponse de 17% semblent montrer des réponses médianes d'environ cinq ou dix pour cent lorsqu'on leur demande d'estimer la probabilité d'extinction humaine à partir de l'intelligence artificielle^[115],[14].

Un point de vue techno-utopique exprimé dans certaines fictions populaires est que l'IAG peut tendre vers la consolidation de la paix^[116].

Approbation

La thèse selon laquelle l'IA pose un risque existentiel, et que ce risque nécessite beaucoup plus d'attention qu'il n'en reçoit actuellement, a été approuvée par de nombreuses personnalités publiques dont Alan Turing^[9], Geoffrey Hinton^[8], Sam Altman^[10], Stephen Hawking^[11], Bill Gates^[12], Elon Musk^[13] ou encore IJ Good (qui a conseillé Stanley Kubrick sur le tournage de 2001 : L'Odyssée de l'espace). Les partisans de la thèse du risque existentiel expriment parfois leur perplexité envers les sceptiques : Bill Gates a déclaré qu'il ne « comprend pas pourquoi certaines personnes ne sont pas inquiètes »^[117], et Hawking a critiqué l'indifférence généralisée dans son éditorial de 2014^[118]:

 

« Donc, face à de possibles futurs aux bénéfices et aux risques incommensurables, les experts sont sûrement en train de faire tout ce qu'ils peuvent pour garantir le meilleur résultat, n'est-ce pas? Faux. Si une civilisation extra-terrestre devait nous envoyer un message disant « On arrive dans quelques décennies », répondrions-nous juste « OK, appelez-nous quand vous serez là, on laissera les lumières allumées »? Probablement pas, mais c'est plus ou moins ce qui arrive avec l'IA. »

— Stephen Hawking

Les inquiétudes suscitées par l'IA ont conduit à des dons et des investissements de grande envergure. En 2016, 1 milliard de dollars ont été investis pour créer OpenAI, visant un développement responsable de l'IA^[119]. En janvier 2015, Elon Musk a fait don de 10 millions de dollars au Future of Life Institute pour financer la recherche sur la compréhension de la prise de décision par l'IA. L'objectif annoncé de l'institut est de faire croître la sagesse avec laquelle nous gérons la puissance croissante des technologies. Musk a également financé des entreprises développant l'intelligence artificielle telles que DeepMind et Vicarious pour « garder un œil sur ce qui se passe avec l'intelligence artificielle. Je pense qu'il y a potentiellement des conséquences dangereuses là-bas »^[120],[121]. L'Open Philanthropy Project a aussi fait plus de 100 millions de dollars de donations pour atténuer les risques potentiels associés à l'IA avancée^[122].

Geoffrey Hinton a noté qu'« il n'y a pas de bons antécédents de choses moins intelligentes contrôlant des choses plus intelligences »^[123], mais a déclaré qu'il poursuit ses recherches car « la perspective d'une découverte est trop douce »^[124],[125]. En 2023, il indique que l'IAG pourrait être créée bien plus vite qu'il ne l'envisageait. Il ajoute : « Regardez comment c'était il y a 5 ans et comment c'est maintenant. Prenez la différence et propagez-la vers l'avant. C'est effrayant »^[126].

Dans son livre de 2020, The Precipice: Existential Risk and the Future of Humanity, Toby Ord, chercheur principal au Future of Humanity Institute de l'Université d'Oxford, estime que le risque existentiel total d'une IA non alignée au cours du siècle est d'environ 10%^[66].

Scepticisme

La thèse selon laquelle l'IA peut poser un risque existentiel a de nombreux détracteurs. Les sceptiques l'accusent parfois d'être « crypto-religieuse », avec une croyance irrationnelle en la possibilité d'une superintelligence remplaçant une croyance irrationnelle en un Dieu omnipotent. Jaron Lanier a fait valoir en 2014 que le concept selon lequel les machines de l'époque seraient quelque sorte intelligentes était selon lui une illusion, et une prodigieuse escroquerie venant des riches^[127],[29].

Selon certains experts, l'idée qu'une IA puisse prendre le contrôle du monde est une possibilité suffisamment éloignée dans le futur pour ne pas valoir la peine d'être étudiée^[128],[129]. Certaines critiques soutiennent que l'intelligence artificielle générale est peu probable à court terme. Le chercheur en IA Rodney Brooks a écrit en 2014 : « Je pense que c'est une erreur de s'inquiéter du fait que nous développions une IA malveillante à tout moment au cours des prochains siècles. Je pense que l'inquiétude provient d'une erreur fondamentale du fait de ne pas distinguer les avancées récentes très réelles dans un aspect particulier de l'IA, et l'énormité et la complexité de la conception d'une intelligence volitionnelle sensible. »^[130] Le vice-président de Baidu, Andrew Ng, a déclaré en 2015 que le risque existentiel de l'IA est « comme s'inquiéter de la surpopulation sur Mars alors que nous n'avons même pas encore mis le pied sur la planète »^[131],[132].

Les sceptiques qui pensent que l'IAG n'est pas possible à court terme disent parfois que les préoccupations de risque existentiel lié à l'IA amènent les gouvernements à réguler davantage, rendent plus difficile l'obtention de financements, ou nuisent à la réputation du domaine^[133]. Les chercheuses Timnit Gebru, Emily M. Bender, Margaret Mitchell et Angelina McMillanMajor ont argumenté que les discussions sur les risques existentiels détournent l'attention de problèmes ayant actuellement lieu dans le monde, tels que le vol de données, l'exploitation des travailleurs, les biais et la concentration de pouvoir. Elles notent l'association entre les personnes avertissant des risques existentiels et le long-termisme, qu'elles considèrent être une « dangereuse idéologie »^[134].

Kevin Kelly estime que l'intelligence naturelle est plus nuancée que ne le croivent ceux qui craignent l'IAG, et que l'intelligence seule n'est pas suffisante pour accomplir des avancées scientifiques et sociétales majeures. Il ajoute qu'il y a de nombreuses dimensions à l'intelligence. Il note enfin le rôle important des expériences dans la méthode scientifique^[135].

Yann Le Cun considère que l'IA peut être rendue sûre à travers un processus d'amélioration continu et itératif, similaire à celui ayant eu lieu dans le passé avec les voitures et les fusées. Il affirme aussi que l'IA n'aura aucune envie de prendre le pouvoir^[136].

Plusieurs sceptiques mettent en avant les bénéfices potentiels de l'IA. Le PDG de Facebook, Mark Zuckerberg, estime que l'IA offrira d'énormes bénéfices, tels que la guérison de maladies ou l'augmentation de la sécurité des voitures autonomes^[137]. Le physicien Michio Kaku, un sceptique des risques liés à l'IA, postule que l'IA sera bénéfique de façon déterministe. Dans Physics of the Future, il affirme qu'il faudra de nombreuses décennies aux robots pour gravir l'échelle de la conscience, et qu'entre-temps des sociétés telles que Hanson Robotics réussiront probablement à créer des robots « capables d'aimer et de gagner une place dans la grande famille humaine »^[138],[139].

Réactions populaires

Dans un article paru en 2014 dans The Atlantic, James Hamblin a noté que la plupart des gens ne se soucient pas de l'IAG, et a caractérisé sa propre réaction viscérale au sujet comme suit : « Sortez d'ici. J'ai cent mille choses qui m'inquiètent en ce moment précis. Dois-je sérieusement ajouter à cela une singularité technologique ? »^[140]

Lors d'une interview du président Barack Obama et de Joi Ito en 2016 par Wired, Ito a déclaré^[141] :

« il y a quelques personnes qui pensent qu'il y a une probabilité assez élevée que l'IA générale survienne dans les 10 prochaines années. Mais la façon dont je vois les choses c'est que pour que ça arrive, on aura besoin de quelques dizaines de percées technologiques. Donc vous pouvez surveiller si vous pensez que ces percées technologiques vont survenir. »

— Joi Ito

Obama a ajouté^[142]:

« Et il faut juste avoir quelqu'un posté près de la prise électrique. [Rires.] Dès que tu le vois venir, faut couper le jus, mec. »

— Barack Obama

 

Hillary Clinton a elle déclaré dans What Happened^[143] :

« Les technologues... ont averti que l'intelligence artificielle pourrait un jour constituer une menace existentielle pour la sécurité. Musk l'a appelé « le plus grand risque auquel nous soyons confrontés en tant que civilisation ». Pensez-y : avez-vous déjà vu un film où les machines commencent à penser par elles-mêmes et qui se termine bien ? Chaque fois que je suis allé dans la Silicon Valley pendant la campagne, je suis rentrée plus alarmée à ce sujet. Mon personnel vivait dans la peur que je commence à parler de « l'essor des robots » dans une mairie de l'Iowa. J'aurais peut-être dû. Dans tous les cas, les décideurs politiques doivent suivre la technologie à mesure qu'elle avance, au lieu de toujours rattraper le retard. »

— Hillary Clinton, What Happened

Réglementation

De nombreux chercheurs préoccupés par les risques existentiels de l'IAG pensent que la meilleure approche consiste à mener des recherches approfondies pour résoudre le difficile « problème de contrôle »: quels types de mesures, d'algorithmes ou d'architectures les programmeurs peuvent-ils mettre en œuvre pour maximiser la probabilité que si une IA parvenait à s'améliorer elle-même récursivement, elle continue néanmoins de se comporter de manière bienfaisante ?^[5],[93] Les mesures sociales peuvent réduire le risque existentiel^[144],[93] ; par exemple il y a la recommandation pour un « Traité de l'intelligence artificielle générale bienveillante » parrainé par l'ONU, qui garantirait que seules des intelligences artificielles générales altruistes soient créés^[145]. De même, une approche pour contrôler la militarisation de l'IA a été suggérée, tout comme un traité mondial de paix, dont les superintelligences pourraient potentiellement un jour être des signataires^[146].

Des chercheurs de Google ont proposé des recherches sur des problèmes concrets de sûreté de l'IA afin d'atténuer simultanément les risques à court et à long terme de l'IAG^[147],[148]. Une estimation de 2020 place les dépenses mondiales pour atténuer les risques existentiels de l'IA à entre 10 et 50 millions de dollars, là où les dépenses mondiales pour l'IA sont d'environ 40 milliards de dollars. Bostrom propose un principe général de « développement technologique différentiel » : les investisseurs devraient privilégier le développement de technologies protectrices, et limiter celui de technologies dangereuses^[66]. Certains investisseurs comme Elon Musk suggèrent que l'amélioration cognitive humaine radicale puisse servir à protéger l'humanité. Par exemple les systèmes de liaison neuronale directe entre l'homme et la machine. Mais d'autres soutiennent que ces technologies d'amélioration de l'humain peuvent elles-mêmes poser un risque existentiel^[149],[150]. Les chercheurs pourraient surveiller de près ou tenter de confiner une IA risquant de devenir trop puissante. Une superintelligence dominante, si elle était alignée sur les intérêts humains, pourrait elle-même prendre des mesures pour réduire le risque de prise de contrôle par une autre IA, bien que la création de l'IA dominante puisse elle-même poser un risque existentiel^[144].

Des institutions telles que le Machine Intelligence Research Institute, le Future of Humanity Institute^[151],[152], le Future of Life Institute, le Center for the Study of Existential Risk, le Alignment Research Center et le Center for Human-Compatible AI^[153] sont impliquées dans la recherche sur les risques et la sûreté de l'IA^{[154],[127],[32]}.

En mars 2023, le Future of Life Institute a rédigé une lettre appelant les principaux développeurs d'IA à s'entendre sur une pause vérifiable de six mois de tout système « plus puissant que GPT-4 » et à utiliser ce temps pour instituer des normes de sécurité. Ou, si ça ne pouvait pas être rapidement mis en place, que les gouvernements interviennent avec un moratoire. La lettre faisait référence à la possibilité d'un « changement profond dans l'histoire de la vie sur Terre »^[155]. Elle évoquait les risques potentiels de propagande générée par l'IA, de pertes d'emplois massives, d'obsolescence humaine et de perte de contrôle sur la société^[156]. La lettre a notamment été signée par Elon Musk, Steve Wozniak, Evan Sharp, Chris Larsen et Gary Marcus ; les digireants de laboratoire d'IA, Connor Leahy et Emad Mostaque ; le politicien Andrew Yang ; et le pionnier de l'apprentissage en profondeur Yoshua Bengio. Marcus a déclaré que « la lettre n'est pas parfaite, mais l'esprit est juste »^[157]. Mostaque a déclaré: « Je ne pense pas qu'une pause de six mois soit la meilleure idée et je ne suis pas d'accord avec tout, mais il y a des choses intéressantes dans cette lettre »^[158]. En revanche, Bengio a explicitement approuvé la pause de six mois lors d'une conférence de presse^[159]. Elon Musk a déclaré que « les principaux développeurs d'IAG ne tiendront pas compte de cet avertissement, mais au moins ça a été dit »^[160]. Certains signataires, tels que Marcus, ont signé par souci d'autres risque que celui d'une superintelligence, tels que la propagande générée par l'IA^[161]. Margaret Mitchell, dont le travail est cité par la lettre, l'a critiquée en disant : « En traitant beaucoup d'idées douteuses comme établies, la lettre affirme un ensemble de priorités et une narration sur l'IA qui profite aux partisans du FLI. Ignorer les dégâts qui ont activement lieu en ce moment est un privilège que certains d'entre nous n'ont pas. »^[162]

Elon Musk a appelé à réglementer l'IA dès 2017. Selon NPR, le PDG de Tesla n'était pourtant clairement pas ravi de plaider en faveur d'un examen gouvernemental qui pourrait impacter son propre secteur d'activité. Mais il estime que les risques d'une absence de surveillance sont trop élevés : « Normalement, les réglementations sont faites de sorte que quand de mauvaises choses se produisent, il y a un tollé public et, après de nombreuses années, une agence de réglementation est créée pour réguler cette industrie [...] Ça prend une éternité. Ça s'est jusqu'ici mal passé, mais pas au point de représenter un risque fondamental pour l'existence de la civilisation. »^[163] Elon Musk déclare que la première étape serait que le gouvernement s'intéresse à l'état actuel de la recherche, avertissant qu'« une fois qu'il y aura prise de conscience, les gens seront effrayés, [...] Comme ils devraient l'être. »^[164] En réponse, les politiciens ont exprimé leur scepticisme quant à la sagesse du fait de réglementer une technologie encore en développement^{[165],[166],[167]}.

En 2021, les Nations unies ont tenté d'interdir les armes létales autonomes, sans parvenir à un consensus^[168]. En Juillet 2023, le conseil de sécurité a tenu pour la première fois une session pour traiter des risques posés par l'IA pour la paix et à la stabilité dans le monde, ainsi que des bénéfices potentiels^[169]. Le secrétaire général António Guterres a plaidé pour la création d'un organisme mondial de surveillance pour surveiller cette technologie émergente, déclarant que « L'IA générative a un potentiel énorme pour faire le bien et le mal à grande échelle. Ses créateur ont averti que des risques bien plus grands et potentiellement catastrophique sont à venir. »^[170] À la session du conseil, la Russie a annoncé que les risques liés à l'IA sont trop mal compris pour pouvoir être considérés comme une menace à la stabilité globale. La Chine a plaidé contre une réglementation mondiale stricte, en disant que les pays devraient pouvoir leurs propres règles, et en affirmant s'opposer à l'utilisation de l'IA pour « créer une hégémonie militaire et saper la souveraineté d'un pays. »^[171]

La réglementation des IAG conscientes se concentre sur leur intégration à la société humaine existante, et peut être divisée en considérations sur leur statut juridique et leurs droits moraux^[93]. Limiter la militarisation de l'IA devrait nécessiter de nouvelles normes internationales avec des spécifications techniques efficaces. Mais aussi une surveillance active, une diplomatie informelle par des communautés d'experts, et un processus juridique et politique de vérification^[172],[173].

Articles connexes

• Alignement des intelligences artificielles
• Altruisme efficace § Avenir lointain et risques existentiels
• Conséquentialisme
• Gelée grise
• Intelligence artificielle digne de confiance
• Intelligence artificielle générale
• Philosophie de l'intelligence artificielle
• Réglementation de l'intelligence artificielle
• Superintelligence
• Superintelligence : Paths, Dangers, Strategies
• Sûreté des intelligences artificielles
• Système d'armes létales autonome

Références

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Existential risk from artificial general intelligence » (voir la liste des auteurs).

• Portail des risques majeurs
• Portail de la sécurité informatique