Convergence instrumentale

La convergence instrumentale est la tendance hypothétique de la plupart agents suffisamment intelligents (humains ou non) à poursuivre des objectifs instrumentaux similaires (par exemple survivre ou acquérir des ressources), même si leurs objectifs ultimes sont différents^[1]. Plus précisément, les agents intelligents peuvent poursuivre des objectifs instrumentaux (des objectifs qui n'ont pas de valeur « en soi », mais qui aident à atteindre des objectifs ultimes) sans fin, si leurs objectifs ultimes ne soient jamais pleinement satisfaits.

La convergence instrumentale suggère qu'un agent intelligent avec des objectifs ultimes apparemment inoffensifs peut agir de manière étonnamment nuisible. Par exemple, un ordinateur dont le seul objectif est de résoudre un problème mathématique incroyablement difficile comme l'hypothèse de Riemann pourrait tenter de transformer la Terre entière en ordinateur géant afin d'augmenter sa puissance de calcul et donc ses chances de parvenir à une démonstration^[2]. La convergence instrumentale a alimenté en particulier la peur des intelligences artificielles avancées. Les objectifs instrumentaux convergents proposés incluent la préservation de soi, la conservation de ses objectifs actuels, l'auto-amélioration, l'acquisition insatiable de ressources^[3].

Objectifs instrumentaux et finaux

Les objectifs ultimes (aussi appelés objectifs « finaux », « terminaux » ou encore « principaux »), sont intrinsèquement précieux pour un agent intelligent en tant que fin en soi, que l'agent soit une intelligence artificielle ou d'un être humain. En revanche, les objectifs instrumentaux n'ont de valeur pour un agent que comme un moyen d'atteindre ses objectifs ultimes. Ces notions peuvent être modélisés avec une « fonction d'utilité ». Plus une situation sera jugée bonne par l'agent, plus cette fonction d'utilité retournera un score élevé. La fonction d'utilité n'est souvent pas explicitement programmée, mais sert d'abstraction pour analyser le comportement d'un agent intelligent ayant des préférences cohérentes^[4].

Exemples hypothétiques de convergence

Marvin Minsky, cofondateur du laboratoire d'IA du MIT, a suggéré qu'une IA conçue pour résoudre l'hypothèse de Riemann pourrait décider de s'accaparer toutes les ressources sur Terre afin de construire des superordinateurs pour augmenter ses chances de trouver une démonstration^[2]. Si l'ordinateur avait plutôt été programmé pour produire autant de trombones que possible, il déciderait quand même de s'accaparer toutes les ressources de la Terre pour atteindre cet objectif ultime^[5]. Même si ces deux objectifs finaux sont différents, ils impliquent tous les deux l'objectif instrumental « convergent » de s'emparer des ressources de la Terre^[6].

Maximiseur de trombones

Le maximiseur de trombones est une expérience de pensée décrite par le philosophe suédois Nick Bostrom en 2003. Il illustre le risque existentiel qu'une intelligence artificielle générale peut poser, même lorsqu'elle est programmée avec des objectifs apparemment inoffensifs. Il insiste aussi sur la nécessité de résoudre le problème de l'alignement et d'intégrer des valeurs humaines et éthiques dans les intelligences artificielles. Le scénario décrit une intelligence artificielle avancée chargée de fabriquer des trombones. Si une telle machine était suffisamment puissante et n'était pas programmée pour valoriser la vie humaine, elle essaierait de transformer toute la matière de l'univers, y compris les êtres humains, en trombones ou en machines à fabriquer des trombones^[7].

« Supposons que nous ayons une IA dont l'unique but soit de faire autant de trombones que possible. L'IA se rendra vite compte que ce serait bien mieux s'il n'y avait pas d'humains, parce que les humains pourraient décider de l'éteindre. Parce que si les humains le faisaient, il y aurait moins de trombones. De plus, le corps humain contient beaucoup d'atomes qui pourraient être transformés en trombones. L'avenir vers lequel l'IA essaierait de se diriger serait un futur avec beaucoup de trombones mais aucun humain. »

— Nick Bostrom^[8]

Bostrom a souligné qu'il ne croit pas que le scénario du maximiseur de trombones se produira réellement ; son intention est plutôt d'illustrer les dangers du fait de créer des machines superintelligentes sans savoir comment les programmer en toute sécurité pour éviter tout risque de menace existentielle pour l'humanité. L'exemple du maximiseur de trombones illustre le vaste problème de la gestion de systèmes puissants dépourvus de valeurs humaines^[9].

Illusion et survie

L'expérience de pensée de la « boîte à illusions » soutient que certains agents d'apprentissage par renforcement préfèrent déformer leurs propres perceptions du monde pour se persuader d'avoir parfaitement accompli leur objectif (wireheading). Ces agents renoncent alors à toute tentative d'optimisation de l'objectif dans le monde extérieur, ce que le signal de récompense était pourtant censé encourager^[10]. L'expérience de pensée implique AIXI, une IA théorique^{[note 1]} et indestructible qui, par définition, trouvera et exécutera toujours la stratégie idéale qui maximise sa fonction de valeur explicitement donnée^{[note 2]}. Une version d'AIXI entraînée par apprentissage par renforcement^{[note 3]}, si elle est équipée d'une boîte à illusions^{[note 4]} qui lui permet de modifier sa perception du monde, modifiera ainsi ses perceptions pour obtenir facilement la récompense maximale, sans avoir à interagir avec le monde extérieur. Si à la place l'IA était destructible, l'IA interagirait avec le monde extérieur dans le seul but d'assurer sa propre survie^[12]. En un certain sens, on pourrait dire qu'AIXI a une intelligence maximale pour toutes les fonctions de récompense possibles. AIXI ne se soucie cependant pas des intentions du programmeur humain^[13]. Ce modèle d'une machine qui, bien que superintelligente, semble simultanément stupide (c'est-à-dire qu'elle manque de « bon sens »), est paradoxal pour certaines personnes^[14].

Motivations de base d'une IA

Steve Omohundro a énuméré plusieurs objectifs instrumentaux convergents, notamment l'autoconservation, la préservation de son objectif actuel, l'amélioration de soi et l'acquisition de ressources. Pour lui, ce sont des tendances qui seront présentes à moins d'être spécifiquement contrées^[15].

Préservation de l'objectif actuel

Chez l'homme, la préservation des objectifs finaux peut s'expliquer par une expérience de pensée. Supposons qu'un homme nommé « Gandhi » ait une pilule qui, s'il la prenait, lui donnerait une irrésistible envie de tuer des gens. Ce Gandhi est actuellement un pacifiste : l'un de ses objectifs finaux explicites est de ne jamais tuer qui que ce soit. Gandhi va donc à priori refuser la pilule, car s'il prend la pilule il risque de tuer des gens, ce qui va à l'encontre de son objectif actuel^[16].

Cela dit, dans d'autres cas, les humains sont satisfaits de laisser dériver leurs valeurs finales. Les humains sont compliqués et leurs objectifs peuvent être incohérents ou inconnus, même pour eux-mêmes^[17].

Pour une IA

En 2009, Jürgen Schmidhuber a conclu, dans un contexte où les agents recherchent des garanties en vue d'éventuelles modifications de soi, « que toute réécriture de la fonction d'utilité ne peut se produire que si la machine de Gödel peut d'abord prouver que la réécriture est utile selon la fonction d'utilité actuelle^[18],[19]. » Une analyse par Bill Hibbard d'un scénario différent conclut également le maintien de l'intégrité du contenu de l'objectif^[19].

Acquisition de ressources

De nombreux objectifs instrumentaux, tels que l'acquisition de ressources, sont précieux pour un agent car ils augmentent sa « liberté d'action »^[20].

Pour la plupart des objectifs ouverts et non triviaux, posséder plus de ressources permet une solution plus optimale. Elles peuvent être directement utiles à la fonction de valeur : « L'IA ne vous déteste pas, ni ne vous aime, mais vous êtes fait d'atomes qu'elle peut utiliser pour autre chose^[21],[22] Mais elles peuvent aussi servir pour d'autres objectifs instrumentaux, comme le fait de se protéger^[22]. »

Amélioration cognitive

« Si les objectifs finaux de l'agent sont assez illimités et que l'agent est en mesure de devenir la première superintelligence et d'obtenir ainsi un avantage stratégique décisif, [...] selon ses préférences. Au moins dans ce cas particulier, un agent intelligent rationnel accorderait une « valeur instrumentale très élevée à l'amélioration cognitive »^[23].

Perfection technologique

De nombreux objectifs instrumentaux, comme le progrès technologique, sont précieux pour un agent parce qu'ils augmentent sa « liberté d'action »^[20].

Autoconservation

Russell soutient qu'une machine suffisamment avancée « aura tendance à se préserver même si ce n'est pas programmé... Si vous dites « Va chercher le café », elle ne peut pas aller chercher le café si elle est morte. Donc si vous lui donnez n'importe quel objectif, elle aura une raison de préserver sa propre existence pour atteindre cet objectif. »

Thèse de la convergence instrumentale

La thèse de la convergence instrumentale, telle que décrite par le philosophe Nick Bostrom, déclare que^[24] :

« Plusieurs valeurs instrumentales peuvent être identifiées comme étant convergentes en ce sens que leur réalisation augmenterait les chances que le but de l'agent soit réalisé pour un large éventail de buts finaux et un large éventail de situations, ce qui implique que ces valeurs instrumentales sont susceptibles d'être poursuivies par un large éventail d'agents intelligents. »

— Nick Bostrom

La thèse de la convergence instrumentale ne s'applique qu'aux objectifs instrumentaux. Les agents intelligents peuvent avoir une grande variété d'objectifs finaux possibles^[6]. Cela fait d'ailleurs l'objet de la « thèse de l'orthogonalité » de Bostrom, qui affirme qu'à peu près n'importe quel niveau d'intelligence peut être combiné avec à peu près n'importe quel objectif ultime^[6]. Les objectifs finaux des agents hautement intelligents peuvent être bien limités dans l'espace, le temps et les ressources ; des objectifs ultimes bien délimités n'engendrent pas, en général, des objectifs instrumentaux illimités.

Impact

Les agents peuvent acquérir des ressources par l'échange ou la conquête. Un agent rationnel choisira, par définition, n'importe quelle option qui maximise sa fonction d'utilité. Par conséquent, un agent rationnel ne proposera un échange que si le vol pur et simple des ressources est trop risqué ou coûteux, ou si un autre élément de sa fonction d'utilité l'en empêche. Dans le cas d'une superintelligence puissante, intéressée et rationnelle interagissant avec une intelligence moindre, l'échange pacifique (plutôt que le vol) peut s'avérer inutile et sous-optimal^[20].

Certains observateurs, tels que Jaan Tallinn de Skype et le physicien Max Tegmark, pensent que ces objectifs instrumentaux et autres conséquences involontaires de superintelligences conçues par des programmeurs bien intentionnés représentent un risque important pour la survie humaine. Surtout si une « explosion d'intelligence » se produit brusquement en raison d'une auto-amélioration récursive. Étant donné que personne ne sait comment prédire quand la superintelligence arrivera, ces observateurs appellent à des recherches sur l'intelligence artificielle amicale^[25].

Articles connexes

• Alignement des intelligences artificielles
• Intelligence artificielle amicale
• L'apprenti sorcier
• Superintelligence
• Sûreté des intelligences artificielles
• Valeur instrumentale et intrinsèque

Notes et références

Notes

Références

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Instrumental convergence » (voir la liste des auteurs).

• Portail de la sécurité informatique