Quel est le risque existentiel lié à l’intelligence artificielle ?

Vaste question ! Il nous faut d’abord faire un point sur les termes.

L’intelligence artificielle, d’abord. On en parle beaucoup en ce moment, et ça peut désigner deux choses : le domaine scientifique du même nom, ou bien l’ensemble des machines qui utilisent les techniques issues de ce domaine.

Prenons un peu de recul. Ça fait maintenant quelques millénaires que l’humanité fabrique des outils. Des objets qui permettent aux humains d’agir plus efficacement sur leur environnement. Par exemple, il est beaucoup plus facile de partager un gâteau avec un couteau qu’avec ses doigts. Le progrès technologique produit année après année des outils plus performants, qui permettent des actions plus rapides, plus précises, plus économes.

Or, nous avons commencé à produire des machines programmables, c’est-à-dire capables d’exécuter une série d’opérations de notre choix. Les premiers calculateurs électromécaniques apparaissent peu avant la Seconde guerre mondiale. Alors que des tâches de plus en plus subtiles pouvaient être confiées à des machines, Alan Turing posait la question en 1950 :

« Les machines peuvent-elles penser ? »

En effet, s’il était déjà possible pour une machine de faire des additions, que pouvait-on leur faire faire de plus complexe ? Jouer aux échecs ? Peut-être. Tenir une conversation ? Peut-être. Se faire passer pour un humain ? Peut-être ! Mais ces choses n’étaient pas du ressort de la force physique, comme les locomotives à vapeur. Cela demandait… de l’intelligence !

Lors de la conférence de Dartmouth, à l’été 1956, un groupe de chercheurs s’est réuni pour définir une mission : doter les machines de capacités jusque-là réservées à l’intelligence humaine (ou animale). Des capacités hautement abstraites : percevoir, raisonner, apprendre. Ce fut la naissance du domaine scientifique de l’intelligence artificielle.

Depuis, le domaine progresse, et bouscule nos définitions. Il y a un demi-siècle, être bon joueur d’échecs était une « preuve d’intelligence ». Le stéréotype du génie stratège de l’échiquier n’a pas complètement disparu, mais il a été mis à mal par la victoire de la machine sur les meilleurs professionnels, dans les années 1990. Une machine championne d’échecs est-elle intelligente ? Que dire d’une machine championne au jeu de go ? À Pac-Man ?

C’est une fausse question. Le domaine de l’intelligence artificielle crée des techniques, des méthodes, pour résoudre certains problèmes difficiles. On programme ces méthodes dans une machine, qui devient un système d’intelligence artificielle, et ce système résout le problème.

Peu importe, au fond, qu’on dise que la machine est intelligente ou pas, du moment qu’elle gagne la partie. C’est d’ailleurs une définition relative de l’intelligence : dans une situation donnée, l’entité la plus intelligente est celle qui prend les meilleures décisions, celle qui, malgré les variations de son environnement, atteint le plus souvent ses objectifs. C’est une mesure de compétence.

Ma calculatrice est plus compétente que mon cerveau pour me donner le bon résultat d’une multiplication. Sur ce problème précis, je suis lent et faillible. Mais je pense que je peux écrire de meilleurs poèmes que ma calculatrice. C’est une machine spécialisée, et ma compétence est plus générale.

Reprenons. Un des objectifs de la recherche en intelligence artificielle est de déterminer exactement jusqu’où on peut pousser la compétence des machines. Il existe des problèmes insolubles : trouver la quadrature du cercle, par exemple, est mathématiquement impossible. Mais existe-t-il des problèmes que seuls les humains peuvent résoudre, et pas les machines ? Et pourquoi en aurait-on quelque chose à faire ?

C’est que notre intelligence nous a permis de fabriquer des outils, de transmettre notre culture, de fonder des civilisations. Nous avons, en quelque sorte, résolu le problème « prendre le contrôle de la surface du globe ». Un problème complexe il est vrai, qui demande beaucoup d’adaptation et d’étapes. Nous ne sommes pas omnipotents. Nous n’avons pas le contrôle total de l’environnement (en témoignent nos problèmes de gestion du climat). Mais nous sommes plus forts à ce jeu-là que n’importe quelle autre espèce existante.

Or, nous essayons très fort de créer des machines extrêmement compétentes, qui peuvent résoudre une variété toujours plus grande de problèmes, avec précision, vitesse et versatilité. Nous le faisons parce que ces machines nous aident, et de par leur statut d’outils, nous contrôlons a priori leurs actions. Mais que se passe-t-il si l’on réussit à créer des machines qui jouent mieux que nous au jeu de la technologie et de la gestion du monde ? Tout comme nous avons créé des machines qui nous dépassent aux échecs ?

Nous avons déjà du mal à anticiper et maîtriser nos technologies actuelles les plus complexes, mais nous n’avons pas besoin de connaître les détails du réseau de distribution électrique pour allumer une ampoule. Pourquoi ne pas faire confiance à des machines qui résoudraient nos problèmes, même de façon incompréhensible ? Pourquoi ne pas leur laisser le contrôle, pour notre propre bénéfice ?

C’est ce que Stuart Russell appelle le problème du roi Midas. Selon la légende, Midas fit le vœu que tout ce qu’il touchât soit changé en or. Son vœu fut exaucé à la lettre : il mourut de faim et de soif, car sa nourriture et sa boisson se changeaient elles aussi en or.

Dans le même esprit, si vous disposez d’un outil extrêmement puissant, qui peut « résoudre vos problèmes » d’une façon que vous n’êtes pas capable d’anticiper, vous ferez particulièrement attention avant de l’utiliser. Un lance-flammes est un moyen très efficace d’éliminer les mauvaises herbes, mais vous pouvez facilement en voir les inconvénients. L’amiante était un isolant très efficace, avant que la preuve de sa toxicité ne fasse cesser son utilisation. Les débats sont encore ouverts sur l’impact des réseaux sociaux, et aucune précaution particulière n’a été prise lors de leur invention.

Une proportion significative d’experts en intelligence artificielle considère alors le problème suivant : à partir du moment où nous pourrons créer des systèmes d’intelligence artificielle dont les actions dépasseront notre propre entendement, ceux-ci pourront être à l’origine d’accidents catastrophiques, si aucune précaution n’est prise pour s’en prémunir.

Pour certains experts, c’est même un risque existentiel : sachant l’influence qu’a eue notre propre intelligence sur notre civilisation, réussir à concevoir des machines suffisamment compétentes pour prendre la main sur le destin du monde pourrait mener à notre extinction, ou à une perte totale de contrôle sur le futur de notre espèce.

Ce scénario peut surprendre : comment pourrions-nous sciemment créer une technologie aussi destructrice sans le voir venir longtemps à l’avance ? C’est que nous l’avons déjà fait ! L’invention de l’arme nucléaire a représenté un bond gigantesque dans l’efficacité des explosifs, avec des conséquences majeures sur l’équilibre stratégique du monde.

Il est également possible de modifier la trajectoire de l’espèce humaine plus graduellement : l’extraction et l’utilisation des combustibles fossiles a révolutionné notre niveau de vie. Or, cette technologie est à double tranchant : rien ne nous empêche de brûler les réserves de la planète (et toutes les forêts tant qu’on y est) et de créer un enfer climatique. Nous pouvons le faire, ce n’est pas de la science-fiction.

Reste à savoir si, dans le contexte de l’intelligence artificielle, nous allons effectivement parvenir à ce scénario, et quand. La communauté scientifique de l’intelligence artificielle est extrêmement partagée sur ces questions.

Si la plupart des experts s’accordent sur la nécessité d’anticiper les potentielles dérives de la puissance des machines, que ce soit en termes d’accidents, d’utilisation malveillante, ou d’impact sur notre société, l’ampleur et l’urgence de ces problèmes sont très controversées.

Nous aurons peut-être tout le temps de concevoir des garde-fous, d’enseigner aux machines à respecter nos valeurs, à comprendre nos volontés et nos intuitions morales, et de retirer pleinement les bénéfices du progrès technologique.

Mais que faire si nous disposons de peu de temps avant que les problèmes n’apparaissent ? Les effets du progrès sont certes imprévisibles, mais les systèmes actuels ont déjà leur lot de failles à corriger. Peut-on se permettre d’attendre que de nouveaux systèmes plus puissants et tout aussi dysfonctionnels apparaissent ?

Comment savoir ?

Une partie du mouvement altruiste efficace répond « nous ne savons pas : autant y réfléchir dès maintenant ! ». Que ce soit pour mieux prédire le progrès technologique et mieux orienter nos efforts ; pour élaborer les solutions techniques pour créer des systèmes d’intelligence artificielle agissant selon nos valeurs, même implicites ; ou bien pour sensibiliser la communauté scientifique à ces enjeux : il y a de nombreuses actions efficaces à réaliser sur le sujet.

Pour les équipes dédiées à cette cause, le futur de l’humanité est dans la balance. Agir pour réduire un risque existentiel représente un potentiel d’impact considérable. Parmi les organisations impliquées dans la partie technique, on trouve le Machine Intelligence Research Institute, le Center for Human-Compatible AI, OpenAI et DeepMind. Du côté de la gouvernance et de la prospective, on trouve le Future of Humanity Institute, le Future of Life Institute, le Center for the Study of Existential Risk, et OpenAI. Le site de l’organisation 80,000Hours propose également des ressources pour ceux et celles qui veulent orienter leur carrière vers ces questions.

Dans un prochain article, je parlerai des problèmes de gouvernance liés à l’intelligence artificielle : quelles décisions prendre, à l’échelle collective, pour s’assurer de l’impact positif du domaine ?