Gérer les risques existentiels posés par des technologies émergentes

Photo : Future of Life Institute

Nous devons collectivement accorder plus d’attention aux risques dont la probabilité est faible mais l’impact élevé, car ils menacent de porter durablement atteinte au potentiel de l’humanité. Pour y parvenir, nous devons relever d’importants défis politiques et organisationnels.

Cet article s’adresse à un large éventail de décideurs, d’entrepreneurs, de professionnels, de chercheurs et d’autres personnes dont les intérêts se rapportent au lien entre le risque et l’innovation.

Au cours des 10 000 ans qui ont séparé la fin du Paléolithique et le début du XXème siècle, l’humanité avait bien plus à craindre un impact de météorite, une pandémie globale, ou encore une éruption volcanique que tout autre risque posé par homo sapiens. Bien que la technique se soit développée tout au long de cette période, les risques posés par les technologies émergentes ont été faibles, en comparaison de leurs bénéfices. Seulement, au milieu du XXème siècle, l’invention de l’arme nucléaire a rendu caduc ce constat. Pour la première fois, une technologie pouvait influencer disproportionnément le sort de l’humanité. Comme le font remarquer Nick Beckstead et Toby Ord du Future of Humanity Institute [1], aujourd’hui et demain, d’autres technologies émergentes pourraient poser un risque important pour une grande partie de la planète, voire même pour la survie de l’humanité.

Si nous soulignons ici les risques posés par certaines technologies émergentes, force est de constater que la technologie a significativement rendu nos vies meilleures, en France comme dans le reste du monde. Au cours des 150 dernières années, nous sommes devenus bien plus prospères. De 1820 à 1996, le pouvoir d’achat du salaire ouvrier français a été multiplié par 7,5 [2], principalement grâce aux gains de productivité rendus possibles par le progrès technologique. Les 150 dernières années ont aussi connu des améliorations sans précédent dans le domaine de la santé : l’espérance de vie en France est passée d’environ 40 ans à 80 ans.

Ces améliorations ne sont pas entièrement dues à des avancées technologiques (on ne saurait oublier l’apport de la protection sociale [3]), mais une grande partie d’entre elles le sont. Nous avons vu le coût des marchandises baisser considérablement en raison de la production de masse [4], le temps domestique se libérer grâce aux machines (machine à coudre, machine à laver, lave-vaisselle, réfrigérateur, etc.) [5], et des personnes reliées grâce aux moyens de transports et de communication (automobiles, chemins de fer, avions, téléphones, télévisions, et Internet). La santé publique a progressé grâce à des améliorations généralisées dans les domaines de l’hygiène, la vaccination, les antibiotiques, les transfusions sanguines, les produits pharmaceutiques et les techniques chirurgicales [6].

Il semble y avoir un consensus sur le fait que jusqu’à présent, les avantages des technologies émergentes l’ont emporté sur les nombreux types de risque qu’elles comportent, y compris les menaces qu’elles font peser sur les travailleurs de l’industrie, les communautés locales, les consommateurs ou l’environnement. Si ce constat était généralement valable, nous réalisons désormais que ce rapport coût-avantage a cessé d’être systématiquement positif : les risques de réchauffement climatique extrême associés aux émissions de gaz à effet de serre en constituent une bonne illustration.

Dès lors, si la gouvernance face aux risques “courants” des nouvelles technologies émergentes a pu être adaptée jusqu’alors, et qu’il est assez raisonnable de penser qu’une bonne gouvernance a réduit les risques auxquels nous avons fait face au cours des deux siècles précédents [7], la gouvernance doit désormais prendre en considération certains effets “extrêmes” des nouvelles technologies, au sens où leur probabilité d’occurrence est faible, mais l’impact, lui, particulièrement important.

En effet, certains événements catastrophiques pourraient causer l’extinction prématurée de l’humanité, ou la réduction permanente et drastique de son potentiel. On parle alors de risques existentiels, c’est-à-dire des risques à l’échelle planétaire et pour lesquels tout retour en arrière est impossible en cas de réalisation du risque, par opposition aux risques courants, ceux dont on peut se remettre, et qui ne sont pas nécessairement globaux (la fermeture d’usines dans un pays par exemple). Ces risques existentiels peuvent être d’origine naturelle (à l’instar de l’impact d’un grand astéroïde, d’un sursaut de rayons gamma, d’une supernova, d’une éruption supervolcanique, ou d’une pandémie au taux de mortalité très élevé) ou anthropique [8] (réchauffement climatique extrême lié aux émissions de CO2, une guerre nucléaire ou une superintelligence artificielle incontrôlable) [9]. Cet article se concentre sur les risques existentiels anthropiques car — c’est ce que nous allons aborder — la probabilité de ces risques apparaît nettement plus importante.

A la différence des risques existentiels, les risques courants des technologies doivent être réduits sans que cela remette en question leur développement : les risques en jeu ne justifient pas des mesures retardant volontairement leur développement [10]. C’est par exemple le cas de la 5G qui, bien que son utilité soit discutable, et qu’il faille continuer de veiller à ce que les émissions d’ondes électromagnétiques respectent les normes en vigueur pour être “sûres”, ne semble pas à ce jour poser de risque que l’on pourrait qualifier “d’existentiel” (pas de magnitude extrême des dommages liés à un désastre potentiel) [11]. Il en est de même pour la cigarette électronique. [12]

En revanche, les risques existentiels appellent à plus de prudence. L’hypothèse principale des chercheurs travaillant sur les risques existentiels est que nous n’avons peut-être pas encore perçu ou compris les effets les plus importants des risques liés à l’innovation technologique. Au cours des prochaines décennies, certaines avancées technologiques pourraient ainsi poser des risques importants et sans précédent à l’échelle mondiale. Les progrès des biosciences et de la biotechnologie pourraient permettre de créer des armes biologiques plus dangereuses que n’importe quelle maladie à laquelle l’humanité s’est confrontée jusqu’à présent ; les technologies de géo-ingénierie pourraient donner à chaque pays la possibilité de modifier unilatéralement le climat de la planète ; des progrès rapides en intelligence artificielle sans recherches suffisantes sur notre capacité à contrôler ces machines pourraient causer des accidents catastrophiques.

Ces scénarios sont extrêmes mais, selon un grand nombre de chercheurs qui les ont étudié [13] [14] , il est important de les prendre au sérieux. En effet, en dépit de leur très faible probabilité, ils mettent en jeu rien de moins que le bien-être de l’humanité. Pour éviter autant que possible les résultats catastrophiques tout en exploitant les avantages potentiellement importants de ces nouvelles technologies, nous devons continuer de développer notre compréhension de ces risques, et nous assurer que les institutions — quand elles existent — en charge de les surveiller et d’élaborer des politiques sont adaptées à cet objectif.

Les sections suivantes explorent les risques à conséquences majeures que nous pouvons déjà anticiper, introduisent les défis économiques et politiques à relever pour gérer ceux que nous connaissons (nous n’avons probablement pas encore envisagé et anticipé tous les risques importants) et discutent de ce que nous pouvons faire aujourd’hui pour essayer de profiter du potentiel de ces technologies tout en gardant les menaces existentielles à un niveau suffisamment bas. L’objectif est de maximiser la probabilité d’un résultat acceptable. Pour cela, nous devons continuer à étudier ces risques spécifiques ; nous doter d’un cadre institutionnel qui permette de les gérer de manière appropriée ; soutenir des programmes qui réduisent directement les risques existentiels ; et retarder le développement de technologies dangereuses tout en accélérant le développement de technologies bénéfiques, notamment celles qui réduisent les dangers associées aux autres technologies.

Risques existentiels anthropiques et risques existentiels naturels

Comme précisé plus haut, un risque existentiel est défini comme un risque dont la réalisation impliquerait l’extinction prématurée de l’humanité, ou la disparition permanente et drastique de son potentiel. Ces risques peuvent être d’origine naturelle ou résulter de l’action de l’être humain.

Les données historiques montrent que des espèces comme la nôtre sont rarement détruites par des catastrophes naturelles. Nous autres homo sapiens existons depuis 200 000 ans. Notre ancêtre le plus proche, homo erectus, a survécu pendant environ 1,8 million d’années. L’espèce mammifère a une durée de vie médiane d’environ 2,2 millions d’années [15]. En utilisant ces informations, des chercheurs en ont conclu que la probabilité que l’humanité s’éteigne de causes naturelles au cours d’un siècle est presque garantie d’être inférieure à 1 sur 14 000, et probablement inférieure à 1 sur 87 000 [16]. Si ces estimations sont loin de faire consensus et qu’il convient d’être prudent, elles montrent que des experts attribuent généralement une probabilité assez faible à la réalisation d’un risque existentiel d’origine naturelle au cours du siècle à venir [17].

Les données historiques relatives aux risques anthropiques sont en revanche plus inquiétantes. Le développement de la fission nucléaire et de la bombe atomique a marqué un tournant historique : pour la première fois, une technologie rend possible l’annihilation de centaines de millions de personnes directement, ou de milliards de personnes en considérant les effets subséquents d’un hiver nucléaire sur l’agriculture. [18] Heureusement, nous n’avons pas encore vu de catastrophe nucléaire de cette ampleur, mais d’aucuns estiment que nous n’en sommes pas passés loin [19].

Le président américain John F. Kennedy a reconnu après coup que lors de la crise des missiles cubains de 1962, les chances d’une guerre nucléaire avec la Russie lui semblaient alors “quelque part autour d’une sur trois, voire plus”. À la lumière de cette expérience, il n’est pas certain que nous puissions survivre le prochain siècle sans faire face à une catastrophe mondiale d’origine technologique telle qu’une guerre nucléaire. Par ailleurs, au cours des prochaines décennies, le monde peut s’attendre à ce que plusieurs nouvelles technologies puissantes posent des risques — par accident ou par intention — au moins aussi importants, voire plus importants, pour l’humanité. Voici une liste non exhaustive d’exemples [20].

1. Pathogènes modifiés

Des pandémies telles que la grippe espagnole et le VIH ont tué des dizaines de millions de personnes. La variole seule a fait plus de 300 millions de morts au cours de la première moitié du vingtième siècle. Comme la crise actuelle du COVID-19 nous le rappelle, les pandémies restent une menace puissante. Cependant, les pressions de la sélection naturelle limitent le potentiel destructeur des pathogènes, puisqu’un pathogène suffisamment virulent et transmissible éliminerait son hôte. Comme certains chercheurs l’ont montré, la bio-ingénierie pourrait être utilisée pour dépasser les limites naturelles de la virulence et de la contagiosité, ayant pour conséquence des pandémies d’une ampleur et d’une gravité sans précédent.

Pour un exemple d’augmentation du taux de mortalité, considérons le virus de l’ectromélie, une maladie qui normalement n’est pas mortelle chez la souris. En 2001, des chercheurs australiens ont modifié l’ectromélie, faisant accidentellement passer son taux de létalité à 60 %, même chez les souris immunisées contre la forme originale [21]. En 2003, sous l’égide de Mark Buller (chercheur de renommée mondiale sur les poxvirus) des chercheurs ont trouvé un moyen de faire grimper le taux de létalité à 100 %, même si l’équipe a également trouvé des thérapies qui pourraient protéger la souris de la version modifiée du virus [22].

De nombreuses préoccupations ont été exprimées à propos des risques catastrophiques et existentiels associés aux pathogènes modifiés [23]. Par exemple, George Church, un pionnier dans le domaine de la biologie synthétique, a déclaré :

« Alors que la probabilité d’utilisation abusive des oligos pour accéder à des virus humains presque disparus (par exemple, la polio) ou à des nouveaux pathogènes (comme le IL4-poxvirus) est faible, les conséquences sont plus importantes que les armes chimiques et nucléaires, car les armes biologiques sont peu coûteuses, peuvent se propager rapidement dans le monde entier et évoluer toutes seules [24]. »

De même, Richard Posner [25], Nathan Myhrvold [26] et Martin Rees [27] ont fait valoir qu’à l’avenir, un pathogène modifié avec la combinaison appropriée de virulence, de contagiosité et de délai dans l’apparition des symptômes poserait une menace existentielle pour l’humanité. Malheureusement, les progrès dans ce domaine seront beaucoup plus difficiles à contrôler que les armes nucléaires, car la connaissance et l’équipement nécessaires pour concevoir des virus sont modestes en comparaison avec ce qu’implique la création d’une arme nucléaire [28]. Il est possible qu’une fois la discipline devenue plus mature au cours des prochaines décennies, un seul groupe terroriste soit en mesure de développer et de déployer des agents pathogènes modifiés. À partir du moment où le domaine est mature et ses outils sont distribués à travers le monde, il peut devenir très difficile de se défendre contre un tel risque.

Cela plaide en faveur d’un développement continu :

1. de la recherche permettant d’élaborer des politiques de régulation,
2. d’une cellule d’information pour nous assurer que nous connaissons les risques d’utilisations abusives de certaines technologies,
3. d’une structure réglementaire mature et adaptative afin de faire en sorte que l’utilisation civile des biotechnologies puisse être développée pour maximiser les avantages et minimiser les risques.

Nous abordons ici ces risques pour insister sur quelques uns des « pires scénarios » qui méritent d’être considérés davantage. Il convient tout de même de préciser que des avancées dans ces domaines sont susceptibles d’avoir des conséquences positives dans la médecine, l’énergie et l’agriculture. Elles pourraient même jouer un rôle important (c’est le cas de la bio-ingénierie) dans la prévention des pandémies liées à des pathogènes modifiés, qui représentent une des menaces existentielles les plus importantes décrites dans cet article.

1. Intelligence Artificielle

L’intelligence artificielle (IA) est la science et l’ingénierie de machines intelligentes. Des systèmes d’IA restreinte — tels que Deep Blue [29], des algorithmes de trading, ou Watson d’IBM [30] — ne fonctionnent que dans des domaines spécifiques. En revanche, certains groupes de recherche travaillent sur des techniques d’intelligence artificielle plus générales, pour permettre aux machines, à terme, de raisonner et de planifier dans tous les domaines, comme les humains le peuvent. Cette capacité de généralisation n’existe aujourd’hui que sous des formes très primitives [31].

De nombreux experts ont fait valoir que les développements à long terme de l’intelligence artificielle pourrait avoir des conséquences catastrophiques pour l’humanité au cours du siècle à venir [32], tandis que d’autres sont plus sceptiques [33]. Les chercheurs en IA ont des opinions divergentes sur la date à laquelle les systèmes d’IA dotés de capacités générales avancées seront développés, mais également sur le fait que ces développements pourraient effectivement poser des risques importants, et enfin sur le degré de sérieux avec lequel il faudrait considérer ces scénarios radicaux.

En 2016, l’organisation AI Impacts [34] a interrogé un panel important de chercheurs en IA les plus cités en leur demandant quand des systèmes d’IA avancés pourraient être développés, et quelles en seraient les conséquences probables. L’enquête a défini une « intelligence artificielle de haut niveau » (en anglais HLMI) comme une machine « capable d’exécuter la plupart des professions humaines au moins aussi bien qu’un humain typique », et a demandé aux chercheurs à quelle année ils attribueraient 10 %, 50 % ou 90 % de probabilité subjective qu’une telle IA existe. Ils ont également demandé si les conséquences globales pour l’humanité seraient « extrêmement bonnes », « dans l’ensemble bonnes », « plus ou moins neutres », « dans l’ensemble mauvaises » ou « extrêmement mauvaises (catastrophe existentielle) ».

Voici un résumé de 355 réponses apportées par les chercheurs : le répondant médian a attribué une probabilité de 10 % de HLMI en 2031, une chance de 50 % de HLMI en 2056 et une chance de 90 % de HLMI en 2116. Pour l’impact sur l’humanité, le répondant médian a attribué 20 % à « extrêmement bien », 45 % à « bien dans l’ensemble », 20 % à « plus ou moins neutre », 10 % à « dans l’ensemble mauvais » et 5 % à « extrêmement mauvais (catastrophe existentielle) » [35].

Ce serait cependant une erreur de prendre telles quelles les estimations de probabilité de ces chercheurs, pour plusieurs raisons. Premièrement, la véritable expertise des chercheurs en IA réside dans le développement de systèmes d’IA, et non dans la prévision des conséquences pour la société des développements radicaux dans le domaine. Deuxièmement, les prévisions concernant l’avenir de l’IA ont un bilan historique mitigé [36]. Troisièmement, ces « probabilités subjectives » représentent les degrés de confiance personnels des individus et ne peuvent être considérées comme une sorte d’estimation précise d’un risque objectif.

En fait, on peut se demander s’il existe une véritable expertise dans la prévision de l’avenir à long terme de l’IA [37], et on ne sait pas dans quelle mesure les chercheurs en IA seraient meilleurs que d’autres personnes bien informées. Toujours est-il que le risque de résultats « extrêmement mauvais » pour l’humanité résultant des progrès à long terme en IA n’est plus un fantasme. Depuis la publication de Superintelligence par Nick Bostrom en 2013, et les réactions de quelques personnalités publiques, le débat autour du risque existentiel lié à l’IA a été fortement relancé. Comme le note Stuart Russell dans son ouvrage Human Compatible, ces préoccupations sont largement sorties du domaine de la science-fiction. De nombreuses figures influentes, telles que Yann Le Cun ou Andrew Ng, reconnaissent la nécessité de garder le contrôle sur cette technologie, même s’ils ont une estimation basse de la probabilité d’une catastrophe au cours de ce siècle. D’autres, comme Stuart Russell ou Richard Sutton, considèrent des échelles de temps plus courtes, soulignant l’importance d’une recherche préventive, à initier sans délai.

Les défis de la gestion des risques existentiels des technologies émergentes

Les risques existentiels des technologies émergentes posent des défis particuliers à la réglementation, pour les raisons suivantes:

1. Les enjeux d’une catastrophe existentielle sont extrêmement importants, de sorte qu’un risque extrêmement faible peut entraîner un coût escompté inacceptable. Par conséquent, nous devons rechercher un degré élevé de certitude que toutes les mesures raisonnables ont été prises pour minimiser les risques existentiels avec une base de référence scientifique suffisante [38].
2. Toutes les technologies examinées ci-dessus seront probablement difficiles à contrôler (beaucoup plus difficiles que les armes nucléaires). Des petits états ou même des acteurs non étatiques pourraient un jour être à l’origine de catastrophes aux conséquences mondiales majeures.
3. Le développement de ces technologies peut être extrêmement rapide et surprendre le monde politique et scientifique. Il est donc important d’examiner attentivement les risques existentiels que ce soit dans l’innovation à la frontière technologique, dans des programmes de prospective, dans des évaluations des risques et des incertitudes, et mais aussi la recherche permettant l’élaboration de politiques publiques [39].
4. Contrairement aux risques avec des enjeux plus faibles, nous ne pouvons pas compter sur l’apprentissage pour gérer les risques existentiels par essais et erreurs. Au lieu de cela, il est important que les pouvoirs publics étudient les risques existentiels potentiels et élaborent des réponses appropriées même lorsque la menace potentielle et les options pour l’atténuer sont très incertaines ou spéculatives.

Lorsque nous cherchons à maintenir et à développer les institutions adaptatives nécessaires pour gérer les risques existentiels des technologies émergentes, certains défis politiques méritent d’être examinés :

1. La réduction du risque de catastrophe existentielle est un bien public mondial, car toute l’humanité en profite [40]. Les marchés ne sont pas adaptés pour valoriser ces biens à leur juste valeur, et une coopération à grande échelle est souvent nécessaire pour y remédier. Même un grand pays agissant dans l’intérêt de ses citoyens peut être incité à sous-investir dans la réduction du risque existentiel. Pour certaines menaces, la situation peut être encore pire, car même un seul pays dissident pourrait poser de graves problèmes.
2. Les mesures prises pour nous préparer aux risques existentiels des technologies émergentes seront inévitablement spéculatives, ce qui rend difficile de parvenir à un consensus sur la façon de réagir.
3. Les mesures que nous pourrions prendre pour atténuer ces risques impliqueront probablement une réglementation. Les coûts d’une telle réglementation seraient probablement concentrés sur les régulateurs et les industries, tandis que les avantages seraient largement dispersés et largement invisibles — une recette classique pour échouer à réglementer.
4. De nombreux avantages de la minimisation des risques existentiels reviennent aux générations futures, et leurs intérêts sont à intégrer directement dans la prise de décision politique.

Conclusion

Au cours des prochaines décennies, nous pourrions être confrontés à des risques existentiels provenant d’un certain nombre de sources, notamment le développement d’agents pathogènes artificiels ou l’intelligence artificielle avancée, même s’il en existe bien d’autres [41]. En réponse, nous devons tenir compte de ces risques dans le contexte (1) des efforts d’innovation technologique, (2) des programmes de prospective, (3) des évaluations des risques et des incertitudes et (4) de la recherche orientée vers l’élaboration de politiques. Cela peut impliquer des défis politiques et de coordination importants, mais étant donné les enjeux tout aussi importants, nous devons prendre des mesures raisonnables pour nous assurer de réaliser pleinement les gains potentiels de ces technologies tout en réduisant au minimum les risques existentiels.

Remerciements

Cet article a été fortement inspiré de l’article de Nick Beckstead et Toby Ord (chercheurs au Future of Humanity Institute de l’Université d’Oxford) : managing existential risk from emerging technologies, publié par le Conseil Scientifique du Royaume-Uni en 2014.

Mes remerciements vont particulièrement à Jérémy Perret (Docteur en IA) pour sa contribution sur l’Intelligence Artificielle, ainsi qu’à d’autres membres d’Altruisme Efficace France (Edouard Mathieu, Flavien Parant, Adam Shimi, Florent Berthet, Guillaume Corlouer et Antonin Broi) pour leur relecture attentive.