Pourquoi nous devons réduire les risques existentiels

Cet article est une traduction de The case for reducing existential risks, écrit par Benjamin Todd pour 80,000 Hours. Les termes “nous” et “notre équipe” dans l’article font référence à 80,000 Hours, et non à Altruisme Efficace France.

‍

‍

En 1939, Einstein écrivait à Roosevelt [1] :

Il est peut-être possible de déclencher une réaction nucléaire en chaîne dans une grande masse d’uranium… et il est concevable — bien que plus incertain — que des bombes extrêmement puissantes d’un nouveau type puissent ainsi être construites.

A peine cinq ans plus tard, ces bombes avaient été créées. En un peu plus d’une décennie, une quantité suffisante en avait été produite pour qu’une poignée de décideurs soit capable de détruire notre civilisation — une première dans l’histoire de l’humanité.

Nous venions d’entrer dans une nouvelle ère, une ère dans laquelle nous serions confrontés non seulement à des risques existentiels [2] liés à notre environnement naturel, mais aussi à la possibilité de nous éradiquer nous-mêmes.

Dans cette nouvelle ère, quelle devrait être notre plus grande priorité en tant que civilisation ? Les avancées technologiques ? L’aide aux plus pauvres ? Changer le système ?

Voici une suggestion qui n’est pas si souvent discutée : notre plus grande priorité devrait être de survivre.

Tant que la civilisation continue d’exister, tous les autres problèmes ont une chance d’être résolus, et nous d’avoir un avenir bien meilleur. Mais si nous nous éteignons, tout est fini.

Pourquoi cette priorité n’est-elle pas davantage discutée ? Voici une raison : beaucoup de personnes ne se rendent pas encore compte que les choses ont changé. Ils ne réalisent donc pas que notre avenir est en danger.

Spencer Greenberg, chercheur en sciences sociales, a mené une enquête auprès d’un échantillon d’Américains. Il voulait connaître la probabilité, selon eux, d’une extinction de l’humanité dans les 50 prochaines années. Le résultat : beaucoup pensent que la probabilité d’une extinction est extrêmement faible, plus de 30 % d’entre eux estimant qu’elle est inférieure à 0,0001 % — une chance sur dix millions [3].

Nous, à 80 000 Hours [NdT : auteurs de l’article original en anglais], pensions aussi que les risques étaient extrêmement faibles, mais une fois que nous nous sommes renseignés, nous avons changé d’avis. Comme vous le verrez dans la suite de l’article, les chercheurs qui étudient ces questions estiment que les risques sont plus de 1 000 fois supérieurs et qu’en toute probabilité, ils ne font qu’augmenter.

Ces préoccupations ont donné naissance à un nouveau mouvement œuvrant pour la préservation de la civilisation, auquel se sont joints entre autres Stephen Hawking, Max Tegmark et de nouveaux instituts fondés par des chercheurs des universités de Cambridge et d’Oxford, du MIT, et d’ailleurs.

Dans la suite de cet article, nous aborderons les plus grands risques pour notre civilisation, dont certains pourraient être plus importants encore que la guerre nucléaire et le changement climatique. Nous tenterons ensuite de démontrer que la réduction de ces risques pourrait être le projet le plus important que vous puissiez entreprendre, et nous expliquerons ce que vous pouvez faire pour y contribuer.

Si vous souhaitez mettre à profit votre carrière pour travailler sur ces enjeux, vous pouvez demander un soutien individuel de 80,000 Hours (en anglais) ou un entretien carrière avec l’équipe d’Altruisme Efficace France (en français).

Temps de lecture estimé : 25 minutes.

Quelle est la probabilité que vous soyez tué par un astéroïde ? Une vue d’ensemble des menaces existentielles d’origine naturelle

Une probabilité d’extinction de 1 sur 10 millions dans les 50 prochaines années — l’estimation faite par plus de 30 % des personnes interrogées par Spencer Greenberg — sous-estime très probablement le risque véritable. Les menaces existentielles d’origine naturelle à elles seules ont une probabilité d’advenir plus élevées que ça : elles peuvent être estimées assez précisément sur la base de données historiques.

Si la Terre était frappée par un astéroïde d’un kilomètre de large, notre civilisation pourrait être détruite. En examinant les données historiques et en suivant les trajectoires des objets dans le ciel, les astronomes peuvent estimer le risque qu’un astéroïde de cette taille frappe la Terre : 1 chance sur 5 000 par siècle [4]. C’est supérieur à la probabilité de la plupart d’entre nous de se retrouver dans un accident d’avion (1 chance sur 5 millions par vol), mais surtout, ce seul risque est déjà 1 000 fois plus probable que le risque d’extinction estimé par certains à 1 chance sur 10 millions [5].

Certains arguent néanmoins que même si un astéroïde d’un kilomètre serait une catastrophe, il ne suffirait pas à provoquer notre extinction, et qu’il s’agit donc d’une estimation élevée du risque. Mais d’un autre côté, il existe d’autres menaces d’origine naturelle, par exemple les super-volcans [6].

Cela étant dit, les risques naturels restent assez faibles, dans l’absolu. Dans son livre The Precipice [7], le philosophe Toby Ord estime qu’au cours du siècle à venir, nos chances de nous éteindre à cause de risques naturels sont d’environ 0,01 % — soit 1 chance sur 10 000.

Malheureusement, comme nous allons le montrer, les risques naturels sont éclipsés par les risques dus à l’humanité elle-même. C’est pourquoi le risque d’extinction est devenu une question particulièrement urgente.

Une ère de progrès qui débouche sur l’époque la plus dangereuse de l’histoire de l’humanité.

Quand on prend du recul, le message fondamental qui ressort de nos millénaires d’histoire est le suivant : pendant longtemps, on était presque tous pauvres, puis le 18ème siècle est arrivé et tout a changé [8].

La cause de ce changement, c’est la révolution industrielle — candidate au titre d’événement le plus important de notre histoire.

Ce n’est pas seulement notre prospérité qui a augmenté. Le graphique qui suit montre que sur le long terme, l’espérance de vie, la consommation d’énergie et le nombre de personnes vivant en démocratie ont toutes augmenté rapidement, tandis que le pourcentage de personnes vivant dans l’extrême pauvreté a considérablement diminué [9].

Les niveaux d’alphabétisation et d’éducation ont également augmenté de façon spectaculaire :

Les gens semblent également devenir plus heureux au fur et à mesure qu’ils deviennent plus prospères.

Dans La Part d’ange en nous, l’intellectuel Steven Pinker affirme que la violence est aussi en baisse. (Même si le podcast de 80,000 Hours avec Bear Braumoeller examine un ensemble d’arguments qui contredisent cette hypothèse.)

La liberté individuelle a augmenté, tandis que le racisme, le sexisme et l’homophobie ont diminué.

Beaucoup de personnes pensent que le monde va de plus en plus mal [10], et il est vrai que la civilisation moderne se livre à des actes terribles — par exemple l’élevage industriel. Mais comme vous pouvez le voir dans les données présentées, on constate un progrès spectaculaire sur de nombreuses mesures.

Surtout, peu importe ce que vous pensez des événements passés, si nous regardons vers l’avenir, l’amélioration de la technologie, de l’organisation politique et de la liberté donne à nos descendants la possibilité de résoudre nos problèmes actuels et d’avoir une vie bien meilleure [11]. Il est possible de mettre fin à la pauvreté, de prévenir le changement climatique, d’atténuer la souffrance, etc.

Mais notez également la ligne violette du deuxième graphique : notre capacité à faire la guerre. Elle est basée sur les estimations de l’historien Ian Morris concernant la puissance militaire mondiale, et elle a également augmenté de façon spectaculaire.

C’est là le problème : le perfectionnement de la technologie permet des progrès immenses, mais crée aussi des risques immenses.

Quand nous découvrons une nouvelle technologie, elle apporte la plupart du temps de grands bénéfices… mais il y a toujours un risque que nous découvrions une technologie dont le pouvoir destructeur est supérieur à ce que nous sommes capables d’utiliser à bon escient.

Ainsi, bien que la génération actuelle vive dans la période la plus prospère de l’histoire de l’humanité, il est plausible que cette période faste soit aussi la plus dangereuse.

La première technologie destructrice de ce type ? L’arme nucléaire.

L’arme nucléaire : une succession d’accidents évités de justesse

Aujourd’hui, nous avons tous en tête le programme nucléaire de la Corée du Nord ou de la Russie, mais les événements actuels ne sont qu’un unique chapitre dans une longue saga d’accidents évités de justesse.

Nous avons frôlé la guerre nucléaire à plusieurs reprises au cours de la crise des missiles cubains à elle seule [12]. Un jour, les Américains décrétèrent que si un de leurs avions espions était abattu, ils envahiraient immédiatement Cuba sans même réunir leur Conseil de guerre. Le jour suivant, un avion espion fut abattu. JFK convoqua le Conseil malgré tout et décida de ne pas lancer une invasion.

Une invasion de Cuba aurait très bien pu déclencher une guerre nucléaire ; on apprit par la suite que Castro était favorable à des représailles nucléaires même si « ça aurait conduit à l’anéantissement de Cuba ». En cas d’invasion, certains des individus responsables du lancement des missiles à Cuba avaient également le droit de cibler les forces américaines avec des armes nucléaires tactiques.

Lors d’un autre incident, un sous-marin nucléaire russe tenta d’amener clandestinement du matériel sur le territoire cubain. Il fut découvert par la flotte américaine. La flotte largua des grenades sous-marines factices pour forcer le sous-marin à faire surface. Le capitaine russe crut qu’il s’agissait de vraies grenades et que, pendant la période où son sous-marin avait perdu le contact radio, la troisième guerre mondiale s’était déclarée. Il ordonna l’utilisation d’une de leurs torpilles nucléaires contre la flotte américaine.

Heureusement, il avait besoin de l’approbation d’autres officiers supérieurs. L’un d’eux, Vasili Arkhipov, ne donna pas son accord, empêchant ainsi le début d’une guerre qui, elle, aurait été bien réelle.

En mettant tous ces événements bout à bout, le président américain John F. Kennedy estima par la suite qu’au cours de cette période, les chances d’une guerre nucléaire furent comprises entre 33 % et 50 % [13].

Même après la guerre froide, on compta bien d’autres incidents avec la Russie, comme le montre cette belle page Wikipédia. Et ce ne sont que les exemples qui nous sont connus.

Aujourd’hui, les experts nucléaires sont tout aussi préoccupés par les tensions entre l’Inde et le Pakistan, qui possèdent tous deux l’arme nucléaire, tout comme la Corée du Nord [14].

Le principal problème est que plusieurs pays disposent d’importants arsenaux nucléaires qu’ils peuvent déployer en une poignée de minutes. Ce qui signifie qu’une fausse alerte ou un accident peut rapidement dégénérer en guerre nucléaire, surtout quand les relations internationales sont tendues.

Est-ce qu’une guerre nucléaire mettrait fin à notre civilisation ? On a d’abord pensé qu’une explosion nucléaire dégagerait une telle chaleur qu’elle enflammerait l’atmosphère et rendrait la Terre inhabitable. Les scientifiques d’alors estimèrent qu’un tel scénario était suffisamment improbable pour que les armes puissent être testées « en toute sécurité », et nous savons maintenant qu’ils avaient raison.

Dans les années 1980, on craignait que les cendres de bâtiments en feu après une attaque ne plongent la Terre dans un hiver prolongé qui rendrait impossible toute agriculture pendant des décennies [15]. Les modèles climatiques modernes suggèrent qu’un hiver nucléaire suffisamment grave pour nous tuer tous est très improbable, bien qu’il soit difficile d’être sûr en raison de la variabilité des paramètres de modélisations [16].

Cependant, même un hiver nucléaire « doux » pourrait provoquer une famine massive [17]. Pour cette raison, entre autres, une guerre nucléaire serait extrêmement déstabilisante et il n’est pas certain que notre civilisation pourrait s’en remettre.

Quelle est la probabilité qu’une guerre nucléaire mette définitivement fin à la civilisation humaine ? C’est très complexe à estimer, mais il est difficile d’estimer la probabilité d’un tel événement à moins de 0,3 % au cours du prochain siècle — ce qui est la probabilité estimée par Toby Ord de notre extinction au cours du prochain siècle à cause d’un risque naturel. Cela signifie que les risques liés à l’arme nucléaire sont plus importants que tous les risques naturels réunis. (En savoir plus sur les dangers nucléaires.)

C’est pourquoi les années 1950 ont marqué le début d’une nouvelle ère pour l’humanité. Pour la première fois dans notre histoire, il est devenu envisageable pour un petit nombre de décideurs de faire des ravages dans le monde entier. Nous représentons désormais la plus grande menace pour notre propre survie — ce qui fait du moment présent le plus dangereux de l’histoire de l’humanité.

Et l’arme nucléaire n’est pas notre seul moyen de condamner notre civilisation.

Quelle est l’ampleur du risque posé par le changement climatique ?

En 2015, le président Obama déclara dans son discours annuel sur l’état de l’Union qu’« aucun défi ne constitue une plus grande menace pour les générations futures que le changement climatique ».

Le changement climatique est effectivement un risque majeur pour notre civilisation.

Son résultat le plus probable est un réchauffement de 2 à 4 degrés [18] — une situation néfaste, mais que notre espèce survivrait.

Toutefois, certaines estimations attribuent une probabilité de 10 % à un réchauffement supérieur à 6 degrés, et même une probabilité de 1 % à un réchauffement de 9 degrés.

Il semble donc que la probabilité d’une catastrophe climatique majeure due au CO2 soit comparable à celle d’une guerre nucléaire.

Mais comme nous, à 80,000 Hours, l’affirmons dans notre dossier sur le changement climatique, il semble peu probable que le réchauffement, même s’il atteint 13 degrés, entraîne directement l’extinction de l’humanité. En conséquence, les chercheurs qui étudient ces questions pensent qu’une guerre nucléaire est plus susceptible d’entraîner une extinction pure et simple, en raison de la possibilité d’un hiver nucléaire. C’est pourquoi tout porte à croire que l’arme nucléaire représente un risque encore plus grand que le changement climatique.

Cela dit, le changement climatique reste un problème majeur, et ses effets déstabilisants pourraient exacerber d’autres risques (notamment les risques de conflit nucléaire). Ces effets de second ordre doivent nous inciter à augmenter encore davantage notre estimation du risque d’extinction dû à un conflit nucléaire.

Quelles nouvelles technologies pourraient être aussi dangereuses que l’arme nucléaire ?

L’invention de l’arme nucléaire a donné naissance au mouvement antinucléaire vingt ans plus tard, dans les années 1960, et le mouvement écologiste a rapidement adopté la cause de la lutte contre le changement climatique.

Ce que l’on sait moins, c’est que les nouvelles technologies vont conduire à de nouveaux risques de catastrophe planétaire. C’est pourquoi nous avons besoin d’un mouvement concentré sur la sauvegarde de la civilisation dans son ensemble, quel que soit le type de risques.

Il est difficile de prédire l’avenir de la technologie, mais comme nous n’avons qu’une seule civilisation, nous devons faire de notre mieux. Voici quelques candidats potentiels au titre de future technologie dévastatrice, et tous pourraient être aussi dangereux que l’arme nucléaire.

Les pandémies artificielles

[NdT : cet article a été écrit avant la pandémie de COVID-19.]

En 1918–1919, plus de 3 % de la population mondiale meurt de la grippe espagnole [19]. Si une telle pandémie survenait aujourd’hui, la rapidité des transports mondiaux la rendrait encore plus difficile à contenir.

Ce qui est plus inquiétant, c’est que grâce à des manipulations génétiques, il pourrait bientôt être possible de créer un virus aussi contagieux et encore plus mortel que la grippe espagnole, capable de se propager pendant des années sans être détecté.

Ce serait une arme avec le pouvoir destructeur de l’arme nucléaire mais dont l’usage serait bien plus difficile à prévenir. Pourquoi ? Parce que la fabrication des armes nucléaires nécessite d’énormes usines et des matériaux rares, ce qui la rend relativement facile à contrôler. En revanche, une poignée de docteurs en biologie dans leur laboratoire pourraient être capables de synthétiser de nouveaux virus. Le journal The Guardian a d’ailleurs reçu en 2006 des échantillons du virus disparu de la variole, envoyés par la poste [20]. Certains groupes terroristes ont aussi exprimé leur intérêt pour l’utilisation d’armes biologiques. (Pour en savoir plus sur les risques de pandémie).

L’intelligence artificielle

[NdT : cet article a été écrit avant la sortie de GPT-4 et la Déclaration sur les risques liés aux IAs signée par les pères de l’IA moderne Geoffrey Hinton et Yoshua Bengio, les PDG de (respectivement) DeepMind et OpenAI Demis Hassabis et Sam Altman, et d’autres personnalités telles que Bill Gates, Stuart Russell et Lex Fridman.]

Une autre nouvelle technologie au potentiel considérable est l’intelligence artificielle.

Si ce sont les humains qui sont aux commandes du monde et non les chimpanzés, c’est une question d’intelligence. Nos cerveaux plus grands et plus puissants nous permettent de contrôler le monde qui nous entoure à un degré remarquable, même si nous sommes bien plus faibles physiquement que les chimpanzés.

Alors que se passerait-il si nous arrivions à fabriquer quelque chose de bien plus intelligent que nous ?

En 2017, 350 chercheurs — sélectionnés pour avoir publié des articles sur l’intelligence artificielle dans des conférences de premier plan — ont été interrogés sur la date à laquelle, selon eux, nous développerons des ordinateurs dotés d’une intelligence de niveau humain, c’est-à-dire une machine capable d’effectuer toutes les tâches professionnelles mieux qu’un humain.

L’estimation médiane assignait une probabilité de 50 % — une chance sur deux — au développement d’une intelligence artificielle de haut niveau dans 45 ans, et 75 % d’ici la fin du siècle [21].

Ces probabilités sont difficiles à estimer et les chercheurs donnèrent des chiffres très différents en fonction de la formulation exacte de la question [22]. Néanmoins, leurs chiffres indiquent une chance raisonnable qu’une intelligence artificielle transformatrice soit développée au cours du siècle prochain. En outre, l’incertitude qui entoure ces prédictions implique qu’elle pourrait arriver plus tôt que ce qu’on croit.

Quels risques cette évolution présente-t-elle ? Les pionniers de l’informatique, comme Alan Turing et Marvin Minsky, se sont inquiétés des risques liés aux systèmes informatiques puissants [23] et ces risques existent toujours aujourd’hui. Il ne s’agit pas de voir les ordinateurs devenir malfaisants comme dans Terminator. La crainte est plutôt qu’un système d’IA puissant soit utilisé par un groupe d’individus pour prendre le contrôle du monde entier, ou qu’il soit utilisé à mauvais escient. Si l’URSS avait développé l’arme nucléaire 10 ans avant les États-Unis, elle serait peut-être devenue la puissance mondiale dominante. Les technologies informatiques puissantes pourraient présenter des risques et enjeux similaires.

Une autre préoccupation est que le déploiement de cette IA puissante pourrait avoir des conséquences inattendues, puisqu’il est difficile de prévoir ce que ferait une chose plus intelligente que nous. Un système suffisamment puissant pourrait également être difficile à contrôler, et donc à débrancher une fois mis en œuvre. Ces préoccupations ont été documentées par Nick Bostrom, professeur à Oxford, dans son livre Superintelligence et par Stuart Russell, pionnier de l’IA.

La plupart des experts pensent que l’amélioration de l’IA sera une évolution extrêmement positive, mais ils reconnaissent qu’il existe des risques. Dans l’enquête que nous venons de mentionner, les experts en IA ont estimé que le développement d’une intelligence artificielle de haut niveau avait 10 % de chance d’aboutir à un « mauvais scénario » et 5 % à un scénario « extrêmement mauvais », comme l’extinction de l’humanité [21]. Et nous devrions probablement nous attendre à ce que ce groupe d’experts souffre d’un biais d’optimisme puisque, après tout, il tire sa subsistance de cette technologie.

Quand on combine ces estimations, s’il y a 75 % de chances qu’une intelligence artificielle de haut niveau soit développée au cours du siècle prochain, cela signifie que la probabilité d’une catastrophe majeure liée à l’IA est 5 % de 75 %, soit environ 4 %. (Pour en savoir plus sur les risques liés à l’intelligence artificielle).

Autres risques liés aux nouvelles technologies

D’autres nouvelles technologies, telles que des formes de géo-ingénierie et les nanotechnologies, ont suscité des inquiétudes, mais elles semblent moins imminentes et sont donc généralement considérées comme moins dangereuses. Vous pouvez consulter une liste de risques existentiels plus longue, qui comprend ces technologies, ici.

Ce qui est plus inquiétant, ce sont les risques auxquels nous n’avons pas encore pensé. Si vous aviez demandé en 1900 quels étaient les plus grands risques pour la civilisation, on ne vous aurait probablement pas suggéré l’arme nucléaire, le génie génétique ou l’intelligence artificielle, puisque rien de tout cela n’avait été inventé. Il est possible que nous soyons dans la même situation par rapport au siècle prochain. Les futures « inconnues inconnues », ces risques dont nous ne réalisons même pas qu’ils pourraient exister, sont peut-être un risque plus important que les risques que nous connaissons déjà aujourd’hui.

Chaque fois que nous découvrons une nouvelle technologie, c’est un peu comme de parier contre un numéro à la roulette. La plupart du temps, on gagne, et la technologie a un impact positif dans l’ensemble. Mais à chaque fois, il y a une petite chance que cette technologie nous offre un pouvoir destructeur supérieur à ce que nous sommes capables de gérer, et nous perdons tout.

Si on additionne tout ça, quel est le risque total d’extinction de l’humanité ?

De nombreux experts qui étudient ces questions estiment que le risque total d’extinction de l’humanité au cours du prochain siècle se situe entre 1 et 20 %.

Dans un épisode du podcast de 80,000 Hours avec le philosophe William MacAskill, nous discutons des raisons pour lesquelles il place ce risque autour de 1 %.

Et dans son livre The Precipice: Existential Risk and the Future of Humanity (Le Précipice : le risque existentiel et l’avenir de l’humanité), le philosophe Toby Ord estime que notre risque existentiel total pour ce siècle est de 1 sur 6, ou environ 17 % — autant dire un lancé de dé (il faut cependant noter que la définition faite par Ord d’une catastrophe existentielle n’est pas exactement équivalente à l’extinction de l’humanité ; elle inclut par exemple une catastrophe planétaire dont notre espèce serait incapable de se remettre complètement, même si nous n’étions pas éradiqués).

Écouter l’épisode avec Toby

Dans son livre, le tableau suivant présente ses estimations (très approximatives) du risque existentiel dû, selon lui, aux menaces les plus sérieuses :

Ces chiffres sont un million de fois plus élevés que ce que les gens imaginent en temps normal.

Que doit-on penser de ces estimations ? A priori, les chercheurs qui travaillent sur ces questions le font justement parce qu’ils les jugent importantes. Nous devrions donc nous attendre à ce que leurs estimations soient élevées (c’est un biais de sélection).

Mais même si ces chiffres sont débattus, nous à 80 000 Hours pensons qu’une large échelle de points de vue, y compris ceux de MacAskill et d’Orb, sont plausibles.

Pourquoi aider à préserver l’avenir pourrait être la chose la plus importante à laquelle consacrer votre vie

Quelle priorité doit-on accorder à la réduction de ces risques, par rapport à d’autres enjeux comme la pauvreté dans le monde, la lutte contre le cancer ou l’évolution politique ?

A 80,000 Hours, nous recherchons comment aider les individus à trouver des carrières ayant un impact social positif. Dans ce cadre, nous nous efforçons de trouver les problèmes les plus urgents sur lesquels travailler à travers le monde. Pour cela, nous évaluons divers enjeux mondiaux à l’aide de notre cadre d’analyse, qui les compare en fonction de :

• Leur ampleur : combien de personnes sont touchées par le problème ?
• Leur caractère négligé ou délaissement : combien de personnes travaillent déjà sur le problème ?
• Leur solubilité : à quel point est-il facile ou non d’avancer vers la résolution du problème ?

Si on applique ce cadre d’analyse, la sauvegarde de notre avenir commun apparaît, selon nous, comme la plus grande priorité qui soit. Par conséquent, si vous voulez avoir un impact positif conséquent grâce à votre carrière, c’est le domaine le plus important sur lequel vous puissiez vous concentrer.

Dans les prochaines sections de cet article, nous évaluerons ce problème selon les critères de l’ampleur, du délaissement et de la solubilité, en nous appuyant sur l’article Existential Risk Prevention as a Global Priority (La prévention du risque existentiel comme priorité mondiale) de Nick Bostrom et sur un travail inédit de Toby Ord, ainsi que nos propres recherches.

Tout d’abord, commençons par l’ampleur du problème. Nous avons défendu l’hypothèse qu’il y a probablement plus de 3 % de chance d’extinction au cours du prochain siècle. A quel point est-ce que c’est grave ?

Un chiffre sur lequel nous pouvons nous pencher, c’est celui du nombre de personnes susceptibles de mourir dans une telle catastrophe. La population de la Terre au milieu du siècle sera d’environ 10 milliards d’habitants. Si l’on considère qu’il y a 3 % de chances que tout le monde meure, ça veut dire que l’espérance du nombre de décès, au sens mathématique, est d’environ 300 millions. C’est très probablement davantage que le nombre de morts attendus au cours de ce siècle à cause de maladies liées à la pauvreté, comme le paludisme [24].

Bon nombre des risques que nous avons évoqués ci-dessus pourraient également provoquer une catastrophe « moyenne » (ce qui est déjà terrible !) plutôt qu’une catastrophe mettant fin à la civilisation — c’est a priori bien plus probable. Selon l’enquête mentionnée plus haut, il y a 10 % de chances qu’une catastrophe tue plus d’un milliard de personnes au cours du prochain siècle, ce qui impliquerait au moins 100 millions de morts supplémentaires au sens de l’espérance mathématique, ainsi que de grandes souffrances endurées par les survivants.

Donc même si l’on ne considère que l’impact sur la génération actuelle, ces risques catastrophiques comptent parmi les problèmes les plus graves auxquels l’humanité se voit confrontée.

Et pourtant, ne prendre en compte que la génération actuelle sous-estime grossièrement l’ampleur du problème. Si la civilisation s’éteint, nous ne perdrons pas que la génération actuelle, mais aussi tout notre avenir.

Nous voulons tous laisser un monde meilleur à nos petits-enfants et la plupart d’entre nous pensons également que nous devrions nous préoccuper davantage des générations futures. Il pourrait y avoir beaucoup plus de personnes menant une vie formidable à l’avenir qu’il n’y a de personnes en vie aujourd’hui, et nous devrions nous préoccuper de leurs intérêts. Il est possible que la civilisation humaine dure des millions d’années : lorsque nous considérons l’impact de risques catastrophiques sur les générations futures, les enjeux sont des millions de fois plus élevés — pour le meilleur ou pour le pire. Comme l’a écrit Carl Sagan dans le magazine américain Foreign Affairs, à propos des conséquences d’une guerre nucléaire :

Une guerre nucléaire met en danger tous nos descendants, aussi longtemps qu’il y aura des êtres humains. Même si la population reste statique, avec une durée de vie moyenne de l’ordre de 100 ans, sur une période représentative de l’évolution biologique d’une espèce réussie (environ dix millions d’années), nous parlons de quelque 500 000 milliards de personnes en devenir. Selon ce critère, l’enjeu est un million de fois plus important dans le cas de l’extinction que dans celui, plus modeste, des guerres nucléaires qui ne tuent « que » des centaines de millions de personnes. Il existe de nombreuses autres mesures possibles de cette perte potentielle, notamment à travers la culture et la science, l’histoire évolutive de la planète et la signification de la vie de tous nos ancêtres qui ont contribué à l’avenir de leurs descendants. L’extinction est la fin de l’entreprise humaine.

Aujourd’hui, on est heureux que l’humanité n’ait pas disparu lors des précédentes ères glaciaires sinon la civilisation moderne n’aurait jamais pu exister. Nous pensons que nous avons une responsabilité similaire envers les personnes qui viendront après nous, en supposant (comme nous le pensons) qu’elles auront des vies qui valent la peine d’être vécues. Il serait imprudent et injuste de mettre leur existence en danger juste pour améliorer notre situation à court terme.

Ce n’est pas seulement que le futur pourrait contenir plus de monde que le présent. Comme l’a également souligné Sagan, tout ce qui a de la valeur pour vous a une chance d’exister en bien plus grande quantité dans le futurEN. Une future civilisation pourrait créer un monde où personne ne manque de rien, accomplir des prodiges scientifiques et donner naissance à des créations artistiques époustouflantes. Nous pourrions construire une société bien plus juste et vertueuse. Et il n’y a rien dans les théories scientifiques actuelles qui empêche notre civilisation d’atteindre d’autres planètes — au nombre de 100 milliards dans notre galaxie [25]. Si on laisse notre civilisation s’éteindre, alors rien de tout cela ne pourra jamais se produire.

Nous ne sommes pas sûrs que cet avenir radieux se produira réellement, mais c’est une raison de plus de faire en sorte que notre civilisation continue : avoir une chance de le découvrir. Ne pas transmettre le flambeau à la génération suivante pourrait bien être la pire chose possible.

Ainsi, une probabilité de 2 % que la civilisation prenne fin semble être le problème le plus urgent auquel le monde est confronté aujourd’hui. Ce qui est tout aussi frappant, c’est le peu d’attention accordée à ces risques.

Pourquoi ces risques sont parmi les problèmes mondiaux les plus négligés

Voici les sommes versées chaque année à certaines causes importantes [26] :

Comme vous pouvez le constater, nous consacrons une grande quantité de ressources à la recherche et au développement afin de mettre au point des technologies encore plus puissantes. Nous dépensons également beaucoup pour tenter d’améliorer nos vies (à tort ou à raison) en achetant des produits de luxe.

On constate des dépenses bien inférieures lorsqu’il s’agit d’atténuer les risques de catastrophe planétaire liés au changement climatique. A titre de comparaison, les dépenses pour la protection sociale aux Etats-Unis, à elles seules, dépassent de loin les dépenses mondiales consacrées à la lutte contre le changement climatique.

Cependant, si on les compare à certains des autres risques que nous avons évoqués, même les sommes allouées au changement climatique paraissent énormes. Nous estimons que la prévention des pandémies extrêmes reçoit environ 300 fois moins d’argent, alors que le risque semble être à peu près de même taille.

La recherche visant à éviter les accidents causés par les systèmes d’IA est la plus négligée de toutes. Elle reçoit environ 100 fois moins de ressources, avec seulement environ 10 millions de dollars par an.

Le tableau serait similaire si l’on considérait le nombre de personnes travaillant sur ces risques plutôt que l’argent dépensé, mais il est plus facile d’obtenir des chiffres en termes de dépenses.

Si on examine plutôt le degré d’attention scientifique, on voit la même histoire d’une discipline négligée (bien que certains risques individuels reçoivent une attention significative, comme le changement climatique) :

Notre impression est que si l’on se penche sur l’attention politique portée à ces sujets, on obtient là aussi une image similaire. Une part écrasante de l’attention politique est consacrée aux questions concrètes qui aident la génération actuelle à court terme, puisque c’est ce qui récolte des voix lors des élections. Les risques de catastrophe planétaire sont beaucoup plus négligés. Parmi ces derniers, c’est le changement climatique qui retient le plus l’attention, tandis que des questions comme les pandémies et l’IA sont les plus négligées.

Ce manque de ressources, de recherche scientifique et d’attention politique, c’est exactement ce à quoi on s’attend quand on considère les motivations de chaque acteur pris individuellement : les politiciens veulent être élus à la prochaine élection, les chercheurs veulent être financés — ce qui requiert souvent de travailler sur des sujets en vogue… C’est pourquoi le domaine des risques catastrophiques planétaires offre une opportunité aux personnes qui veulent rendre le monde meilleur.

Tout d’abord, ces risques ne sont pas de la responsabilité d’une seule nation. Supposons que les États-Unis investissent massivement pour prévenir le changement climatique. Cela profiterait à tous les habitants de la planète, mais seuls 5 % environ de la population mondiale vit aux États-Unis, de sorte que les citoyens américains ne recevraient que 5 % des bénéfices de ces dépenses. Cela signifie que les États-Unis vont investir bien moins dans ces efforts par rapport à ce qu’ils pourraient rapporter au monde entier. Et il en va de même pour tous les autres pays.

Ce problème pourrait être résolu si nous pouvions tous nous coordonner — si chaque nation acceptait de contribuer une juste part à la réduction du changement climatique, toutes les nations en bénéficieraient en évitant ses pires effets.

Malheureusement, chaque pays considère que la situation la plus avantageuse est de laisser sa propre économie tranquille, pendant que tous les autres pays réduisent leurs émissions. Par conséquent, chaque nation est incitée à se retirer des accords sur le climat, ce qui explique le peu de progrès réalisés (c’est ce qu’on appelle le dilemme du prisonnier).

En fait, même cette constatation sous-estime grandement le problème. Ce sont les générations futures qui bénéficieront le plus des efforts visant à réduire les risques de catastrophe planétaire. Or elles n’ont aucun moyen de défendre leurs intérêts, que ce soit sur le plan économique ou politique.

Si les générations futures pouvaient voter lors de nos élections, elles voteraient massivement en faveur de politiques plus sûres. De même, si les générations futures pouvaient envoyer de l’argent dans le passé, elles seraient prêtes à nous payer d’énormes sommes pour réduire ces risques. (Techniquement, la réduction de ces risques crée un bien public transgénérationnel et mondial, ce qui en fait l’un des moyens les plus négligés de faire le bien.)

Notre système actuel ne permet pas de protéger les générations futures de manière adéquate. Nous avons fait la connaissance de hauts fonctionnaires du gouvernement britannique qui veulent faire quelque chose contre ces risques, mais ils disent tous unanimement que la pression des actualités et du cycle électoral fait qu’il est difficile de s’y consacrer. Dans la plupart des pays, aucune agence gouvernementale n’est consacrée à un sujet qui lui permettrait de se préoccuper de tels risques.

C’est une triste constatation, mais c’est aussi une opportunité. Pour les personnes qui veulent rendre le monde meilleur, ce manque d’attention signifie qu’il existe de nombreux moyens à fort impact pour aider.

Que peut-on faire face à ces risques ?

Nous avons abordé l’ampleur et le délaissement de ces enjeux, mais qu’en est-il du troisième élément de notre approche, la solubilité ?

Dans des domaines plus conventionnels comme la santé mondiale, nous sommes davantage certains de pouvoir faire des progrès. Il est beaucoup plus facile de mesurer notre impact sur la santé (du moins à court terme) et nous disposons de décennies de preuves de ce qui fonctionne. En d’autres termes, travailler à la réduction des risques de catastrophe planétaire semble moins prometteur en termes de solubilité.

Cependant, il y a encore beaucoup à faire, et vu l’ampleur et le délaissement de ces risques, ce sont des questions urgentes.

Nous présentons quelques stratégies pour atténuer ces risques. Elles sont divisées en trois grandes catégories :

1. Des efforts ciblés pour réduire des risques spécifiques

L’une des approches consiste à s’attaquer directement à chaque risque. Il y a de nombreuses propositions concrètes pour traiter chacun d’entre eux, par exemple :

1. De nombreux experts s’accordent à dire qu’une meilleure surveillance des maladies réduirait la probabilité de pandémies. Cela pourrait impliquer des technologies plus avancées ou une meilleure collecte et agrégation des données pour nous aider à détecter plus rapidement les nouvelles pandémies. Plus une nouvelle pandémie est identifiée rapidement, plus elle est facile à gérer.
2. Il existe de nombreuses façons de ralentir le changement climatique, par exemple en aidant à développer de meilleurs panneaux solaires ou en introduisant une taxe carbone.
3. En ce qui concerne l’IA, nous pouvons mener des recherches sur le « problème du contrôle » dans le cadre de l’informatique, afin de réduire les risques de dommages involontaires causés par de puissants systèmes d’IA. Un document récent, intitulé Concrete problems in AI safety (Problèmes concrets en sûreté de l’IA), présente des sujets spécifiques, mais seulement une vingtaine de personnes travaillent à plein temps sur des recherches similaires aujourd’hui.
4. En matière de sécurité nucléaire, de nombreux experts pensent que le pouvoir de dissuasion de l’arme nucléaire pourrait être maintenu avec des stocks beaucoup plus réduits. En outre, des stocks moins importants réduiraient le risque d’accidents ainsi que la probabilité qu’une guerre nucléaire, si elle se produisait, mette fin à la civilisation.

Nous examinons dans le détail ce que vous pouvez faire pour vous attaquer à chacun de ces risques dans nos profils (en anglais) :

1. Sûreté de l’IA
2. Prévention des pandémies
3. Sécurité nucléaire
4. Changement climatique

Dans cette section, nous ne mettons pas l’accent sur les risques d’origine naturelle car ils sont beaucoup moins probables et nous faisons déjà beaucoup pour prévenir certains d’entre eux. Nous sommes également plus résistants aux risques naturels grâce à l’avancée de la technologie et l’accroissement de la prospérité — qui sont déjà l’objet d’intenses efforts.

2. Des mesures plus larges pour réduire les risques

Plutôt que d’essayer de réduire chaque risque individuellement, nous pouvons essayer de faire en sorte que la civilisation soit généralement plus apte à les gérer. Des efforts « élargis » permettent de réduire toutes les menaces à la fois, même celles auxquelles nous n’avons pas encore pensé.

Par exemple, souvent au sein des gouvernements, il existe des décideurs clés qui géreront ces risques au fur et à mesure qu’ils adviennent. Si nous pouvions améliorer la capacité de décision de ces personnes et de leurs institutions, cela contribuerait à rendre la société en général plus résiliente et à résoudre de nombreux autres problèmes.

Des recherches récentes ont mis en évidence de nombreux moyens d’améliorer la prise de décision, mais la plupart n’ont pas encore été mis en œuvre. Peu de personnes travaillent sur cette question. Notre article sur l’amélioration de la prise de décision institutionnelle explore ce sujet plus en profondeur.

Un autre exemple d’effort élargi est de faire en sorte que notre civilisation puisse rebondir plus facilement après une catastrophe. La Réserve Mondiale de Semences est une chambre forte réfrigérée située dans l’Arctique qui contient les graines de nombreuses variétés de cultures importantes, réduisant ainsi le risque de perdre une espèce essentielle. Ce projet bénéficierait de financements supplémentaires, ne serait-ce que pour sa maintenance : suite à un dégel dû, ironiquement, au changement climatique, de l’eau s’est infiltré dans le tunnel menant à la chambre forte. Il y a beaucoup d’autres initiatives comme celle-ci que nous pourrions mettre en œuvre pour préserver nos connaissances et nos ressources.

Nous pourrions également créer de meilleurs abris d’urgence en cas de catastrophes, ce qui réduirait les risques d’extinction dus aux pandémies, à l’hiver nucléaire et aux astéroïdes (mais pas aux IA dangereuses), tout en augmentant nos chances de rétablissement après une catastrophe. Pour l’instant, ces mesures ne semblent pas aussi efficaces que réduire les risques en premier lieu, mais elles seraient tout de même utiles. Une option plus négligée, et peut-être beaucoup moins coûteuse, consiste à créer des sources de nourriture alternatives, comme celles qui peuvent être produites sans lumière, et qui pourraient être rapidement intensifiées en cas d’hiver prolongé.

Étant donné que les efforts élargis sont utiles même si nous ne sommes pas certains du détail des risques, ils sont d’autant plus intéressants que l’incertitude est grande. Au fur et à mesure que vous vous rapprochez des risques, vous devriez progressivement réaffecter les ressources depuis les efforts élargis vers les efforts ciblés (en savoir plus).

Nous nous attendons à ce qu’il existe de nombreuses autres interventions élargies prometteuses, mais c’est un domaine dans lequel peu de recherches ont été menées. Par exemple, une approche pourrait consister à améliorer la coordination internationale. Puisque ces risques sont causés par l’humanité, ils peuvent être prévenus par l’humanité, mais ce qui nous arrête, c’est la difficulté à coopérer. Par exemple, la Russie ne veut pas se désarmer parce que ça la désavantagerait par rapport aux États-Unis, et vice versa, même si les deux pays seraient dans une meilleure situation s’il n’y avait pas de possibilité de guerre nucléaire.

Cependant, il est peut-être possible d’améliorer notre capacité à nous coordonner en tant que civilisation, par exemple en améliorant les relations internationales ou en développant de meilleures institutions internationales. Nous souhaitons vivement que des recherches plus approfondies soient menées sur ce type de propositions.

Les efforts les plus connus pour faire le bien, comme le soutien à l’éducation et au développement international, peuvent également contribuer à rendre la société plus résiliente et plus sage, et donc à réduire les risques de catastrophe. Par exemple, une population mieux éduquée élirait probablement des dirigeants plus éclairés (quoique…), et les pays plus riches sont, toutes choses égales par ailleurs, mieux à même de prévenir les pandémies — ce n’est pas un hasard si Ébola s’est installé dans certaines des régions les plus pauvres d’Afrique de l’Ouest.

Mais nous ne considérons pas l’éducation et la santé comme les meilleurs domaines à privilégier pour maximiser son impact, et ce pour deux raisons. Premièrement, ces domaines sont bien moins délaissés que les approches non conventionnelles que nous avons abordées. Le développement de l’éducation est peut-être la cause la plus populaire pour les personnes qui veulent faire le bien, et rien qu’aux États-Unis, elle reçoit 800 milliards de dollars de financement public et 1000 milliards de financement privé. Deuxièmement, ces approches ont des effets beaucoup plus diffus sur la réduction des risques de catastrophe planétaire — il faudrait améliorer l’éducation à très grande échelle pour voir un effet notable. Nous préconisons donc de se concentrer sur des solutions plus ciblées et plus négligées.

3. En apprendre davantage et renforcer nos capacités générales

Nous admettons être très incertains quant aux risques les plus importants, à la meilleure façon d’y faire face et à la possibilité que notre vision globale des priorités mondiales soit totalement erronée. Selon nous, cela signifie qu’un autre objectif clé est d’en savoir plus sur toutes ces problématiques.

Nous pouvons en apprendre davantage en essayant tout bonnement de réduire ces risques et en voyant quels progrès on arrive à réaliser. Nous pensons que le moyen le plus adapté d’en savoir plus à l’heure actuelle est de mener des recherches sur les priorités mondiales.

Il s’agit d’une approche combinant économie et philosophie morale qui vise à répondre à des questions de haut niveau sur les problèmes les plus importants pour l’humanité. Seule une poignée de chercheurs travaille à plein temps sur ces sujets.

Une autre façon de gérer l’incertitude consiste à accumuler des ressources qui pourront être déployées à l’avenir, lorsque l’on disposera de plus d’informations. Une façon d’y parvenir est de gagner et d’épargner de l’argent. Vous pouvez également investir dans votre capital professionnel, en particulier dans vos compétences transférables et vos réseaux d’influence, afin d’obtenir de meilleurs résultats à long terme.

Cependant, nous pensons qu’une approche potentiellement meilleure que l’une ou l’autre de ces options consiste à construire une communauté qui serait concentrée exclusivement sur la réduction de ces risques, quels qu’ils soient. Si cette approche est intéressante, c’est parce qu’il est possible d’accroître la capacité d’une communauté plus rapidement que vous ne pouvez accroître votre richesse individuelle ou votre capital professionnel. Par exemple, si vous passez un an à faire de la sensibilisation individuelle ciblée, il n’est pas exclu de trouver une personne ayant une expertise pertinente qui sera sensible à vos arguments. Cela équivaut à un bénéfice annuel de 100 % puisque vous passez d’une personne à deux.

Pour l’instant, nous nous attachons à développer la communauté de l’altruisme efficace, qui compte de nombreuses personnes désireuses de réduire ces risques existentiels. Son taux de croissance récent et le déploiement d’efforts spécifiques pour développer la communauté suggèrent que des retombées élevées sont possibles.

Toutefois, nous pensons que d’autres efforts de renforcement de la communauté seront également utiles. Il serait formidable de voir une communauté de scientifiques essayer de promouvoir une culture de la sécurité dans le monde universitaire. Il serait tout aussi formidable de voir une communauté de décideurs politiques qui veulent essayer de réduire ces risques, et faire en sorte que les gouvernements se préoccupent davantage des générations futures.

Étant donné le peu de personnes qui travaillent activement à la réduction de ces risques, nous pensons qu’il y a beaucoup à faire pour créer un véritable mouvement.

Au total, à quel point peut-on être efficace dans la réduction de ces risques ?

Si l’on considère toutes les approches visant à réduire ces risques, et le peu de ressources consacrées à certaines d’entre elles, il semble que des progrès substantiels soient possibles.

Même si on ne considère l’impact de ces risques que sur la génération actuelle (en ignorant tout bénéfice pour les générations futures), il est plausible qu’ils restent une priorité absolue.

Voici quelques chiffres très approximatifs et simplifiés, juste pour illustrer en quoi c’est possible. 100 milliards d’euros consacrés à la réduction d’une menace existentielle pourraient la réduire de plus de 1 % au cours du siècle prochain. Une réduction d’un pourcent du risque devrait permettre de sauver environ 100 millions de vies parmi notre génération (1 % de la population mondiale actuelle). Cela signifie que cet investissement permettrait de sauver des vies pour seulement 1 000 euros par personne [27].

Gregory Lewis a fait une estimation plus détaillée, arrivant à une moyenne de 9 200 euros par année de vie sauvée dans la génération actuelle (ou ~300 000 euros par vie) [28]. Il y a également d’autres estimations parmi les commentaires de l’article. Nous pensons que Gregory est trop conservateur car il suppose que le risque d’extinction n’est que de 1 % au cours du prochain siècle ; notre estimation est plusieurs fois supérieure. Nous pensons également que le prochain milliard de d’euros dépensé pour réduire le risque existentiel pourrait entraîner une réduction plus importante du risque que ne le suppose Gregory (notez que cela n’est vrai que si le milliard est dépensé sur les questions les plus délaissées comme la sécurité de l’IA et les biorisques). Par conséquent, il ne serait pas surprenant que le coût par vie actuelle sauvée pour le prochain milliard d’euros investi dans l’atténuation du risque existentiel soit inférieur à 100 euros.

L’organisation caritative la plus recommandée par GiveWell, Against Malaria Foundation (AMF — Fondation pour la lutte contre le paludisme), est souvent présentée comme l’un des meilleurs moyens d’aider la génération actuelle et de sauver des vies, avec un coût d’environ 7 500 dollars par vie sauvée (chiffres de 2017) [29]. Ces estimations placent donc la réduction de la menace existentielle à un niveau de rentabilité supérieur ou égal à celui de l’AMF pour sauver des vies dans la génération actuelle — et c’est une organisation qui a été spécifiquement sélectionnée pour son excellence dans ce domaine !

De même, nous pensons que si 10 000 jeunes gens talentueux concentrent leur carrière sur ces risques, ils pourraient obtenir une réduction de 1 % des risques. Cela signifie que chaque personne sauverait 1 000 vies au cours de sa propre vie, ce qui est supérieur au nombre de vies qu’elle pourrait sauver en gagnant pour donner et en faisant un don à l’AMF [30].

Dans un sens, il s’agit de comparaisons injustes, car l’estimation de GiveWell est beaucoup plus solide et documentée alors que notre estimation est davantage une supposition éclairée. Il existe peut-être aussi de meilleures façons d’aider la génération actuelle que l’AMF (par exemple en soutenant des politiques plus efficaces).

Cependant, nous admettons avoir également sous-estimé de façon spectaculaire les avantages de la réduction des menaces existentielles. La principale raison de sauvegarder notre civilisation n’est pas de profiter à la génération actuelle mais aux générations futures. Nous les avons ignorées dans cette estimation.

Si nous prenons également en compte les générations futures, le bénéfice de la réduction des menaces existentielles est bien plus grand, et il est difficile d’imaginer une priorité plus urgente à l’heure actuelle.

Vous pouvez maintenant lire quelques réponses à des questions courantes, ou passer directement aux moyens concrets de contribuer.

Qui ne devrait pas donner la priorité à la préservation de l’avenir ?

Les arguments présentés reposent sur certaines hypothèses que tout le monde n’acceptera pas. Voici quelques-unes des meilleures réponses à ces arguments.

Vous devez vous concentrer davantage sur vos amis et votre famille.

Nous pensons que nos propositions devraient être une priorité seulement si on essaye d’aider les gens en général, en traitant les intérêts de chacun de manière égale (ce que les philosophes appellent parfois « altruisme impartial »).

La plupart des gens se soucient d’aider les autres du mieux qu’ils peuvent : si on peut aider un inconnu à peu de frais, c’est une bonne chose à faire. Les gens ont également à cœur de bien vivre leur propre vie et de s’occuper de leurs amis et de leur famille, et il en va de même pour nous.

Comment équilibrer ces priorités est une question difficile. Si vous avez la chance de pouvoir contribuer à aider le monde, concentrez-vous sur la sauvegarde de l’avenir. Nous énumérons dans la section suivante des moyens concrets de s’impliquer.

Sinon, vous devriez peut-être vous concentrer sur votre vie personnelle dès maintenant, en contribuant à des causes plus vastes en parallèle, ou plus tard dans votre vie.

Vous pensez que les risques sont beaucoup moins élevés que ce que nous avançons.

Nous ne disposons pas d’estimations solides de la plupart des risques d’origine humaine. Vous pourriez donc essayer de faire vos propres estimations et conclure qu’elles sont beaucoup plus faibles que celles que nous avons présentées dans l’article. Si ces risques étaient suffisamment faibles, leur réduction cesserait d’être la priorité absolue.

Nous ne trouvons pas cela plausible pour les raisons évoquées dans l’article : si on prend en compte tous les risques potentiels, il semble difficile d’être sûr qu’ils sont inférieurs à 1 % au cours du siècle qui vient, et même un risque de 1 % justifie une mobilisation bien supérieure à ce que nous observons actuellement.

Vous pensez qu’il n’y a presque plus rien qu’on puisse faire contre ces risques existentiels.

Nous considérons que ces risques sont moins « solubles » que des problèmes comme la santé mondiale, et s’attend donc à ce que le progrès obtenu par euro investi soit plus laborieux. Cela dit, nous pensons que leur ampleur et le fait qu’ils soient négligés compensent largement cet état de fait, et les efforts fournis finissent par être plus efficaces. De nombreuses personnes pensent que l’altruisme efficace consiste à ne soutenir que des interventions « éprouvées », mais c’est un mythe. Il vaut la peine de prendre des mesures qui n’ont qu’une faible chance de porter leurs fruits, si les bénéfices possibles sont suffisamment élevés. Le principal mécène de l’altruisme efficace préconise désormais une approche de « dons-paris » où même si la majorité des dons produisent peu de résultats, quelques dons sont extraordinairement efficaces.

Toutefois, si vous êtes beaucoup plus pessimiste quant aux chances de progrès, il serait peut-être préférable de travailler sur des questions plus conventionnelles telle que la santé mondiale.

Notre opinion est que l’organisation tournerait son attention vers un autre sujet si elle observait une augmentation des ressources consacrées à ces risques de deux ordres de grandeur, soit environ cent fois plus. Mais on en est encore loin.

Un autre argument courant est que les mesures que nous avons déjà adoptées sont les meilleures pour réduire ces risques. Cela signifie qu’en pratique, nous n’avons aucune raison de changer nos priorités. Par exemple, nous avons mentionné précédemment que l’éducation contribue probablement à réduire les risques existentiels. Si vous estimez que l’éducation est la meilleure réponse (peut-être parce que vous ne voyez pas clairement quels sont les risques les plus urgents, et vous favorisez donc une mesure générale qui peut aider pour beaucoup de risques), et comme nous investissons déjà énormément dans l’éducation, vous pourriez penser que la situation est déjà gérée. Nous ne trouvons pas cet argument crédible : comme indiqué ci-dessus, il existe de nombreuses opportunités de réduction des risques qui sont ciblées, négligées, et qui restent inexploitées.

Un autre exemple de ce type : des économistes prétendent parfois que nous devrions nous concentrer sur la croissance économique, car cela nous mettrait dans la meilleure position possible pour gérer les risques à l’avenir. Nous ne sommes pas convaincus par cet argument car certains types de croissance économique augmentent les risques existentiels (par exemple, la découverte de nouvelles armes). Il n’est donc pas certain que la croissance économique soit un moyen idéal de réduire les risques existentiels. Au lieu de cela, ils préconisent de se concentrer au moins sur le développement technologique différentiel, ou sur les autres efforts plus ciblés énumérés ci-dessus.

Vous pensez qu’il y a une meilleure façon d’aider le futur.

Bien que la réduction de ces risques vaille la peine pour notre génération actuelle, une grande partie de leur importance vient de leurs effets à long terme — car si la civilisation s’éteint, nous renonçons à tout avenir.

Vous pensez peut-être qu’il existe d’autres actions que la génération actuelle pourrait entreprendre et qui auraient des effets à très long terme ; des actions qui pourraient être tout aussi importantes pour réduire le risque d’extinction. En particulier, nous pourrions être en mesure d’améliorer la qualité de notre avenir en empêchant notre civilisation de s’enfermer définitivement dans de mauvais scénarios.

Nous donnons quelques exemples certes farfelus mais inquiétants. Une possibilité est que les nouvelles technologies, comme la surveillance extrême ou le conditionnement psychologique, permettent de créer un gouvernement totalitaire auquel on ne pourrait jamais mettre fin. Ce serait le scénario de 1984 en cas de surveillance extrême, et celui de Le Meilleur des Mondes en cas de conditionnement psychologique. Si ce gouvernement était malveillant, la civilisation pourrait connaître un sort pire que l’extinction, une souffrance qui durerait des millénaires.

Certains s’inquiètent du fait que le développement de systèmes d’IA avancés pourrait causer des dommages terribles si ces projets complexes sont effectués de manière irresponsable, peut-être parce qu’il existerait un conflit entre plusieurs groupes développant cette technologie. En particulier, si à un moment donné dans le futur, le développement de ces systèmes implique la création d’esprits numériques capables de ressentir la douleur, leur bien-être pourrait devenir incroyablement important.

Les risques d’un avenir contenant une quantité astronomique de souffrances ont été appelés « s-risques » [31]. Si nous pouvons faire quelque chose aujourd’hui pour empêcher un s-risque de se produire (par exemple, par une recherche ciblée sur la sécurité technique de l’IA et la gouvernance de l’IA), cela pourrait être d’un grand bénéfice.

Un autre domaine à examiner est celui des grandes transitions technologiques. Nous avons mentionné les dangers du génie génétique et de l’intelligence artificielle dans cet article, mais ces technologies pourraient également créer une deuxième révolution industrielle et avoir un fort impact positif sur le monde une fois déployées. Il y a peut-être des choses que nous pouvons faire pour augmenter la probabilité d’une bonne transition, plutôt que de diminuer le risque d’une mauvaise transition. Cette perspective a été décrite comme une tentative d’augmenter l’« espoir existentiel » plutôt que de diminuer le « risque existentiel » [32].

Il pourrait y avoir d’autres moyens d’avoir des effets à très long terme, et ils pourraient être plus urgents que la réduction du risque d’extinction. Cependant, la plupart de ces propositions ne sont pas encore aussi détaillées, et nous ne sommes pas sûrs de ce qu’il faut faire à leur sujet.

Selon nous, la principale implication pratique de cette réflexion sur les autres moyens d’influencer l’avenir est qu’elle nous a convaincus encore davantage de l’importance de gérer positivement la transition vers de nouvelles technologies transformatrices, telles que l’IA. Elle nous a aussi donné envie de voir plus de recherches émerger autour de ces questions.

Dans l’ensemble, nous pensons toujours qu’il est judicieux de se concentrer d’abord sur la réduction des menaces existentielles. Nous pourrons nous intéresser à d’autres moyens pour préparer notre futur commun dans un second temps.

Un moyen d’améliorer l’avenir dont nous sommes tout sauf convaincus est de l’accélérer. Certaines personnes qui veulent améliorer l’avenir se concentrent sur les progrès technologiques, comme la mise au point de nouveaux vaccins, et il est vrai que cela a des avantages sur le long terme. Toutefois, nous pensons que ce qui compte le plus, dans une perspective à long terme, c’est le résultat final plutôt que la vitesse à laquelle nous y parvenons. La découverte d’un nouveau vaccin signifie que nous obtenons le vaccin plus tôt dans notre histoire ; il est très probable que nous l’aurions découvert de toute façon.

En outre, comme la technologie est également à l’origine de bon nombre de ces risques, il n’est pas certain que son accélération soit utile à court terme.

L’accélération du progrès est également une thématique beaucoup moins négligée, car elle profite aussi à la génération actuelle. Comme nous l’avons évoqué, plus de 1 000 milliards de dollars sont dépensés chaque année en R&D pour développer de nouvelles technologies. Les accélérations sont donc à la fois moins importantes et moins négligées.

Pour en savoir plus sur les autres moyens d’aider les générations futures, consultez le chapitre 3 de l’ouvrage On the Overwhelming Importance of Shaping the Far Future (L’importance primordiale de façonner l’avenir lointain, non traduit) de Nick Beckstead.

Vous êtes convaincu que le futur sera court ou sombre.

Si vous pensez qu’il est pratiquement garanti que la civilisation ne durera pas longtemps, alors l’intérêt de réduire ces risques existentiels est considérablement diminué (bien que cette action en vaille la peine pour aider la génération actuelle et un petit nombre de générations futures).

Nous nous accordons pour dire qu’il y a une forte probabilité que la civilisation se termine bientôt (c’est pourquoi cette question est si importante), mais ils pensent aussi qu’il y a une assez grande probabilité qu’elle dure très longtemps, ce qui fait que notre avenir vaut bien qu’on se batte pour lui.

De même, si vous pensez qu’il est probable que l’avenir sera plus négatif que positif (ou si vous pensez que nous devons avant tout diminuer la souffrance à travers le monde, plutôt que d’augmenter le bien-être), alors la valeur de la réduction de ces risques diminue. Cependant, nous ne pensons pas que ce soit probable : la plupart d’entre nous voulons que l’avenir soit prometteur, et tenterons de le rendre plus positif que négatif. Il y a eu des progrès moraux significatifs au cours des derniers siècles (en raison des tendances mentionnées plus haut), et nous restons optimistes quant à leur poursuite. Pour plus de détails, voir la note de bas de page [11].

Et même si vous n’êtes pas sûr que l’avenir va être positif, vous pouvez désirer que la civilisation survive et que nous ne nous fermions pas de portes. Les populations futures auront beaucoup plus de temps pour étudier s’il est souhaitable que la civilisation s’étende, reste de la même taille ou se contracte. Si vous pensez qu’il y a des chances que nous puissions agir en fonction de ces préoccupations morales, c’est une bonne raison de laisser cette décision à la sagesse des générations futures. Dans l’ensemble, nous avons encore beaucoup de doutes sur toutes ces questions, ce qui nous incite à éviter de prendre des engagements irréversibles [33].

Au-delà de cela, vous devriez probablement vous concentrer sur les moyens de réduire la probabilité que l’avenir soit sombre, en travaillant sur les moyens d’éviter les s-risques par exemple.

Vous êtes convaincu que notre obligation morale va avant tout à la génération présente, pas aux générations futures.

Si vous pensez que nous avons des obligations beaucoup plus fortes envers la génération actuelle qu’envers les générations futures, alors l’importance de réduire ces risques diminue. Nous ne trouvons pas ce point de vue très convaincant.

Cela dit, même si l’on ignore les générations futures, ces risques semblent valoir la peine d’être abordés (voir les arguments ci-dessus). Les efforts suggérés dans l’article pourraient sauver la vie de la génération actuelle à un coût relativement faible, et ils pourraient éviter de nombreuses souffrances lors de catastrophes de taille moyenne.

De plus, si vous n’êtes pas sûrs que nous ayons des obligations morales envers les générations futures, vous devriez tenter de rester ouvert à toutes les possibilités. Ce qui signifie, finalement, essayer de sauvegarder la civilisation.

Néanmoins, si vous combinez l’opinion selon laquelle nous n’avons pas de grandes obligations envers les générations futures avec la position selon laquelle les risques mentionnés sont également relativement insolubles, alors une autre façon d’aider les générations actuelles pourrait prendre le dessus. Il pourrait s’agir de travailler sur la santé mondiale, la santé mentale ou l’accélération de la technologie. Vous pouvez aussi penser qu’une autre question morale est bien plus pressante, comme l’élevage industriel par exemple.

Vous voulez contribuer à réduire les menaces existentielles ?

Notre génération peut soit contribuer à provoquer la fin de tout, soit être la génération qui fera traverser à l’humanité sa période la plus dangereuse, et devenir ainsi l’une des générations les plus importantes de l’Histoire.

Nous pouvons être la génération qui rendra possible l’avènement d’un monde extraordinaire et prospère, ou nous pouvons être la génération qui mettra tout en péril.

Si nous souhaitons aider le monde, c’est sur ce point que nous devons concentrer nos efforts.

Si vous souhaitez axer votre carrière sur la réduction des menaces existentielles et la sauvegarde de l’avenir de l’humanité, 80 000 Hours veut vous y aider. L’équipe a rédigé un article décrivant les options qui s’offrent à vous et les mesures que vous pouvez prendre pour commencer.

Comment utiliser votre carrière pour réduire la menace existentielle

Vous pouvez également contacter l’équipe d’Altruisme Efficace France pour bénéficier d’un entretien carrière.

‍

Notes et références

[1] Lettre Einstein-Szilárd :

Au cours des quatre derniers points, il est devenu probable — grâce aux travaux de Joliot en France ainsi que de Fermi et Szilárd en Amérique — qu’il devienne possible de démarrer une réaction nucléaire en chaîne dans une large masse d’uranium, par laquelle de vastes sommes d’énergie et de larges quantités d’éléments similaires au radium seraient générées. Il apparaît désormais presque certain que cela pourrait être accompli dans un avenir très proche.

Ce nouveau phénomène conduirait aussi à la construction de bombes, et il est concevable — quoique bien moins certain — que par ce biais des bombes extrêmement puissantes d’un nouveau type puissent être construites. Une seule bombe de ce type, transportée par bateau et explosant dans un port, pourrait détruire l’intégralité du port ainsi qu’une partie des territoires environnants. Cependant, de telles bombes pourraient se révéler trop lourdes pour être transportées par avion.

[2] Nick Bostrom définit un risque existentiel comme un événement qui « pourrait provoquer l’extinction de l’humanité ou réduire de façon permanente et radicale le potentiel de l’humanité. » Un risque existentiel se distingue d’un risque de catastrophe planétaire (RCP) par sa portée — un RCP est catastrophique à l’échelle mondiale, mais conserve une possibilité de rétablissement. Une menace existentielle semble être utilisée comme modificateur linguistique pour qualifier une menace en la faisant paraître plus grave.

[3] M. Greenberg a interrogé des utilisateurs de Mechanical Turk, qui ont en général entre 20 et 40 ans et sont plus instruits que la moyenne, de sorte que l’enquête ne représente pas vraiment l’opinion de tous les Américains. Voir plus de détails dans cette vidéo :

L’efficacité des Actions Caritatives vue à travers les Sciences Sociales : résultats de quatre nouvelles études — Spencer Greenberg (en anglais), 12:15.

L’étude initiale a révélé une estimation médiane de la probabilité d’extinction dans les 50 ans de 1 sur 10 millions. Greenberg a réalisé trois études de réplication qui ont donné des estimations plus élevées des risques. La plus élevée a trouvé une médiane de 1 sur 100 sur 50 ans. Toutefois, même dans ce cas, 39 % des personnes interrogées ont estimé que les chances étaient inférieures à 1 sur 10 000 (ce qui correspond à peu près à la probabilité d’une collision avec un astéroïde de 1 km). Dans tous les cas, plus de 30 % des répondants ont estimé que les chances étaient inférieures à 1 sur 10 millions. Vous pouvez consulter un résumé de toutes les enquêtes ici.

Notez que lorsque nous avons demandé aux gens quelles étaient les chances d’extinction sans préciser une échéance, les estimations étaient beaucoup plus élevées. Une enquête a donné une valeur médiane de 75 %. Ce qui apparaît logique : l’humanité finira bien par s’éteindre. Cela permet d’expliquer l’écart avec certaines autres enquêtes. Par exemple, Climate Change in the American Mind (« Le changement climatique dans l’esprit des Américains », mai 2017, lien d’archive), a révélé que l’Américain médian pense que la probabilité d’extinction due au changement climatique est d’environ 1 sur 3. Cependant, cette enquête ne posait pas une échéance spécifique. Lorsque Greenberg a essayé de reproduire le résultat avec la même question, il a trouvé un chiffre similaire. Mais lorsque Greenberg a posé des questions sur les risques d’extinction dus au changement climatique dans les 50 prochaines années, la médiane est tombée à seulement 1 %. De nombreuses autres études n’échantillonnent pas correctement les estimations de faible probabilité — les gens ne répondent généralement pas 0,00001 % à moins que l’option ne leur soit présentée explicitement.

Cependant, comme vous pouvez le constater, ces types d’enquêtes ont tendance à donner des résultats très instables. Les réponses semblent varier en fonction de la manière exacte dont la question est posée et du contexte. Cela s’explique en partie par le fait que les gens sont très mauvais lorsqu’il s’agit d’estimer des probabilités infimes. Il est donc difficile de donner une estimation précise de ce que pense la population en général, mais rien de ce que nous avons découvert ne réfute l’idée qu’un nombre significatif de personnes (disons plus de 25 %) pense que les chances d’extinction à court terme sont très, très faibles, et probablement inférieures au seul risque d’une collision avec un astéroïde. En outre, l’incertitude des estimations ne semble pas être une raison de croire que l’humanité gère ces risques de manière rationnelle.

[4] Citation :

Pour provoquer l’extinction de la vie humaine, il faudrait probablement que le corps impactant ait un diamètre supérieur à 1 km (et probablement de 3 à 10 km). Il y a eu au moins cinq, voire plus d’une douzaine d’extinctions massives sur Terre, et au moins certaines d’entre elles ont probablement été causées par des impacts ([9], p. 81 et suivantes). En particulier, l’extinction de masse K/T, il y a 65 millions d’années, au cours de laquelle les dinosaures se sont éteints, a été liée à l’impact d’un astéroïde de 10 à 15 km de diamètre sur la péninsule du Yucatan. On estime qu’un corps de 1 km ou plus entre en collision avec la Terre environ une fois tous les 0,5 million d’années. Nous n’avons catalogué qu’une petite fraction des corps potentiellement dangereux.

— Bostrom, Nick. “Existential risks: Analyzing human extinction scenarios and related hazards.” (« Risques existentiels : Analyse des scénarios d’extinction de l’homme et des risques associés ») (2002). Lien d’archive, consulté le 21 octobre 2017.

[5] 1 chance sur 5,4 million de s’écraser dans l’Atlantique lors d’un vol de Londres Heathrow vers l’aéroport JFK dans un A330 opéré par Virgin. Il faudrait prendre ce vol 1 000 fois dans une vie pour avoir autant de chance d’être victime d’un accident d’avion que d’une chute d’astéroïde. Source : A crash course in probability, The Economist, 2015 (consulté le 14 octobre 2017)

[6] Un supervolcan suffisamment grand pourrait également causer un hiver prolongé qui conduirait à la fin de la vie sur Terre. Parmi les autres risques naturels, on compte : une pandémie particulièrement mortelle, une supernova proche de la Terre, un sursaut gamma, ou un changement climatique dû à des causes naturelles qui s’emballe.

[7] NdT : l’article original, publié en 2017, mentionnait un « article à venir » par le professeur Toby Ord, et non son livre The Precipice. Un résumé du contenu de cet article est disponible dans une conférence donnée par le Dr Toby Ord à Cambridge en 2015 : Will We Cause Our Own Extinction? Natural versus Anthropogenic Extinction Risks.

[8] Graphique tiré de Maddison, Angus (2007) : “Contours of the World Economy, 1–2030 AD. Essays in Macro-Economic History,” Oxford University Press, ISBN 978–0–19–922721–1, p. 379, table A.4

[9] How big a deal was the Industrial Revolution? de Luke Muehlhauser (2017). Lien d’archive (consulté le 21 octobre 2017)

[10] Différentes enquêtes arrivent à des résultats substantiellement différents quant au pessimisme de la population par rapport au futur, mais beaucoup d’entre elles révèlent qu’une majorité des gens pensent que le monde va en empirant. Par exemple, une enquête du gouvernement britannique a découvert que 71 % des participants pensaient que le monde allait en empirant. Declinism: is the world actually getting worse?, Pete Etchells, The Guardian, 2015. Lien d’archive (consulté le 17 octobre 2017)

[11] Est-ce que le monde s’améliore ? Bien que la plupart des mesures du progrès semblent augmenter, il y a des mesures selon lesquelles la vie est peut-être devenue pire. Par exemple, dans son livre Sapiens, Yuval Harari défend la thèse selon laquelle la solitude et les problèmes psychologiques ont augmenté dans l’ère moderne, tandis que notre certitude que la vie a un sens et que nous avons une raison d’être a décru. Nous considérons que les gains de l’ère moderne surpassent très probablement les inconvénients, mais il est difficile d’en être certain.

Un argument plus marquant émerge si l’on considère l’impact du progrès sur les animaux. Depuis les années 60, le secteur de l’élevage industriel a observé une croissance spectaculaire : aujourd’hui, on compte environ 30 milliards d’animaux par an qui vivent dans des conditions atroces à cause de l’élevage industriel. Pour quiconque se préoccupe de la souffrance de ces animaux, elle pourrait compenser l’amélioration du bien-être de l’humanité.

Après avoir considéré ces différents arguments, nous ne trouvons pas évident que le bien-être général ait augmenté. Cependant, la question la plus importante reste : qu’est-ce que l’avenir nous réserve ?

L’avenir sera-t-il meilleur ?

Notre position est que — tant que nous évitons l’extinction — le progrès technologique et moral nous offre l’opportunité de résoudre nos pires problèmes sociaux et d’avoir des vies bien meilleures. Si l’on met de côté les menaces existentielles, et si l’on considère des problèmes mondiaux spécifiques, beaucoup d’entre eux pourraient être résolus si nous étions plus riches, si notre technologie était plus avancée, et si les progrès moraux et politiques que nous avons observés jusqu’ici continuaient.

Par exemple, pour reprendre le cas de l’élevage industriel, on peut s’attendre à ce que, au fur et à mesure que la population s’enrichit, le problème s’atténue. Premièrement, une population plus riche a tendance à acheter des produits qui garantissent un meilleur traitement, car ils peuvent se le permettre. Deuxièmement, la technologie a le potentiel de mettre fin à l’élevage industriel en créant des substituts à la viande, de la viande cultivée, ou en donnant naissance à des pratiques d’élevage moins cruelles. Troisièmement, les préoccupations pour d’autres espèces semblent s’accroître avec le temps — ce qu’on appelle l’accroissement du cercle moral –, on peut donc s’attendre à ce que nos descendants se soucient davantage du bien-être animal.

Si l’on prend encore davantage de recul, on s’attend à ce que l’avenir soit meilleur parce que les gens veulent qu’il soit meilleur. Si notre pouvoir technologique et notre liberté continuent de progresser, les gens seront davantage capables de mettre leurs valeurs morales en pratique. Puisqu’ils veulent un meilleur avenir, il est donc probable que l’avenir s’améliore.

Cela étant dit, l’image présentée ci-dessus est simplifiée et bien des complications existent. Par exemple, nos valeurs se contredisent souvent, ce qui pourrait causer des conflits. Ces questions à propos de l’avenir sont peu étudiées donc malgré notre optimisme, nous confessons un grand degré d’incertitude.

[12] Pour plus d’informations sur ces catastrophes évitées de justesse, consultez le podcast Toby Ord on why the long-term future of humanity matters more than anything else, and what we should do about it.

[13]

Il y a cinquante ans, la crise des missiles cubains faillit causer une guerre nucléaire. Pendant la crise, Kennedy, président des Etats-Unis, déclara que la probabilité que la situation dégénère en guerre ouverte était « entre un tiers et 50 % ». Ce que nous avons appris depuis n’a pas démenti cette estimation. Un tel conflit aurait pu conduire à la mort de 100 millions d’Américains et de plus de 100 millions de Russes.

— At 50, the Cuban Missile Crisis as Guide, Graham Allison, The New York Times, 2012. Lien d’archive (consulté le 17 octobre 2017)

[14] NdT : cet article a été écrit avant le début du conflit en Ukraine, au cours duquel la Russie a plusieurs fois insisté sur sa possession de l’arme nucléaire.

Notez qu’un expert a estimé qu’il y a moins de 1 % de chance d’une attaque nucléaire sur une cible civile au cours de la prochaine décennie.

Est-ce que les experts sont plus préoccupés par un conflit entre l’Inde et le Pakistan que par la Corée du Nord ?

Le conflit qui arrivait en tête des listes faites par des experts sur les conflits les plus préoccupants est Inde-Pakistan. Les deux Etats ont construit des armes nucléaires hors de la jurisdiction du Traité de Non-Prolifération, les deux Etats ont des réserves limitées (ce qui peut encourager un usage précoce), et les deux Etats — bien que leurs doctrines publiques soient ambiguës — sont connus pour avoir des plans B qui impliquent des attaques nucléaires sur des cibles militaires.

— We’re Edging Closer To Nuclear War, Milo Beckman, FiveThirtyEight, 2017. Lien d’archive (consulté le 17 octobre 2017)

[15] Quand est-ce que « l’hiver nucléaire » est devenu une préoccupation ?

L’hiver nucléaire et son progéniteur le crépuscule nucléaire sont des événements nucléaires. L’hiver nucléaire s’est imposé comme un concept scientifique dans les années 80, après qu’il est devenu clair qu’une hypothèse précédente perdait en crédibilité (que des émissions NOx générées par l’explosion et sa boule de feu dévasteraient la couche d’ozone). C’est dans ce contexte que les effets climatiques de la suie causée par les feux fut “découverte par chance”, et ils devinrent vite la nouvelle cible de la recherche sur les effets climatiques d’une guerre nucléaire. Dans ces modélisations, on présume que différents nuages de suie contenant des quantités inconnues de suie se forment au-dessus de villes, de raffineries de pétroles, et de silos à missiles ruraux. Une fois que les chercheurs décident de la quantité de suie, les effets climatiques de ces nuages peuvent être modélisés. Le terme d’hiver nucléaire a été inventé en 1983 par Richard P. Turco en référence à un modèle unidimensionnel créé pour examiner l’idée d’un crépuscule nucléaire. Ce modèle unidimensionnel prédisait que des quantités immenses de suie et de fumée resteraient dans l’atmosphère pendant des années, conduisant à un sévère refroidissement de la planète. Turco se distancia par la suite de ces conclusions extrêmes basées sur un modèle à une seule dimension.

— Nuclear Winter (article Wikipédia). Lien d’archive (consulté le 30 octobre 2017).

[16] Les modèles climatiques ont de grandes marges d’incertitude, ce qui signifie que les risques pourraient être plus graves que ce que les modèles actuels suggèrent. De plus, le fait que les modèles contiennent toujours des incertitudes implique qu’il est difficile de donner des estimations très basses pour la plupart des risques (voir Ord, T., Hillerbrand, R., & Sandberg, A. (2010). Probing the improbable: methodological challenges for risks with low probabilities and high stakes. Journal of Risk Research, 13(2), pp. 191–205. arXiv:0810.5515v1, link.).

[17] La sévérité attendue d’un hiver nucléaire fait toujours l’objet de débats, et Open Philanthropy a récemment financéEN des recherches supplémentaires sur la question.

[18] Voir la boîte SPM1.1 dans la section B du Summary for Policymakers du Working Group I Contribution to the Sixth Assessment Report of the Intergovernmental Panel on Climate Change.

[19]

Elle a potentiellement tué de 3 % à 6 % de la population mondiale.

— World War One’s role in the worst ever flu pandemic, John Mathews, The Conversation, 2014. Lien d’archive (consulté le 27 octobre 2017).

Une population mondiale de 1 811 millions subissant 30 millions de morts aurait eu un taux de mortalité de 16,6 pour mille — trois fois supérieur au taux des pays riches mais au même niveau que les taux des pays pauvres. Si l’on estime que la grippe espagnole a causé 50 à 100 millions de morts, cela amènerait les taux de mortalité à travers le monde à environ 27,6–55,2 pour mille.

— Patterson, K.D. and Pyle, G.F., 1991. The geography and mortality of the 1918 influenza pandemic. Bulletin of the History of Medicine, 65(1), p.4. Lien d’archive (consulté le 22 octobre 2017)

Des recherches supplémentaires ont donné lieu à une révision à la hausse de la mortalité estimée de la pandémie, qu’un calcul fait dans les années 20 plaçait au voisinage de 21,5 millions. Un article de 1991 a placé la mortalité entre 24,7 et 39,3 millions. Cet article suggère qu’elle était de l’ordre de 50 millions. Cependant, il faut admettre que ce chiffre pourtant impressionnant pourrait être significativement inférieur à la véritable mortalité due à la pandémie, qui pourrait être plus élevée de 100 %.

— Johnson, N.P. and Mueller, J., 2002. Updating the accounts: global mortality of the 1918–1920″ Spanish” influenza pandemic. Bulletin of the History of Medicine, 76(1), pp.105–115. Source.

[20] Revealed: the lax laws that could allow assembly of deadly virus DNA: Urgent calls for regulation after Guardian buys part of smallpox genome through mail order, The Guardian, 2006. Lien d’archive (consulté le 21 octobre 2017)

[21]

Des chercheurs pensent que l’IA a 50 % de chances de surpasser les êtres humains sur l’ensemble des tâches d’ici 45 ans.
On a demandé à des participants si, selon eux, les HLMI [human-level machine intelligences, des machines avec une intelligence de niveau humain] auraient un impact positif ou négatif sur l’humanité à long terme. Les participants ont assigné des probabilités à différents avenirs, allant de 1 à 5 points. La probabilité médiane était de 25 % pour un « bon » avenir et de 20 % pour un « excellent » avenir. En revanche, la probabilité était de 10 % pour un mauvais avenir et de 5 % pour un avenir décrit comme « extrêmement mauvais (par exemple extinction de l’humanité) ».

— Grace, K., Salvatier, J., Dafoe, A., Zhang, B. and Evans, O., 2017. When Will AI Exceed Human Performance? Evidence from AI Experts. arXiv preprint arXiv:1705.08807. Source.

[22] Pour une discussion des incohérences dans les estimations, référez-vous à l’article de blog d’AI Impacts, Some Survey Results (lien d’archive, consulté le 30 octobre 2017). Par exemple :

Interroger les gens sur des emplois spécifiques change massivement leurs prédictions quant aux HLMI [human-level machine intelligences, des machines avec une intelligence de niveau humain]. Quand nous avons demandé à un segment de nos participants quand l’IA serait capable de réaliser des métiers spécifiques, puis tous les métiers possibles (qu’on présume être un sous-ensemble de l’ensemble des tâches possibles), ils ont donné des estimations bien plus lointaines que quand nous avons posé des questions sur les HLMI en général. Si on regarde les participants auxquels on a demandé de donner des probabilités pour certaines années, la différence était un facteur de 1 020 ans ! (10 % versus 0,01 %) Pour les participants auxquels on a demandé de donner des années pour certaines probabilités, notre question par défaut les amenait à conclure que les HMLI ont 50 % de chance de nous surpasser sur l’ensemble des tâches dans 40 ans, alors que nos questions sur des métiers repoussait la probabilité de 50 % à 90 ans plutôt que 40.

Les gens donnent systématiquement des estimations plus lointaines quand on leur demande la probabilité de survenue d’ici N années, plutôt que l’année lors de laquelle la probabilité sera M. Nous avons observé cet effet dans la question par défaut sur les HLMI, dans la plupart des questions sur des tâches et des métiers spécifiques, et aussi dans la plupart de ces scénarios quand nous les avons testés sur des participants trouvés sur MTurk. Pour la question par défaut sur les HLMI, par exemple, si on demande quand il y aura 50 % de probabilité qu’une HLMI existe, la réponse médiane est 40 ans. Pourtant, quand on demande quelle est la probabilité qu’une HLMI existe dans 40 ans, la probabilité médiane est de 30 %.

[23]

Des déclarations occasionnelles d’intellectuels tels qu’Alan Turing, I. J. Good et Marvin Minsky indiquèrent leur préoccupation quant à la possibilité qu’une superintelligence prenne le contrôle.

— Voir notes de bas de page 15–18 dans Existential risk from artificial intelligence, Wikipedia (lien d’archive, consulté le 21 octobre 2018)

[24] Des millions de personnes meurent chaque année de maladies faciles à prévenir, telles que la malaria et la diarrhée. Ces chiffres baissent rapidement donc il est peu probable qu’ils dépassent 300 millions au cours du siècle à venir.

Morts causées par la malaria chaque année : 0,7 million (contre 3,8 millions auparavant).

Morts causées par la diarrhée chaque année : 1,6 million (contre 4,6 millions auparavant).

— Aid Words (On Average), Dr Toby Ord, Giving What We Can

[25] The Milky Way Contains at Least 100 Billion Planets According to Survey, Hubblesite. Lien d’archive (consulté le 22 octobre 2017).

[26]

Les dépenses brutes mondiales consacrées à la recherche et au développement atteignaient 1,48 millier de milliards de dollars (parité de pouvoir d’achat) en 2013.

— Facts and figures: R&D expenditure, UNESCO. Lien d’archive (consulté le 21 octobre 2017)

L’industrie dans son ensemble a rapporté une croissance stable de 4 %, pour des ventes au détail d’une valeur de 1,08 millier de millards d’euros en 2016.

— Luxury Goods Worldwide Market Study, Fall-Winter 2016, Claudia D’Arpizio, Federica Levato, Daniele Zito, Marc-André Kamel and Joëlle de Montgolfier, Bain & Company. Lien d’archive (21 octobre 2017).

La meilleure estimation du coût des 185 programmes fédéraux d’aide sociale sous condition de ressources en 2010, pour le gouvernement fédéral, est de presque 700 milliards de dollars, une augmentation d’un tiers depuis 2008, selon la Heritage Foundation. Si on inclut les dépenses des Etats, les dépenses totales pour l’aide sociale en 2010 atteignirent presque 900 milliards de dollars, une augmentation de presqu’un quart depuis 2008 (24,3 %).

— America’s Ever Expanding Welfare Empire, Peter Ferrara, Forbes. Lien d’archive (consulté le 2 mars 2016).

Après un nivellement en 2012 et un déclin en 2013, les sommes investies dans la finance climatique en 2014 ont augmenté de 18 %, allant de 331 milliards de dollars à environ 391 milliards.

— Global Landscape of Climate Finance 2015, Climate Policy Initiative, 2015. Lien d’archive (consulté 27 octobre 2017). Voir également notre profil sur le changement climatique pour plus d’information.

Pour la pauvreté globale, même en se limitant à la santé globale :

Les pays les moins développés et l’Inde ont dépensé environ 300 milliards de dollars (parité de pouvoir d’achat) pour la santé chaque année.

— Health in poor countries, article par 80 000 Hours

Si l’on considère plus généralement les ressources dirigées vers les personnes les plus pauvres à travers le monde, on devrait inclure toutes les dépenses d’aides extérieures, les envois de fonds par des proches émigrés et leurs propres revenus. Plus de 700 millions de personnes vivent sous le seuil de pauvreté d’un dollar 75 par jour. Si on estime que leur revenu moyen est d’un dollar par jour, cela équivaut à 256 milliards de dollars de revenu par an.

Les ressources dédiées à la prévention d’une guerre nucléaire, au sein des gouvernements et en-dehors, sont probablement autour de 10 milliards de dollars par an (sinon plus). Cependant, quand ces dépenses sont ajustées en fonction de leur qualité, cela équivaut plutôt à une somme entre 1 et 10 milliards de dollars par an : la majorité des dépenses ne sont pas concentrées sur la réduction du risque d’usage des armes nucléaires, mais sur la protection d’un unique pays, ou bien sont utilisées pour donner à un pays un avantage sur un autre. De fortes sommes sont aussi consacrées à des mesures d’anti-prolifération qui ne sont pas liées aux pires scénarios (dans lesquels des centaines de missiles nucléaires seraient employés).

— Nuclear security, article par 80 000 Hours

Sur la prévention des pandémies, il est difficile de fournir des estimations adéquates car de nombreuses dépenses ont un impact indirect (par exemple, financer les hôpitaux permet par ailleurs de réduire les risques associés aux pandémies). Si l’on adopte une définition large, on peut estimer à la louche des dépenses de 10 milliards de dollars par an. Avec une définition plus restreinte, qui n’inclut que des efforts ciblés, on arrive à environ 1 milliard de dollars par an. Si l’on se concentre uniquement sur la réduction des risques existentiels liés aux pandémies artificielles, seule une poignée d’experts existe. Pour en savoir plus, référez-vous à notre profil sur la biosécurité.

Les dépenses mondiales consacrées à la recherche et aux actions pour garantir un développement sûr des intelligences artificielles n’atteindront que 9 millions de dollars en 2017.

— Positively shaping the development of artificial intelligence, article par 80 000 Hours

[27] Depuis la dernière mise à jour de grande ampleur de cet article, nous avons édité ce paragraphe pour qu’il emploie des chiffres relativement conservateurs, dont nous pensons qu’ils prouvent mieux notre argument que les chiffres approximatifs qu’ils remplacent (surtout quand on prend en compte leur marge d’incertitude). Nous disions auparavant : « Nous estimons grossièrement que si 10 milliards de dollars étaient dépensés intelligemment pour la réduction de ces risques, notre risque d’extinction pourrait être réduit de 1 % au cours de ce siècle. En d’autres termes, si le risque est actuellement de 4 %, il pourrait être réduit jusqu’à 3 %. Une réduction d’un pourcent sauverait en moyenne 100 millions de vie (1 % de 10 milliards). Cela équivaudrait à sauver une vie pour seulement 100 dollars. »

[28] The Person-Affecting Value of Reducing Existential Risk par Gregory Lewis. Lien d’archive (consulté en août 2018)

Etant donnés tous ces facteurs, le modèle aboutit à un « coût par année de vie » moyen entre 1500 et 26 000 dollars (en moyenne 9 200 dollars).

[29]

On estime que l’AMF sauve une vie pour environ 7 500 dollars (ce qui inclut les coûts de transport, les coûts administratifs, etc).

— Your Dollar Goes Further Overseas, GiveWell. Lien d’archive (consulté 21 octobre 2017)

[30] Si vous donnez un million d’euros au cours de votre vie (pour un coût réel d’un tiers de million, en prenant en compte la déduction fiscale de 66%, soit un tiers du revenu médian d’un salarié français dans le privé), en prenant en compte le coût par vie sauvée de l’AMF, vous sauverez environ 142 vies. (Au taux de change de mai 2023)

Source pour le revenu médian : INSEE

[31]

Les s-risques sont des risques de souffrance astronomique, qui excéderait largement toute la souffrance qui est jusqu’ici advenue sur Terre.

Les s-risques sont une sous-catégorie des risques existentiels, souvent appelés x-risques… Nick Bostrom définit les x-risques ainsi : X-risque : risque qu’un événement indésirable détruise toute vie intelligente d’origine terrestre ou réduise drastiquement et définitivement son potentiel.

— S-risks: Why they are the worst existential risks, and how to prevent them, Max Daniel, Foundational Research Institute, 2017. Lien d’archive (21 octobre 2017)

[32] Existential Risk and Existential Hope: Definitions, Owen Cotton-Barratt & Toby Ord, Future of Humanity Institute, 2015. Lien d’archive (consulté 21 octobre 2017)

[33] A moins que vous pensiez également que les interrogations morales sont impossibles, que le progrès moral n’aura pas lieu, ou bien que vous ayez une théorie sur l’incertitude morale qui n’implique pas qu’il vaille mieux rester ouverts à toutes les possibilités.