Le plus important des siècles

Cet article est une traduction de The “most important century” blog post series par Holden Karnofsky. Il s’agit d’un résumé de la série “The most important century”, qui n’est pas encore disponible en français. Merci à Romain Barbe pour son aide sur l’édition de cet article.

‍

‍

Dans cette série Le plus important des siècles, j’avance que le XXIe siècle pourrait être le siècle le plus important que connaîtra l’humanité, grâce au développement de systèmes d’IA avancés qui pourraient accélérer drastiquement le progrès technologique et scientifique et nous précipiter vers un avenir déconcertant.

Vous pouvez consulter les points-clés de la série via :

• Un résumé de quelques pages (ci-dessous) ;
• Des échanges à propos de la série dans The Ezra Klein Show (New York Times, 90 minutes) ou The 80,000 Hours podcast (2 heures).

La série entière peut être consultée sous différents formats (non traduits) :

• Une série d’articles de blog : je conseille de commencer par cette page reliant la fin de chaque extrait au suivant. Il s’agit du format d’origine, il est facile à appréhender, permet de voir correctement les graphiques, etc ;
• Une série audio en anglais disponible sur de nombreuses plateformes (Spotify, Apple Podcasts, etc.) ;
• Un pdf à imprimer (en anglais) ;
• Si vous possédez une Kindle ou autre liseuse, vous pouvez aussi acheter une version adaptée pour Kindle pour 0,95$ (le prix minimum qu’ils m’ont laissé définir) ou télécharger gratuitement ce fichier AZW3 (regardez les instructions pour l’utiliser sur votre Kindle). Il y a aussi un fichier gratuit ePub pour les autres liseuses.

Résumé de la série

J’ai consacré l’essentiel de ma carrière à rechercher des moyens de faire le plus de bien possible avec une quantité donnée de temps ou d’argent. J’ai étudié des organisations caritatives actives dans le domaine de la santé et du développement afin d’identifier celles qui travaillaient à partir de faits et de preuves (ce qui m’a amené à co-fonder GiveWell), puis je me suis tourné vers des formes de philanthropie qui prennent plus de risques (lien en anglais) (et j’ai co-fondé Open Philanthropy).

Ces dernières années, grâce à de nombreux échanges avec le mouvement de l’altruisme efficace et aux recherches approfondies faites par l’équipe Worldview Investigations d’OpenPhilanthropy, j’ai acquis la conviction que l’humanité du XXIème siècle fait face à des risques et des opportunités immenses. Je m’efforce actuellement de mieux comprendre ces risques et ces opportunités pour que nous y soyons préparés.

Ce texte résume une série d’articles (non traduits) qui exposent les raisons pour lesquelles je pense que ce siècle pourrait être le plus important de toute l’histoire de l’humanité. J’y résume l’idée générale et j’y présente les articles et graphiques essentiels qui soutiennent 5 arguments de base :

• L’avenir lointain est une terra incognita qui ne ressemblera à rien de connu. Si suffisamment d’avancées technologiques sont réalisées, on pourrait voir apparaître une civilisation pérenne à l’échelle de la galaxie entière. Il pourrait s’agir d’une utopie radicale, d’une dystopie tout aussi radicale, ou de n’importe quoi entre les deux.
• L’avenir lointain pourrait arriver bien plus vite que prévu à cause d’une explosion de la productivité due à l’IA.
• Il est probable que le type d’IA susceptible d’avoir cet effet sera développé au cours de notre siècle — et que c’est donc notre siècle qui serait à l’origine d’une telle civilisation galactique et qui aurait la possibilité la façonner.
• Ces affirmations ont l’air trop « délirantes » pour être prises au sérieux. Mais nous avons beaucoup de raisons de penser que nous vivons une époque délirante, et nous devrions nous préparer à toutes les éventualités.
• Nous, qui vivons au XXIème siècle, nous pourrions avoir un impact immense sur la quantité gigantesque de personnes qui vivront après nous… à condition que nous comprenions assez bien ce qui se passe pour identifier les actions bénéfiques. Mais pour l’instant, nous ne sommes pas prêts.

Cette thèse a quelque chose de farfelu, elle fait un peu science-fiction. Je ne pensais pas qu’en prenant la décision de faire le maximum de bien, je partirais aussi loin.

Mais l’état d’esprit que j’ai développé avec GiveWell et Open Philanthropy consiste aussi à être ouvert aux possibilités étranges, tout en les soumettant à une critique aussi rigoureuse que possible. Et après avoir passé beaucoup de temps à examiner la thèse ci-dessus, je suis arrivé à la conclusion qu’elle est assez probable pour mériter une attention urgente de la part du monde entier.

En écrivant ce texte, mon objectif est de braquer les projecteurs sur cette thèse — ou bien de recueillir de nouvelles critiques qui me feront changer d’avis.

Nous vivons une époque délirante et nous devrions nous préparer à toutes les éventualités

Pour beaucoup d’entre nous, l’idée que nous serions en train de vivre le plus important des siècles paraît délirante : certes, un avenir inédit caractérisé par des IA très avancées et une civilisation qui se répandrait dans toute la galaxie est possible… mais sans doute plutôt dans 500 ans, ou 1000, voire 10 000. Bref, pas pour ce siècle-ci. Ces échéances lointaines rendrait notre position moins délirante que si nous étions en train de vivre le plus important des siècles. Mais au fond, même si l’expansion de l’humanité aux quatre coins de la galaxie ne commence que dans 100 000 ans, ça veut quand même dire que nous vivons une ère extraordinaire — l’infime laps de temps, à l’échelle de l’univers, au cours duquel la galaxie va passer de quasi-déserte (son état actuel) à une population abondante. Ça signifie que, de tous les individus qui existeront un jour (et il y en a une quantité stupéfiante), nous sommes parmi les premiers. Et que de tous les milliards d’étoiles qui constituent notre galaxie, c’est de la nôtre que viendront les êtres qui la peupleront.

Si nous zoomons un peu, nous constatons que nous vivons non seulement dans une époque spéciale, mais aussi dans un siècle spécial. Regardez la rapidité avec laquelle l’économie se développe. Nous ne réalisons pas que quelque chose de spécial est en train de se produire parce que depuis que nous sommes nés, l’économie mondiale a connu une croissance de quelques pourcents chaque année :

Mais si nous faisons un zoom arrière pour contempler l’Histoire plus largement, nous voyons un passé instable et un avenir incertain :

Nous vivons dans l’ère de la croissance la plus rapide de l’Histoire. Ce taux de croissance est récent et ne pourra pas durer indéfiniment (il n’y a pas assez d’atomes dans la galaxie pour maintenir une telle croissance ne serait-ce que pendant 10 000 ans). Et si le taux de croissance lui-même continue d’accélérer à ce rythme, nous pourrions atteindre les limites du possible encore plus vite : au cours de notre siècle.

Pour récapituler :

• Les derniers millions d’années écoulées (depuis l’apparition de notre espèce) ont été plus mouvementées que les milliards d’années qui les avaient précédées.
• Les dernières centaines d’années écoulées (depuis la révolution scientifique) ont été encore plus mouvementées que les millions d’années précédentes.
• Si un nouveau facteur d’accélération apparaît (et à mon avis, l’IA pourrait en être un), les prochaines décennies pourraient être les plus mouvementées de toutes.

Pour creuser cette question des horizons temporels : All Possible Views About Humanity’s Future Are Wild (Toutes les options possibles quant à l’avenir de l’humanité sont délirantes), This Can’t Go On (Ça ne peut pas durer), et Forecasting Transformative AI: Biological Anchors (Prévoir l’IA transformatrice sur la base d’ancrages biologiques).

Compte tenu de l’époque que nous vivons, nous devons être ouverts aux changements rapides et radicaux que le monde pourrait connaître. Idéalement, nous devrions même être trop attentifs à ces évolutions et très prudents, comme quand nous conduisons et que nous faisons de la sécurité notre priorité. Mais aujourd’hui, nous accordons peu d’attention à ces possibilités.

Articles clés :
- All Possible Views About Humanity’s Future Are Wild (Toutes les options possibles quant à l’avenir de l’humanité sont déjantées)
- This Can’t Go On (Ça ne peut pas durer)

L’avenir lointain ne ressemblera à rien de connu

La technologie tend à renforcer le contrôle de l’humanité sur l’environnement. Pour donner un exemple concret et facile à visualiser, si la technologie se développait suffisamment, nous pourrions imaginer des « humains virtuels » : des personnes pleinement conscientes « faites de logiciels », habitant des environnements virtuels où elles peuvent faire l’expérience de n’importe quoi, être dupliquées, fonctionner à différentes vitesses, et même être « réinitialisées ».

Un monde peuplé d’humains virtuels pourrait être radicalement dystopique (si les environnements virtuels étaient utilisés pour asseoir le pouvoir absolu de certains sur les autres) ou utopique (pas de maladie, de pauvreté matérielle ou de violence non consentie, et une sagesse et une compréhension de soi bien supérieures à celles que nous pouvons atteindre aujourd’hui). Dans un cas comme dans l’autre, les humains virtuels pourraient permettre à une civilisation de se répandre dans la galaxie et de durer bien longtemps.

Nombreux sont ceux qui pensent que ce type de civilisation large et stable est la voie dans laquelle nous pourrions finir par nous engager (que ce soit par le biais des humains virtuels ou d’autres technologies permettant d’accroître notre contrôle sur l’environnement). Mais ils ne prennent pas la peine d’en discuter parce que c’est un avenir qui semble trop lointain.

Article clé : Digital People Would Be An Even Bigger Deal (Les humains virtuels, clé de l’avenir ?)

L’avenir lointain pourrait arriver bien plus vite que prévu

Les modèles de croissance économique standard impliquent que toute technologie capable d’automatiser entièrement l’innovation provoquerait une « singularité économique », c’est-à-dire une croissance économique foudroyante et généralisée, avec une productivité qui tendrait vers l’infini. Pourquoi ? Parce qu’elle initierait un puissant cercle vertueux : augmentation des ressources > multiplication des idées et de l’innovation > augmentation des ressources > multiplication des idées et de l’innovation…

Un tel cercle vertueux n’est pas sans précédent. Il me semble que c’est le mode de fonctionnement « par défaut » de l’économie : c’est ainsi que l’économie a opéré pendant l’histoire de l’humanité, et ce jusqu’à la révolution industrielle il y a deux siècles

Mais lors de la transition démographique qui a eu lieu il y a environ 200 ans, l’étape « augmentation des ressources -> accroissement de la population » a été stoppée. La croissance démographique s’est stabilisée et l’augmentation des ressources a conduit non pas à l’accroissement de la population, mais à son enrichissement.

Le cercle vertueux pourrait être réenclenché si une autre technologie restaurait la dynamique « augmentation des ressources -> multiplication des idées ». Une IA bien paramétrée, que j’appelle PASTA (Process for Automating Scientific and Technological Advancement — processus d’automation du progrès scientifique et technologique), pourrait être cette technologie.

Ce qui signifie que l’avenir lointain pourrait nous tomber dessus très vite une fois que l’IA de type PASTA aura été développée (en supposant qu’elle le soit un jour).

Mais cela signifie aussi que si les systèmes PASTA ne sont pas bien alignés (c’est-à-dire qu’ils poursuivent leurs propres objectifs, incompatibles avec ceux de l’humanité), les choses pourraient déraper très vite.

Articles clés :
- The Duplicator: Instant Cloning Would Make the World Economy Explode (Le duplicateur : le clonage instantané pourrait faire exploser l’économie mondiale)
- Forecasting Transformative AI, Part 1: What Kind of AI? (Prévoir l’IA porteuse de transformations radicales, 1re partie : quel type d’IA ?)
- Why AI alignment could be hard with modern deep learning (Pourquoi le deep learning moderne pourrait s’opposer à l’alignement de l’IA)

L’IA de type PASTA sera sans doute développée au XXIème siècle

Tout le monde s’accorde pour dire qu’un système d’AI généralisé tel que PASTA aurait des conséquences phénoménales. La question est plutôt celle-ci : quand est-ce qu’un tel système arrivera — si tant est qu’il arrive un jour ?

Ces dernières années, une équipe d’Open Philanthropy a étudié cette question sous des angles variés.

L’une des méthodes de prévision fait les observations suivantes :

• À ce jour, aucun modèle d’IA n’a atteint ne serait-ce qu’un pourcent de la « taille » (en termes de calculs effectués) d’un cerveau humain et, jusqu’à récemment, cela n’aurait pas été abordable… mais ça va bientôt changer.
• Et d’ici la fin du siècle, il sera possible d’entraîner d’énormes modèles d’IA, de la taille d’un cerveau humain, pour réaliser des tâches extrêmement difficiles et coûteuses, et peut-être même d’effectuer autant de calculs que ceux faits « par l’évolution » (c’est-à-dire par tous les cerveaux animaux ayant existé jusqu’ici).
• Les prédictions obtenues par cette méthode sont conformes à la dernière enquête menée auprès des chercheurs en IA, dont il ressort qu’il est plus que probable qu’un système tel que PASTA voie le jour au cours de ce siècle.

Un certain nombre d’autres perspectives ont été aussi examinées.

L’une des difficultés pour faire ces prévisions est qu’il n’existe pas de champ de recherches dont l’objet serait de prédire l’évolution de l’IA ni de consensus entre experts comme il y en a sur le changement climatique, par exemple.

Les discussions sur ces thèmes étant limitées, il est difficile de se faire un avis. Mais je pense que compte tenu de ce que nous savons, nous devrions prendre au sérieux l’hypothèse selon laquelle nous vivons le « siècle le plus important » en attendant qu’un champ de recherche sur l’évolution de l’IA se développe.

Articles clés :
- AI Timelines : Where the Arguments, and the “Experts,” Stand (Prochaines échéances du développement de l’IA : où en sont les arguments et les « experts ») (récapitule les autres articles, et discute de la façon dont nous devrions raisonner sur des sujets comme celui-ci, pour lesquels il n’y a pas d’« experts » incontestés.)
- Forecasting Transformative AI: What’s the Burden of Proof? (Anticiper l’IA porteuse de transformations radicales : qu’est-ce que la charge de la preuve ?)
- Are we “trending toward” transformative AI? (Sommes-nous en train de tendre vers une IA porteuse de transformations radicales ?)
- Forecasting transformative AI: the “biological anchors” method in a nutshell (Prévoir l’IA porteuse de transformations radicales : la méthode des « ancrages biologiques » en bref)

Nous ne sommes pas prêts

Quand je dis que le siècle que nous vivons est le plus important, je ne veux pas dire seulement que des événements marquants vont se produire. Je veux dire que nous, qui vivons au XXIème, pouvons potentiellement avoir un impact immense sur la quantité gigantesque de personnes qui vivront après nous… à condition que nous comprenions assez bien ce qui se passe pour identifier les actions bénéfiques.

Mais c’est une condition de taille. Parmi toutes les choses que nous pouvons faire, certaines vont améliorer la situation, d’autres vont l’aggraver (et il est difficile de distinguer ces deux catégories).

Quand j’envisage l’hypothèse du « siècle le plus important », je ne ressens pas ce que je m’attendrais à ressentir : je ne suis pas pris dans un tourbillon d’excitation ni angoissé au point de refuser d’y penser. Je ressens un étrange mélange d’intensité, d’urgence, de confusion et d’hésitation. Je suis confronté à quelque chose de plus énorme que je ne l’aurais jamais imaginé, et je me sens trop peu qualifié, trop ignorant pour savoir ce qu’il faudrait faire.

Si je garde ça à l’esprit, plutôt que de lancer un appel à l’action, je voudrais lancer un appel à la vigilance (lien en anglais) :

• Si les arguments présentés dans ces articles vous ont convaincus, ne vous précipitez pas pour « faire quelque chose, n’importe quoi » — avant de vous en détourner tout aussi vite.
• A la place, prenez toutes les bonnes mesures que vous pouvez prendre aujourd’hui, et préparez-vous pour pouvoir passer à l’action quand le moment sera venu.
• Pour ceux qui cherchent quelque chose qui peut être fait rapidement et qui facilitera les actions futures, voir cette section de mon appel à la vigilance.

Articles clés :
- Making the Best of the Most Important Century (Tirer le meilleur parti du siècle le plus important) ;
- Call to Vigilance (Appel à la vigilance).

Pour illustrer mon état d’esprit, je dirais que j’ai l’impression que le monde est fait de passagers d’un avion qui s’élance sur la piste de décollage.

Et chaque fois que je lis des opinions sur ce qui se passe dans le monde, j’ai l’impression que les gens discutent de la manière la plus confortable de mettre leur ceinture de sécurité, ou bien qu’ils disent que les meilleurs moments dans la vie, c’est quand on est assis avec sa famille et qu’on regarde les lignes blanches qui défilent au sol, ou encore qu’ils se disputent pour savoir qui est responsable du bruit de fond qui empêche de s’entendre.

Je ne sais pas vers quoi nous nous dirigeons ni ce que nous pouvons faire. Mais j’ai la conviction que notre civilisation n’est pas prête pour ce qui va arriver, et que pour commencer, nous devrions prendre cette situation beaucoup plus au sérieux.