Source de l'image : générée par l'outil Unbounded AI
Ce n'est pas un hasard : la religion et la technologie sont étroitement liées depuis des siècles.
Et si je vous disais que dans 10 ans, le monde tel que vous le connaissez prendra fin. Vous vivrez au paradis sans maladie, sans vieillissement ni mort. La vie éternelle sera à vous ! Mieux encore, votre cerveau sera libéré de l'incertitude et vous acquerrez une connaissance parfaite. Vous n’êtes plus piégé sur terre, vous pouvez vivre au paradis.
Si je vous disais tout cela, me considéreriez-vous comme un prédicateur religieux ou un chercheur en intelligence artificielle ?
L’une ou l’autre supposition a du sens.
Plus vous écoutez les discussions sur l’intelligence artificielle dans la Silicon Valley, plus vous entendez des échos religieux. Parce qu’une grande partie de l’enthousiasme suscité par la construction de machines superintelligentes vient du recyclage d’idées religieuses. La plupart des technologues laïcs qui construisent l’intelligence artificielle ne s’en rendent pas compte.
Ces experts en technologie suggèrent de cacher la mort en téléchargeant nos pensées sur le cloud, où nous pouvons vivre numériquement pour toujours. Ils décrivent l’intelligence artificielle comme un mécanisme de prise de décision capable de déterminer avec une certitude mathématique ce qui est optimal et ce qui ne l’est pas. Ils envisagent l’intelligence artificielle générale (AGI) – un système hypothétique qui pourrait égaler les capacités humaines de résolution de problèmes dans de nombreux domaines – comme une entreprise qui pourrait garantir le salut de l’humanité si elle se déroule bien et, si elle ne se déroule pas bien, elle peut également apporter un désastre.
Ces visions sont presque identiques à celles de l'eschatologie chrétienne, une branche de la théologie concernée par « l'eschatologie » ou la destinée ultime de l'humanité.
L’eschatologie chrétienne nous dit que nous nous dirigeons tous vers « quatre dernières choses » : la mort, le jugement, le paradis ou l’enfer. Ceux qui sont morts seront ressuscités lors de la seconde venue du Christ et trouveront une destinée éternelle. Nos âmes feront face au jugement final de Dieu, le décideur parfait. Si les choses vont bien, nous monterons au ciel, mais si les choses tournent mal, nous tomberons en enfer.
Il y a cinq ans, lorsque j’ai commencé à assister à des conférences dans la Silicon Valley et que j’ai remarqué pour la première fois les similitudes entre le thème de la religion et celui de l’intelligence artificielle, j’ai pensé à une explication psychologique simple. Les deux sont des réponses aux angoisses humaines fondamentales : la mort ; la difficulté de savoir ce que nous faisons de bien ou de mal ; l’inconnaissabilité du sens de notre vie et de notre place ultime dans cet univers – ou dans le prochain. Les penseurs religieux et les penseurs de l’IA viennent de tomber sur des réponses similaires à des questions qui nous préoccupent tous.
J’ai donc été surpris de constater que le lien était bien plus profond que cela.
"La religion et la technologie sont liées depuis des siècles, même si certains vous diront que la science est neutre en termes de valeur et n'a rien à voir avec des choses comme la religion", a déclaré Robert Geraci, professeur d'études religieuses au Manhattan College et auteur de "Apocalyptic AI. "Ce n'est tout simplement pas vrai. Cela n'a jamais été le cas."
En fait, les historiens qui retracent l’influence de la pensée religieuse croient que depuis les théologiens chrétiens du Moyen Âge jusqu’aux pères de l’empirisme de la Renaissance en passant par le futuriste Ray Kurzweil et ceux influencés par lui par les poids lourds de la technologie de la Silicon Valley, nous pouvons tracer une ligne droite. doubler.
Parfois, certaines personnes ont encore une vague idée des similitudes. Jack Clark, co-fondateur de la société de sécurité et d'intelligence artificielle Anthropic, a écrit sur Twitter en mars : "Je pense parfois que l'enthousiasme des gens pour l'AGI est une impulsion religieuse déplacée venant d'une culture laïque."
Mais la plupart du temps, ceux qui considèrent l’AGI comme une forme d’eschatologie technologique – de Sam Altman, PDG du fabricant de ChatGPT OpenAI à Elon Musk, qui veut connecter les cerveaux aux ordinateurs – expriment leurs idées en termes laïques. Soit ils ne réalisent pas, soit ils ne veulent pas admettre, que la vision qu’ils avancent est en grande partie fusionnée avec la pensée religieuse ancienne.
Mais il est important de savoir d’où viennent ces idées. Ce n’est pas parce que le mot « religion » est en quelque sorte péjoratif ; ce n’est pas parce que les idées sont religieuses qu’elles ont quelque chose de mal (le contraire est souvent vrai). Au lieu de cela, nous devrions comprendre l'histoire de ces idées – par exemple, une vie après la mort virtuelle comme forme de salut, ou un progrès moral compris comme un progrès technologique – afin de comprendre qu'elles ne sont pas immuables ou inévitables ; certaines personnes ont proposé ces idées à certaines époques. des moments à certaines fins, mais d'autres existent si nous le souhaitons. Nous ne devons pas tomber dans le danger d’une seule histoire.
"Nous devons faire attention aux discours que nous acceptons", a déclaré Elke Schwarz, théoricienne politique à l'Université Queen Mary de Londres qui étudie l'éthique de l'intelligence artificielle militaire. "Chaque fois que nous parlons de quelque chose de religieux, il y a quelque chose de sacré en jeu. Avoir quelque chose sacré Cela peut faire mal parce que si quelque chose est sacré, cela vaut la peine de faire le pire pour cela.
Le concept d'intelligence artificielle a toujours été profondément religieux
Dans les religions abrahamiques qui ont façonné l’Occident, tout revient à la honte.
Vous vous souvenez de ce qui s'est passé dans la Genèse ? Quand Adam et Ève ont mangé de l’Arbre de la Connaissance, Dieu les a expulsés du jardin d’Éden et les a soumis à toutes les indignités de la chair et du sang : le travail et la douleur, la naissance et la mort. Après la disgrâce, l’humanité n’a plus jamais été la même. Avant de pécher, nous étions des créatures parfaites créées à l’image de Dieu ; maintenant, nous sommes des peaux pitoyables.
Mais au Moyen Âge, les penseurs chrétiens ont proposé une idée radicale, comme l’explique l’historien David Noble dans son livre The Religion of Technology. Et si la technologie pouvait nous aider à restaurer l’humanité dans son état de perfection d’avant la Chute ?
Par exemple, l’influent philosophe du IXe siècle Jean Scot Eriugena soutenait qu’une partie de la signification du fait qu’Adam ait été créé à l’image de Dieu était qu’il était un créateur, un faiseur. Par conséquent, nous devons nous rapprocher de cet aspect de nous-mêmes si nous voulons restaurer l’humanité à la perfection divine qu’elle était avant la chute d’Adam. Eriugena écrit que les « arts mécaniques » (également connus sous le nom de technologie) sont « le lien de l'homme avec le divin, et leur culture est le moyen de sauver l'humanité ».
Cette idée est née dans les monastères médiévaux, où la devise « ora et labora » (prier et travailler) a commencé à circuler. Même au cours de ce qu'on appelle l'âge des ténèbres, certains de ces monastères sont devenus des foyers d'ingénierie, produisant des inventions telles que la première roue hydraulique actionnée par la marée et le forage à percussion. Les catholiques sont devenus connus comme des innovateurs ; à ce jour, les ingénieurs ont quatre saints patrons dans la religion. Certains disent que l'Église catholique était la Silicon Valley du Moyen Âge, et il y a une raison à cela : comme je l'ai noté dans un article de 2018 dans The Atlantic, tout, depuis « la métallurgie, les usines et la notation musicale jusqu'à l'horlogerie et l'imprimerie », l'Église catholique L'Église est indispensable.
Il ne s’agit pas ici de recherche technologique, ni de recherche à but lucratif. Au contraire, le progrès scientifique et technologique est synonyme de progrès moral. En restaurant l’humanité à sa perfection originelle, nous pouvons inaugurer le Royaume de Dieu. Comme l’écrit Noble : « La technologie est devenue synonyme de transcendance et est liée comme jamais auparavant aux idées chrétiennes de salut ».
L'idée médiévale d'assimiler le progrès technologique au progrès moral a influencé des générations de penseurs chrétiens et se poursuit jusqu'à l'ère moderne. Un couple Bakong illustre comment la même croyance fondamentale – selon laquelle la technologie apportera le salut – affecte les traditionalistes religieux et ceux qui adoptent une vision scientifique du monde.
Au XIIIe siècle, l'alchimiste Roger Bacon s'est inspiré des prophéties bibliques pour tenter de créer un élixir de vie qui permettrait une résurrection semblable à celle décrite par l'apôtre Paul. Bacon espère que cet élixir rendra non seulement les humains immortels, mais leur accordera également des capacités magiques, comme voyager à la vitesse de la pensée. Au XVIème siècle apparaît Francis Bacon. En apparence, il semblait très différent de ses prédécesseurs - il critiquait l'alchimie, la considérant comme non scientifique - mais il prédisait qu'un jour nous utiliserions la technologie pour vaincre notre mortalité, "pour glorifier le Créateur et soulager la souffrance humaine".
À la Renaissance, les Européens ont osé rêver que nous pourrions nous refaire à l’image de Dieu, non seulement atteindre progressivement l’immortalité, mais aussi créer une conscience à partir de matière inanimée.
Schwarz a noté : « Au-delà de la victoire sur la mort, la possibilité de créer une nouvelle vie est le pouvoir ultime. »
Les ingénieurs chrétiens ont créé des automates – des robots en bois – capables de se déplacer et de dire des prières. Selon la légende, les musulmans créaient des têtes mécaniques qui parlaient comme des oracles. Il y a des histoires dans le folklore juif sur des rabbins utilisant des conjugaisons de langage magiques pour donner vie à des figures d'argile (appelées « figures de boue »). Dans ces récits, des figures d’argile sauvent parfois les Juifs de la persécution. Mais à d’autres moments, les figurines d’argile deviendront des traîtres, tueront des gens, voleront des biens et utiliseront leurs pouvoirs pour faire le mal.
Oui, tout cela semble très familier. On peut entendre la même inquiétude dans le livre de 1964 du mathématicien et philosophe Norbert Wiener sur les risques de l'intelligence artificielle, God & Golem, Inc., et dans la multitude de lettres ouvertes actuellement publiées par des experts en technologie. Ils préviennent que l’AGI nous apportera le salut ou la catastrophe.
En lisant ces remarques, vous pourriez très bien vous demander : si l’AGI menace à la fois l’apocalypse et promet le salut, pourquoi créons-nous l’AGI ? Pourquoi ne pas nous limiter à créer des formes plus restreintes d’intelligence artificielle – qui peuvent déjà faire des merveilles dans des applications telles que le traitement des maladies – et s’y tenir pendant un certain temps ?
Pour le savoir, suivez-moi un peu plus loin dans l’histoire alors que nous commençons à comprendre comment trois mouvements récents et étroitement liés façonnent la vision de la Silicon Valley en matière d’intelligence artificielle.
Dans le transhumanisme, l'altruisme efficace et le long terme
Selon de nombreux témoignages, lorsque Charles Darwin publia sa théorie de l'évolution en 1859, tous les penseurs religieux la considérèrent immédiatement comme une menace hérétique terrifiante pour l'humanité, la création la plus pieuse de Dieu. Mais certains penseurs chrétiens y voient une nouvelle apparence criarde d’anciennes prophéties spirituelles. Après tout, les idées religieuses ne meurent jamais vraiment, elles reçoivent simplement de nouveaux vêtements.
Un exemple typique est celui de Pierre Teilhard de Chardin, un prêtre jésuite français qui a également étudié la paléontologie au début du XXe siècle. Il croit que, poussée par la technologie, l'évolution humaine est en réalité porteuse du royaume de Dieu. L'intégration des humains et des machines conduira à une explosion de l'intelligence, qu'il appelle le Point Omega. Notre conscience entrera dans un « état superconscient » dans lequel nous fusionnerons avec Dieu et deviendrons une nouvelle espèce.
Comme l'auteur Meghan O'Gieblyn le documente dans son livre God, Man, Animal, Machine de 2021, le biologiste évolutionniste Aldous Huxley a été président de la British Humanist Association et de la British Eugenics Society. Huxley a popularisé l'idée de Teilhard selon laquelle nous devrions utiliser la technologie pour faire évoluer notre espèce. l’appelant « transhumanisme ».
Cela a à son tour influencé le futuriste Ray Kurzweil, qui a fait fondamentalement la même prédiction que Teilhard : nous sommes sur le point d’inaugurer une ère d’intégration de l’intelligence humaine et de l’intelligence machine, et l’intelligence humaine deviendra extrêmement puissante. Mais au lieu de l’appeler « Point Omega », Kurzweil l’a rebaptisé « Point Singularité ».
"Les humains et les technologies informatiques qu'ils créent seront capables de résoudre des problèmes séculaires... et changeront la nature de la mort dans un avenir postbiologique", écrivait Kurzweil dans son best-seller national de 1999, L'ère de l'ingéniosité. du Nouveau Testament. D'après le Livre de l'Apocalypse : « La mort n'est plus, ni le deuil, ni les cris, ni la douleur, car les choses anciennes ont disparu. »)
Kurzweil reconnaît les similitudes spirituelles entre les deux, tout comme ceux qui ont formé des mouvements explicitement religieux autour du culte de l'intelligence artificielle ou de l'utilisation de l'intelligence artificielle pour amener les humains vers la piété, du mouvement Terasem de Martine Rothblatt à l'Association des surhumains mormons, en passant par l'éphémère Way of of Anthony Levandowski. la future église. Mais beaucoup, comme le philosophe Nick Bostrom de l’Université d’Oxford, insistent sur le fait que le transhumanisme est différent de la religion et s’appuie sur « la raison critique et les meilleures preuves scientifiques dont nous disposons ».
Aujourd’hui, le transhumanisme a une sœur, un autre mouvement né à Oxford et qui explose dans la Silicon Valley : l’Altruisme Efficace (EA), dont le but est de trouver comment faire le plus de bien possible au plus grand nombre. Les altruistes efficaces affirment également que leur approche est ancrée dans la raison et les preuves laïques.
Cependant, l’altruisme efficace est en réalité à bien des égards identique à la religion : fonctionnellement (il rassemble un groupe construit autour d’une vision partagée de la vie morale), structurellement (il a une hiérarchie de chefs prophétiques, de textes classiques, de fêtes et de rituels) et esthétiquement. (il promouvait la dîme et favorisait l'ascétisme). Plus important encore, il fournit une eschatologie.
L’eschatologie de l’altruisme efficace se présente sous la forme de sa vision la plus controversée, le long-termisme, que Musk a décrit un jour comme « très cohérent avec ma philosophie ». Il soutient que la meilleure façon d'aider le plus grand nombre est de se concentrer sur la survie de l'humanité dans un avenir lointain (disons, dans des millions d'années), alors qu'il pourrait y avoir des milliards de personnes de plus que nous n'en avons aujourd'hui - en supposant que notre espèce ne va pas disparaître. d'abord.
À partir de là, nous commençons à obtenir des réponses à la question de savoir pourquoi les technologues travaillent à la construction de l'AGI.
Le progrès de l'IA en tant que progrès moral
Pour les altruistes efficaces et les visionnaires du long terme, se contenter d’insister sur une IA étroite n’est pas une option. Will MacAskill, philosophe de l'Université d'Oxford, a été qualifié de « prophète réticent » de l'altruisme efficace et du long terme. Dans son livre de 2022 What We Owe the Future, il explique pourquoi il estime que la stagnation du progrès technologique est inacceptable. "Des périodes de stagnation", écrit-il, "pourraient accroître le risque d'extinction et d'effondrement permanent".
Il cite son collègue Toby Ord, qui estime qu’il y a une chance sur six d’extinction de l’humanité au cours du prochain siècle en raison de risques tels que l’IA malveillante et les épidémies artificielles. Un autre collègue d'EA, Holden Karnofsky, estime également que nous vivons un "tournant de l'histoire" ou "le siècle le plus important" - une période spéciale de l'histoire humaine au cours de laquelle nous allons soit prospérer comme jamais auparavant, soit subir la destruction. MacAskill, comme Musk, suggère dans le livre qu'un bon moyen d'éviter l'extinction est de coloniser d'autres planètes afin de ne pas mettre tous nos œufs dans le même panier.
Mais cela ne représente que la moitié des « arguments moraux en faveur de la colonisation spatiale » de MacAskill. L’autre moitié est que nous devons nous efforcer de rendre la civilisation humaine future aussi vaste et utopique que possible. Comme le dit Bostrom, collègue de MacAskill à Oxford, la « colonisation cosmique » nous donnera l'espace et les ressources nécessaires pour exécuter le grand nombre de simulations numériques qui permettront aux humains de vivre heureux pour toujours. Plus l’espace est grand, plus les humains (numériques) sont heureux ! C’est là que se situent la plupart des valeurs morales : non pas dans le présent ici sur terre, mais dans le futur au paradis… désolé, je voulais dire « l’au-delà virtuel ».
Lorsque nous rassemblons toutes ces idées et généralisons, nous arrivons à cette proposition de base :
Il ne nous reste peut-être plus beaucoup de temps avant la fin de la vie telle que nous la connaissons.
Par conséquent, nous devons parier sur quelque chose qui nous sauvera.
Puisque les enjeux sont si élevés, nous devrions parier suffisamment et tout mettre en œuvre.
Quiconque étudie la religion comprend immédiatement de quoi il s’agit : une logique apocalyptique.
Les transhumanistes, les altruistes efficaces et les long-termistes héritent de l’idée selon laquelle la fin est imminente et que le progrès technologique est notre meilleure chance de progrès en tant que civilisation. Pour ceux qui suivent cette logique, poursuivre l’AGI peut sembler une évidence. Bien qu’ils pensent que l’AGI pose un risque existentiel important, ils pensent que nous ne pouvons pas nous permettre de ne pas construire l’AGI car elle a le potentiel de propulser l’humanité d’une adolescence terrestre précaire (qui pourrait se terminer d’un jour à l’autre !) à un âge adulte interstellaire prospère (tant de gens heureux, donc beaucoup de valeurs civilisées!). Bien sûr, nous devons avancer technologiquement, car cela signifie avancer civilisationnellement !
Mais est-ce ancré dans la raison et dans les preuves ? Ou est-ce enraciné dans un dogme ?
Le principe sous-jacent ici est le déterminisme technologique, mêlé à une touche de géopolitique. L’idée est que même si vous et moi ne créons pas une IA d’une puissance effrayante, quelqu’un d’autre ou un autre pays le fera – alors pourquoi nous empêcher de nous impliquer ? Altman d'OpenAI illustre la conviction selon laquelle la technologie doit évoluer. Il écrivait sur son blog en 2017 : « Si nous ne nous détruisons pas d'abord, une intelligence artificielle surhumaine émergera. » Pourquoi ? "Comme nous l'avons appris, le progrès scientifique finira par se produire si les lois de la physique ne l'arrêtent pas."
Avons-nous appris ? Je ne vois aucune preuve que tout ce qui peut être inventé le sera un jour. (Comme l’écrit Katja Grace, chercheuse principale chez Impact of Artificial Intelligence : « Pensez à une machine qui vous crache de la merde dans les yeux. Nous pouvons techniquement le faire, mais personne n’a probablement jamais construit une telle machine. ») Les gens semblent plus enclins à poursuivre l’innovation lorsqu’elle est motivée par de fortes pressions économiques, sociales ou idéologiques.
Au milieu de l’engouement pour les AGI dans la Silicon Valley, la pression sociale et idéologique est exercée par des idées religieuses réinventées sous couvert de transhumanisme, d’altruisme efficace et de long-termisme. Quant aux pressions économiques et de rentabilité, elles sont toujours présentes dans la Silicon Valley.
Un sondage Reuters réalisé en mai a montré que 61 % des Américains pensent désormais que l’intelligence artificielle peut menacer la civilisation humaine, une opinion particulièrement forte parmi les chrétiens évangéliques. Pour Geraci, spécialiste des études religieuses, cela n’est pas surprenant. Il a noté que la logique apocalyptique est « très, très, très puissante dans le christianisme protestant américain » – à tel point que quatre adultes américains sur dix croient actuellement que l’humanité vit la fin des temps.
Malheureusement, la logique apocalyptique engendre souvent un fanatisme dangereux. Au Moyen Âge, lorsqu’un faux messie apparaissait, les gens abandonnaient leurs biens matériels pour suivre leur prophète. Aujourd’hui, alors que les médias parlent de la catastrophe de l’IA, les vrais croyants abandonnent leurs études pour étudier la sécurité de l’IA. La logique de l’apocalypse ou de la rédemption, du paradis ou de l’enfer, pousse les gens à prendre d’énormes risques – à s’y engager.
Dans une interview avec moi l’année dernière, MacAskill a nié les pratiques de jeu extrêmes. Il m'a dit que dans son imagination, un certain type de frères technologiques de la Silicon Valley croient qu'il y a 5 % de chances de mourir d'une catastrophe AGI, et 10 % de chances qu'AGI apporte une utopie heureuse, et ils seront prêts à le faire. pour supporter ces chances. Construisez AGI à la hâte.
"Je ne veux pas que les gens aiment construire l'AGI parce qu'ils ne répondent pas aux questions éthiques", m'a dit MacAskill. "Peut-être que cela signifie que nous devons retarder la Singularité pour la rendre plus sûre. Peut-être que cela signifie que la Singularité ne le fera pas. être dans ma vie. Cela va être un énorme sacrifice.
Lorsque MacAskill m'a dit cela, j'ai imaginé une image de Moïse regardant la Terre promise mais sachant qu'il ne pouvait pas l'atteindre. La vision à long terme semblait lui imposer une conviction brutale : vous ne serez pas personnellement sauvé, mais vos descendants spirituels le seront.
Nous devons décider si c'est ainsi que nous voulons le salut
Il n’y a rien de mal en soi à croire que la technologie peut améliorer fondamentalement le destin de l’humanité. À bien des égards, c’est clairement le cas.
"La technologie n'est pas le problème", m'a dit Ilia Delio, titulaire de deux doctorats et titulaire d'une chaire de théologie à l'Université Villanova. En fait, Delio était convaincu que nous sommes déjà dans une nouvelle étape de l'évolution, en transition de l'Homo sapiens. à « l’Homo sapiens technologique ». » Le point de vue est gratifiant. Elle estime que nous devrions évoluer de manière proactive avec l’aide de la technologie et avec un esprit ouvert.
Mais elle comprend également que nous devons être clairs sur les valeurs qui influencent notre technologie, « afin que nous puissions développer une technologie avec un but – et avec une éthique », a-t-elle déclaré. Autrement, « la technologie est aveugle et potentiellement dangereuse ».
Geraci est d'accord. "Ce serait un peu effrayant si beaucoup de gens dans la Silicon Valley disaient : 'Hé, je soutiens cette technologie parce qu'elle me rendra immortel'", m'a-t-il dit. "Mais si quelqu'un disait : 'Je soutiens cette technologie,' parce que je pense que nous pouvons l'utiliser pour résoudre la faim dans le monde" - ce sont deux motivations très différentes. Cela aura un impact sur le type de produit que vous essayez de concevoir, les personnes pour lesquelles vous concevez et les personnes que vous essayez de s’entourer de la manière dont il se déploie dans le monde.
Tout en décidant de manière réfléchie de la valeur de la technologie, vous devez également être parfaitement conscient de qui a le pouvoir de décider. Schwarz pense que les concepteurs de l’IA nous vendent une vision des avancées technologiques nécessaires que l’IA apportera et se présentent comme les seuls experts en la matière, ce qui leur donne un pouvoir énorme – sans doute plus que celui que nos fonctionnaires démocratiquement élus ont plus de pouvoir.
"L'idée selon laquelle le développement de l'intelligence artificielle est une loi naturelle devient un principe d'ordre, et ce principe d'ordre est politique. Il donne du pouvoir politique à certaines personnes et beaucoup moins de pouvoir à la plupart des autres", a déclaré Schwarz. "Cela me fait bizarre de dire : "Nous devons être très prudents avec l'AGI", au lieu de dire : "Nous n'avons pas besoin d'AGI, ce n'est pas sur la table". Mais nous sommes arrivés à un point où le pouvoir est "
Nous en sommes arrivés à ce point en grande partie parce qu’au cours des mille dernières années, l’Occident a risqué de tomber dans un seul récit : l’histoire que nous avons héritée des penseurs religieux médiévaux qui assimilaient le progrès technologique au progrès moral.
"C'est le seul récit dont nous disposons", explique Delio. "Ce récit nous amène à écouter les experts techniques (qui, dans le passé, étaient également des autorités spirituelles) et à intégrer les valeurs et les hypothèses dans leurs produits."
"Quelle est l'alternative ? Si l'alternative était 'vivre vivant est un objectif en soi'", a ajouté Delio, "alors nos attentes à l'égard de la technologie pourraient être complètement différentes." "Mais nous n'avons pas ce récit ! Nos récits traditionnels concernent créer, inventer, fabriquer et les laisser nous changer.
Nous devons décider quel genre de salut nous voulons. Si notre enthousiasme pour l’intelligence artificielle vient d’une vision de dépassement des limites de la terre et de la mort du corps, cela aura une conséquence sociale. Mais si nous nous engageons à utiliser la technologie pour améliorer le monde et le bien-être de ces organismes, nous pouvons obtenir des résultats différents. Comme le dit Noble, nous pouvons « commencer à orienter nos incroyables capacités vers des fins plus laïques et plus humaines ».
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
La vision de l’IA de la Silicon Valley ? C'est l'écho d'une religion reconditionnée
Écrit par Sigal Samuel
Source : Vox
Et si je vous disais que dans 10 ans, le monde tel que vous le connaissez prendra fin. Vous vivrez au paradis sans maladie, sans vieillissement ni mort. La vie éternelle sera à vous ! Mieux encore, votre cerveau sera libéré de l'incertitude et vous acquerrez une connaissance parfaite. Vous n’êtes plus piégé sur terre, vous pouvez vivre au paradis.
Si je vous disais tout cela, me considéreriez-vous comme un prédicateur religieux ou un chercheur en intelligence artificielle ?
L’une ou l’autre supposition a du sens.
Plus vous écoutez les discussions sur l’intelligence artificielle dans la Silicon Valley, plus vous entendez des échos religieux. Parce qu’une grande partie de l’enthousiasme suscité par la construction de machines superintelligentes vient du recyclage d’idées religieuses. La plupart des technologues laïcs qui construisent l’intelligence artificielle ne s’en rendent pas compte.
Ces experts en technologie suggèrent de cacher la mort en téléchargeant nos pensées sur le cloud, où nous pouvons vivre numériquement pour toujours. Ils décrivent l’intelligence artificielle comme un mécanisme de prise de décision capable de déterminer avec une certitude mathématique ce qui est optimal et ce qui ne l’est pas. Ils envisagent l’intelligence artificielle générale (AGI) – un système hypothétique qui pourrait égaler les capacités humaines de résolution de problèmes dans de nombreux domaines – comme une entreprise qui pourrait garantir le salut de l’humanité si elle se déroule bien et, si elle ne se déroule pas bien, elle peut également apporter un désastre.
Ces visions sont presque identiques à celles de l'eschatologie chrétienne, une branche de la théologie concernée par « l'eschatologie » ou la destinée ultime de l'humanité.
L’eschatologie chrétienne nous dit que nous nous dirigeons tous vers « quatre dernières choses » : la mort, le jugement, le paradis ou l’enfer. Ceux qui sont morts seront ressuscités lors de la seconde venue du Christ et trouveront une destinée éternelle. Nos âmes feront face au jugement final de Dieu, le décideur parfait. Si les choses vont bien, nous monterons au ciel, mais si les choses tournent mal, nous tomberons en enfer.
Il y a cinq ans, lorsque j’ai commencé à assister à des conférences dans la Silicon Valley et que j’ai remarqué pour la première fois les similitudes entre le thème de la religion et celui de l’intelligence artificielle, j’ai pensé à une explication psychologique simple. Les deux sont des réponses aux angoisses humaines fondamentales : la mort ; la difficulté de savoir ce que nous faisons de bien ou de mal ; l’inconnaissabilité du sens de notre vie et de notre place ultime dans cet univers – ou dans le prochain. Les penseurs religieux et les penseurs de l’IA viennent de tomber sur des réponses similaires à des questions qui nous préoccupent tous.
J’ai donc été surpris de constater que le lien était bien plus profond que cela.
"La religion et la technologie sont liées depuis des siècles, même si certains vous diront que la science est neutre en termes de valeur et n'a rien à voir avec des choses comme la religion", a déclaré Robert Geraci, professeur d'études religieuses au Manhattan College et auteur de "Apocalyptic AI. "Ce n'est tout simplement pas vrai. Cela n'a jamais été le cas."
En fait, les historiens qui retracent l’influence de la pensée religieuse croient que depuis les théologiens chrétiens du Moyen Âge jusqu’aux pères de l’empirisme de la Renaissance en passant par le futuriste Ray Kurzweil et ceux influencés par lui par les poids lourds de la technologie de la Silicon Valley, nous pouvons tracer une ligne droite. doubler.
Parfois, certaines personnes ont encore une vague idée des similitudes. Jack Clark, co-fondateur de la société de sécurité et d'intelligence artificielle Anthropic, a écrit sur Twitter en mars : "Je pense parfois que l'enthousiasme des gens pour l'AGI est une impulsion religieuse déplacée venant d'une culture laïque."
Mais la plupart du temps, ceux qui considèrent l’AGI comme une forme d’eschatologie technologique – de Sam Altman, PDG du fabricant de ChatGPT OpenAI à Elon Musk, qui veut connecter les cerveaux aux ordinateurs – expriment leurs idées en termes laïques. Soit ils ne réalisent pas, soit ils ne veulent pas admettre, que la vision qu’ils avancent est en grande partie fusionnée avec la pensée religieuse ancienne.
Mais il est important de savoir d’où viennent ces idées. Ce n’est pas parce que le mot « religion » est en quelque sorte péjoratif ; ce n’est pas parce que les idées sont religieuses qu’elles ont quelque chose de mal (le contraire est souvent vrai). Au lieu de cela, nous devrions comprendre l'histoire de ces idées – par exemple, une vie après la mort virtuelle comme forme de salut, ou un progrès moral compris comme un progrès technologique – afin de comprendre qu'elles ne sont pas immuables ou inévitables ; certaines personnes ont proposé ces idées à certaines époques. des moments à certaines fins, mais d'autres existent si nous le souhaitons. Nous ne devons pas tomber dans le danger d’une seule histoire.
"Nous devons faire attention aux discours que nous acceptons", a déclaré Elke Schwarz, théoricienne politique à l'Université Queen Mary de Londres qui étudie l'éthique de l'intelligence artificielle militaire. "Chaque fois que nous parlons de quelque chose de religieux, il y a quelque chose de sacré en jeu. Avoir quelque chose sacré Cela peut faire mal parce que si quelque chose est sacré, cela vaut la peine de faire le pire pour cela.
Le concept d'intelligence artificielle a toujours été profondément religieux
Dans les religions abrahamiques qui ont façonné l’Occident, tout revient à la honte.
Vous vous souvenez de ce qui s'est passé dans la Genèse ? Quand Adam et Ève ont mangé de l’Arbre de la Connaissance, Dieu les a expulsés du jardin d’Éden et les a soumis à toutes les indignités de la chair et du sang : le travail et la douleur, la naissance et la mort. Après la disgrâce, l’humanité n’a plus jamais été la même. Avant de pécher, nous étions des créatures parfaites créées à l’image de Dieu ; maintenant, nous sommes des peaux pitoyables.
Mais au Moyen Âge, les penseurs chrétiens ont proposé une idée radicale, comme l’explique l’historien David Noble dans son livre The Religion of Technology. Et si la technologie pouvait nous aider à restaurer l’humanité dans son état de perfection d’avant la Chute ?
Par exemple, l’influent philosophe du IXe siècle Jean Scot Eriugena soutenait qu’une partie de la signification du fait qu’Adam ait été créé à l’image de Dieu était qu’il était un créateur, un faiseur. Par conséquent, nous devons nous rapprocher de cet aspect de nous-mêmes si nous voulons restaurer l’humanité à la perfection divine qu’elle était avant la chute d’Adam. Eriugena écrit que les « arts mécaniques » (également connus sous le nom de technologie) sont « le lien de l'homme avec le divin, et leur culture est le moyen de sauver l'humanité ».
Cette idée est née dans les monastères médiévaux, où la devise « ora et labora » (prier et travailler) a commencé à circuler. Même au cours de ce qu'on appelle l'âge des ténèbres, certains de ces monastères sont devenus des foyers d'ingénierie, produisant des inventions telles que la première roue hydraulique actionnée par la marée et le forage à percussion. Les catholiques sont devenus connus comme des innovateurs ; à ce jour, les ingénieurs ont quatre saints patrons dans la religion. Certains disent que l'Église catholique était la Silicon Valley du Moyen Âge, et il y a une raison à cela : comme je l'ai noté dans un article de 2018 dans The Atlantic, tout, depuis « la métallurgie, les usines et la notation musicale jusqu'à l'horlogerie et l'imprimerie », l'Église catholique L'Église est indispensable.
Il ne s’agit pas ici de recherche technologique, ni de recherche à but lucratif. Au contraire, le progrès scientifique et technologique est synonyme de progrès moral. En restaurant l’humanité à sa perfection originelle, nous pouvons inaugurer le Royaume de Dieu. Comme l’écrit Noble : « La technologie est devenue synonyme de transcendance et est liée comme jamais auparavant aux idées chrétiennes de salut ».
L'idée médiévale d'assimiler le progrès technologique au progrès moral a influencé des générations de penseurs chrétiens et se poursuit jusqu'à l'ère moderne. Un couple Bakong illustre comment la même croyance fondamentale – selon laquelle la technologie apportera le salut – affecte les traditionalistes religieux et ceux qui adoptent une vision scientifique du monde.
Au XIIIe siècle, l'alchimiste Roger Bacon s'est inspiré des prophéties bibliques pour tenter de créer un élixir de vie qui permettrait une résurrection semblable à celle décrite par l'apôtre Paul. Bacon espère que cet élixir rendra non seulement les humains immortels, mais leur accordera également des capacités magiques, comme voyager à la vitesse de la pensée. Au XVIème siècle apparaît Francis Bacon. En apparence, il semblait très différent de ses prédécesseurs - il critiquait l'alchimie, la considérant comme non scientifique - mais il prédisait qu'un jour nous utiliserions la technologie pour vaincre notre mortalité, "pour glorifier le Créateur et soulager la souffrance humaine".
À la Renaissance, les Européens ont osé rêver que nous pourrions nous refaire à l’image de Dieu, non seulement atteindre progressivement l’immortalité, mais aussi créer une conscience à partir de matière inanimée.
Schwarz a noté : « Au-delà de la victoire sur la mort, la possibilité de créer une nouvelle vie est le pouvoir ultime. »
Les ingénieurs chrétiens ont créé des automates – des robots en bois – capables de se déplacer et de dire des prières. Selon la légende, les musulmans créaient des têtes mécaniques qui parlaient comme des oracles. Il y a des histoires dans le folklore juif sur des rabbins utilisant des conjugaisons de langage magiques pour donner vie à des figures d'argile (appelées « figures de boue »). Dans ces récits, des figures d’argile sauvent parfois les Juifs de la persécution. Mais à d’autres moments, les figurines d’argile deviendront des traîtres, tueront des gens, voleront des biens et utiliseront leurs pouvoirs pour faire le mal.
Oui, tout cela semble très familier. On peut entendre la même inquiétude dans le livre de 1964 du mathématicien et philosophe Norbert Wiener sur les risques de l'intelligence artificielle, God & Golem, Inc., et dans la multitude de lettres ouvertes actuellement publiées par des experts en technologie. Ils préviennent que l’AGI nous apportera le salut ou la catastrophe.
En lisant ces remarques, vous pourriez très bien vous demander : si l’AGI menace à la fois l’apocalypse et promet le salut, pourquoi créons-nous l’AGI ? Pourquoi ne pas nous limiter à créer des formes plus restreintes d’intelligence artificielle – qui peuvent déjà faire des merveilles dans des applications telles que le traitement des maladies – et s’y tenir pendant un certain temps ?
Pour le savoir, suivez-moi un peu plus loin dans l’histoire alors que nous commençons à comprendre comment trois mouvements récents et étroitement liés façonnent la vision de la Silicon Valley en matière d’intelligence artificielle.
Dans le transhumanisme, l'altruisme efficace et le long terme
Selon de nombreux témoignages, lorsque Charles Darwin publia sa théorie de l'évolution en 1859, tous les penseurs religieux la considérèrent immédiatement comme une menace hérétique terrifiante pour l'humanité, la création la plus pieuse de Dieu. Mais certains penseurs chrétiens y voient une nouvelle apparence criarde d’anciennes prophéties spirituelles. Après tout, les idées religieuses ne meurent jamais vraiment, elles reçoivent simplement de nouveaux vêtements.
Un exemple typique est celui de Pierre Teilhard de Chardin, un prêtre jésuite français qui a également étudié la paléontologie au début du XXe siècle. Il croit que, poussée par la technologie, l'évolution humaine est en réalité porteuse du royaume de Dieu. L'intégration des humains et des machines conduira à une explosion de l'intelligence, qu'il appelle le Point Omega. Notre conscience entrera dans un « état superconscient » dans lequel nous fusionnerons avec Dieu et deviendrons une nouvelle espèce.
Comme l'auteur Meghan O'Gieblyn le documente dans son livre God, Man, Animal, Machine de 2021, le biologiste évolutionniste Aldous Huxley a été président de la British Humanist Association et de la British Eugenics Society. Huxley a popularisé l'idée de Teilhard selon laquelle nous devrions utiliser la technologie pour faire évoluer notre espèce. l’appelant « transhumanisme ».
Cela a à son tour influencé le futuriste Ray Kurzweil, qui a fait fondamentalement la même prédiction que Teilhard : nous sommes sur le point d’inaugurer une ère d’intégration de l’intelligence humaine et de l’intelligence machine, et l’intelligence humaine deviendra extrêmement puissante. Mais au lieu de l’appeler « Point Omega », Kurzweil l’a rebaptisé « Point Singularité ».
"Les humains et les technologies informatiques qu'ils créent seront capables de résoudre des problèmes séculaires... et changeront la nature de la mort dans un avenir postbiologique", écrivait Kurzweil dans son best-seller national de 1999, L'ère de l'ingéniosité. du Nouveau Testament. D'après le Livre de l'Apocalypse : « La mort n'est plus, ni le deuil, ni les cris, ni la douleur, car les choses anciennes ont disparu. »)
Kurzweil reconnaît les similitudes spirituelles entre les deux, tout comme ceux qui ont formé des mouvements explicitement religieux autour du culte de l'intelligence artificielle ou de l'utilisation de l'intelligence artificielle pour amener les humains vers la piété, du mouvement Terasem de Martine Rothblatt à l'Association des surhumains mormons, en passant par l'éphémère Way of of Anthony Levandowski. la future église. Mais beaucoup, comme le philosophe Nick Bostrom de l’Université d’Oxford, insistent sur le fait que le transhumanisme est différent de la religion et s’appuie sur « la raison critique et les meilleures preuves scientifiques dont nous disposons ».
Aujourd’hui, le transhumanisme a une sœur, un autre mouvement né à Oxford et qui explose dans la Silicon Valley : l’Altruisme Efficace (EA), dont le but est de trouver comment faire le plus de bien possible au plus grand nombre. Les altruistes efficaces affirment également que leur approche est ancrée dans la raison et les preuves laïques.
Cependant, l’altruisme efficace est en réalité à bien des égards identique à la religion : fonctionnellement (il rassemble un groupe construit autour d’une vision partagée de la vie morale), structurellement (il a une hiérarchie de chefs prophétiques, de textes classiques, de fêtes et de rituels) et esthétiquement. (il promouvait la dîme et favorisait l'ascétisme). Plus important encore, il fournit une eschatologie.
L’eschatologie de l’altruisme efficace se présente sous la forme de sa vision la plus controversée, le long-termisme, que Musk a décrit un jour comme « très cohérent avec ma philosophie ». Il soutient que la meilleure façon d'aider le plus grand nombre est de se concentrer sur la survie de l'humanité dans un avenir lointain (disons, dans des millions d'années), alors qu'il pourrait y avoir des milliards de personnes de plus que nous n'en avons aujourd'hui - en supposant que notre espèce ne va pas disparaître. d'abord.
À partir de là, nous commençons à obtenir des réponses à la question de savoir pourquoi les technologues travaillent à la construction de l'AGI.
Le progrès de l'IA en tant que progrès moral
Pour les altruistes efficaces et les visionnaires du long terme, se contenter d’insister sur une IA étroite n’est pas une option. Will MacAskill, philosophe de l'Université d'Oxford, a été qualifié de « prophète réticent » de l'altruisme efficace et du long terme. Dans son livre de 2022 What We Owe the Future, il explique pourquoi il estime que la stagnation du progrès technologique est inacceptable. "Des périodes de stagnation", écrit-il, "pourraient accroître le risque d'extinction et d'effondrement permanent".
Il cite son collègue Toby Ord, qui estime qu’il y a une chance sur six d’extinction de l’humanité au cours du prochain siècle en raison de risques tels que l’IA malveillante et les épidémies artificielles. Un autre collègue d'EA, Holden Karnofsky, estime également que nous vivons un "tournant de l'histoire" ou "le siècle le plus important" - une période spéciale de l'histoire humaine au cours de laquelle nous allons soit prospérer comme jamais auparavant, soit subir la destruction. MacAskill, comme Musk, suggère dans le livre qu'un bon moyen d'éviter l'extinction est de coloniser d'autres planètes afin de ne pas mettre tous nos œufs dans le même panier.
Mais cela ne représente que la moitié des « arguments moraux en faveur de la colonisation spatiale » de MacAskill. L’autre moitié est que nous devons nous efforcer de rendre la civilisation humaine future aussi vaste et utopique que possible. Comme le dit Bostrom, collègue de MacAskill à Oxford, la « colonisation cosmique » nous donnera l'espace et les ressources nécessaires pour exécuter le grand nombre de simulations numériques qui permettront aux humains de vivre heureux pour toujours. Plus l’espace est grand, plus les humains (numériques) sont heureux ! C’est là que se situent la plupart des valeurs morales : non pas dans le présent ici sur terre, mais dans le futur au paradis… désolé, je voulais dire « l’au-delà virtuel ».
Lorsque nous rassemblons toutes ces idées et généralisons, nous arrivons à cette proposition de base :
Quiconque étudie la religion comprend immédiatement de quoi il s’agit : une logique apocalyptique.
Les transhumanistes, les altruistes efficaces et les long-termistes héritent de l’idée selon laquelle la fin est imminente et que le progrès technologique est notre meilleure chance de progrès en tant que civilisation. Pour ceux qui suivent cette logique, poursuivre l’AGI peut sembler une évidence. Bien qu’ils pensent que l’AGI pose un risque existentiel important, ils pensent que nous ne pouvons pas nous permettre de ne pas construire l’AGI car elle a le potentiel de propulser l’humanité d’une adolescence terrestre précaire (qui pourrait se terminer d’un jour à l’autre !) à un âge adulte interstellaire prospère (tant de gens heureux, donc beaucoup de valeurs civilisées!). Bien sûr, nous devons avancer technologiquement, car cela signifie avancer civilisationnellement !
Mais est-ce ancré dans la raison et dans les preuves ? Ou est-ce enraciné dans un dogme ?
Le principe sous-jacent ici est le déterminisme technologique, mêlé à une touche de géopolitique. L’idée est que même si vous et moi ne créons pas une IA d’une puissance effrayante, quelqu’un d’autre ou un autre pays le fera – alors pourquoi nous empêcher de nous impliquer ? Altman d'OpenAI illustre la conviction selon laquelle la technologie doit évoluer. Il écrivait sur son blog en 2017 : « Si nous ne nous détruisons pas d'abord, une intelligence artificielle surhumaine émergera. » Pourquoi ? "Comme nous l'avons appris, le progrès scientifique finira par se produire si les lois de la physique ne l'arrêtent pas."
Avons-nous appris ? Je ne vois aucune preuve que tout ce qui peut être inventé le sera un jour. (Comme l’écrit Katja Grace, chercheuse principale chez Impact of Artificial Intelligence : « Pensez à une machine qui vous crache de la merde dans les yeux. Nous pouvons techniquement le faire, mais personne n’a probablement jamais construit une telle machine. ») Les gens semblent plus enclins à poursuivre l’innovation lorsqu’elle est motivée par de fortes pressions économiques, sociales ou idéologiques.
Au milieu de l’engouement pour les AGI dans la Silicon Valley, la pression sociale et idéologique est exercée par des idées religieuses réinventées sous couvert de transhumanisme, d’altruisme efficace et de long-termisme. Quant aux pressions économiques et de rentabilité, elles sont toujours présentes dans la Silicon Valley.
Un sondage Reuters réalisé en mai a montré que 61 % des Américains pensent désormais que l’intelligence artificielle peut menacer la civilisation humaine, une opinion particulièrement forte parmi les chrétiens évangéliques. Pour Geraci, spécialiste des études religieuses, cela n’est pas surprenant. Il a noté que la logique apocalyptique est « très, très, très puissante dans le christianisme protestant américain » – à tel point que quatre adultes américains sur dix croient actuellement que l’humanité vit la fin des temps.
Malheureusement, la logique apocalyptique engendre souvent un fanatisme dangereux. Au Moyen Âge, lorsqu’un faux messie apparaissait, les gens abandonnaient leurs biens matériels pour suivre leur prophète. Aujourd’hui, alors que les médias parlent de la catastrophe de l’IA, les vrais croyants abandonnent leurs études pour étudier la sécurité de l’IA. La logique de l’apocalypse ou de la rédemption, du paradis ou de l’enfer, pousse les gens à prendre d’énormes risques – à s’y engager.
Dans une interview avec moi l’année dernière, MacAskill a nié les pratiques de jeu extrêmes. Il m'a dit que dans son imagination, un certain type de frères technologiques de la Silicon Valley croient qu'il y a 5 % de chances de mourir d'une catastrophe AGI, et 10 % de chances qu'AGI apporte une utopie heureuse, et ils seront prêts à le faire. pour supporter ces chances. Construisez AGI à la hâte.
"Je ne veux pas que les gens aiment construire l'AGI parce qu'ils ne répondent pas aux questions éthiques", m'a dit MacAskill. "Peut-être que cela signifie que nous devons retarder la Singularité pour la rendre plus sûre. Peut-être que cela signifie que la Singularité ne le fera pas. être dans ma vie. Cela va être un énorme sacrifice.
Lorsque MacAskill m'a dit cela, j'ai imaginé une image de Moïse regardant la Terre promise mais sachant qu'il ne pouvait pas l'atteindre. La vision à long terme semblait lui imposer une conviction brutale : vous ne serez pas personnellement sauvé, mais vos descendants spirituels le seront.
Nous devons décider si c'est ainsi que nous voulons le salut
Il n’y a rien de mal en soi à croire que la technologie peut améliorer fondamentalement le destin de l’humanité. À bien des égards, c’est clairement le cas.
"La technologie n'est pas le problème", m'a dit Ilia Delio, titulaire de deux doctorats et titulaire d'une chaire de théologie à l'Université Villanova. En fait, Delio était convaincu que nous sommes déjà dans une nouvelle étape de l'évolution, en transition de l'Homo sapiens. à « l’Homo sapiens technologique ». » Le point de vue est gratifiant. Elle estime que nous devrions évoluer de manière proactive avec l’aide de la technologie et avec un esprit ouvert.
Mais elle comprend également que nous devons être clairs sur les valeurs qui influencent notre technologie, « afin que nous puissions développer une technologie avec un but – et avec une éthique », a-t-elle déclaré. Autrement, « la technologie est aveugle et potentiellement dangereuse ».
Geraci est d'accord. "Ce serait un peu effrayant si beaucoup de gens dans la Silicon Valley disaient : 'Hé, je soutiens cette technologie parce qu'elle me rendra immortel'", m'a-t-il dit. "Mais si quelqu'un disait : 'Je soutiens cette technologie,' parce que je pense que nous pouvons l'utiliser pour résoudre la faim dans le monde" - ce sont deux motivations très différentes. Cela aura un impact sur le type de produit que vous essayez de concevoir, les personnes pour lesquelles vous concevez et les personnes que vous essayez de s’entourer de la manière dont il se déploie dans le monde.
Tout en décidant de manière réfléchie de la valeur de la technologie, vous devez également être parfaitement conscient de qui a le pouvoir de décider. Schwarz pense que les concepteurs de l’IA nous vendent une vision des avancées technologiques nécessaires que l’IA apportera et se présentent comme les seuls experts en la matière, ce qui leur donne un pouvoir énorme – sans doute plus que celui que nos fonctionnaires démocratiquement élus ont plus de pouvoir.
"L'idée selon laquelle le développement de l'intelligence artificielle est une loi naturelle devient un principe d'ordre, et ce principe d'ordre est politique. Il donne du pouvoir politique à certaines personnes et beaucoup moins de pouvoir à la plupart des autres", a déclaré Schwarz. "Cela me fait bizarre de dire : "Nous devons être très prudents avec l'AGI", au lieu de dire : "Nous n'avons pas besoin d'AGI, ce n'est pas sur la table". Mais nous sommes arrivés à un point où le pouvoir est "
Nous en sommes arrivés à ce point en grande partie parce qu’au cours des mille dernières années, l’Occident a risqué de tomber dans un seul récit : l’histoire que nous avons héritée des penseurs religieux médiévaux qui assimilaient le progrès technologique au progrès moral.
"C'est le seul récit dont nous disposons", explique Delio. "Ce récit nous amène à écouter les experts techniques (qui, dans le passé, étaient également des autorités spirituelles) et à intégrer les valeurs et les hypothèses dans leurs produits."
"Quelle est l'alternative ? Si l'alternative était 'vivre vivant est un objectif en soi'", a ajouté Delio, "alors nos attentes à l'égard de la technologie pourraient être complètement différentes." "Mais nous n'avons pas ce récit ! Nos récits traditionnels concernent créer, inventer, fabriquer et les laisser nous changer.
Nous devons décider quel genre de salut nous voulons. Si notre enthousiasme pour l’intelligence artificielle vient d’une vision de dépassement des limites de la terre et de la mort du corps, cela aura une conséquence sociale. Mais si nous nous engageons à utiliser la technologie pour améliorer le monde et le bien-être de ces organismes, nous pouvons obtenir des résultats différents. Comme le dit Noble, nous pouvons « commencer à orienter nos incroyables capacités vers des fins plus laïques et plus humaines ».