Un agradecimiento especial a Morgan Beller, Juan Benet, Eli Dourado, Karl Floersch, Sriram Krishnan, Nate Soares, Jaan Tallinn, Vincent Weisser, los voluntarios de Gate y otros por sus comentarios y revisiones.

El mes pasado, Marc Andreessen publicó su “manifiesto tecno-optimista“, argumentando a favor de un entusiasmo renovado por la tecnología, y por los mercados y el capitalismo como medio para construir esa tecnología y propulsar a la humanidad hacia un futuro mucho más brillante. El manifiesto rechaza inequívocamente lo que describe como una ideología de estancamiento, que teme los avances y prioriza la preservación del mundo tal como existe hoy. Este manifiesto ha recibido mucha atención, incluyendo artículos de respuesta de Noah Smith, Robin Hanson, Joshua Gans(más positivo), yDave Karpf, Luca Ropek, Ezra Klein(más negativo) y muchos otros. No relacionado con este manifiesto, pero a lo largo de temas similares, está el “El Futurista Conservador“ y el “ de PalladiumEs hora de construir para el bienEste mes, vimos un debate similar llevado a cabo a través del Disputa de OpenAI, que implicó muchas discusiones centradas en los peligros de la IA superinteligente y la posibilidad de que OpenAI esté avanzando demasiado rápido.

Mis propios sentimientos sobre el tecno-optimismo son cálidos, pero matizados. Creo en un futuro que es mucho más brillante que el presente gracias a tecnologías radicalmente transformadoras, y creo en los seres humanos y la humanidad. Rechazo la mentalidad de que lo mejor que deberíamos intentar hacer es mantener el mundo más o menos igual que hoy pero con menos codicia y más atención médica pública. Sin embargo, creo que no solo importa la magnitud, sino también la dirección. Hay ciertos tipos de tecnología que hacen que el mundo mejore de manera mucho más confiable que otros tipos de tecnología. Hay ciertos tipos de tecnología que podrían, si se desarrollan, mitigar los impactos negativos de otros tipos de tecnología. El mundo se excede en algunas direcciones del desarrollo tecnológico, y se queda corto en otras. Necesitamos la intención humana activa para elegir las direcciones que queremos, ya que la fórmula de "maximizar beneficios" no llegará a ellas automáticamente.

En esta publicación, hablaré sobre lo que significa el tecno-optimismo para mí. Esto incluye la visión del mundo más amplia que motiva mi trabajo en ciertos tipos de aplicaciones de blockchain y criptografía y tecnología social, así como en otras áreas de la ciencia en las que he expresado interés. Pero las perspectivas sobre esta pregunta más amplia también tienen implicaciones para la IA y para muchos otros campos. Nuestros rápidos avances en tecnología probablemente serán el problema social más importante en el siglo veintiuno, por lo que es importante pensar en ellos cuidadosamente.

Tabla de contenidos

• La tecnología es increíble, y hay costos muy altos por retrasarla
  • El entorno y la importancia de la intención coordinada
• La inteligencia artificial es fundamentalmente diferente de otras tecnologías, y vale la pena ser especialmente cuidadoso
  • El riesgo existencial es un gran problema
  • Incluso si sobrevivimos, ¿es un futuro de IA superinteligente un mundo en el que queremos vivir?
  • El cielo está cerca, el emperador está en todas partes
• d/acc: Defensa (o descentralización, o aceleración diferencial)
  • Mundos que favorecen la defensa ayudan a que la gobernanza saludable y democrática prospere
  • Defensa física macro
  • Defensa microfísica (también conocida como bio)
  • Defensa cibernética, blockchains y criptografía
  • Defensa de la información
  • Tecnología social más allá del marco de la "defensa"
• Entonces, ¿cuáles son los caminos hacia adelante para la superinteligencia?
  • Un camino feliz: ¿fusionarse con los AIs?
• ¿Es d/acc compatible con tu filosofía existente?
• Somos la estrella más brillante

La tecnología es increíble, y hay costos muy altos por retrasarla

En algunos círculos, es común restar importancia a los beneficios de la tecnología y verla principalmente como una fuente de distopía y riesgo. Durante el último medio siglo, esto a menudo se ha derivado ya sea de preocupaciones ambientales o del temor a que los beneficios solo se acumulen en manos de los ricos, quienes afianzarán su poder sobre los pobres. Más recientemente, también he empezado a ver a los libertarios preocupados por algunas tecnologías, por temor a que la tecnología conduzca a la centralización del poder. Este mes, yo. . .algunas encuestashaciendo la siguiente pregunta: si una tecnología tuviera que ser restringida, porque era demasiado peligrosa para ser liberada para que cualquiera la use, ¿preferirían que fuera monopolizada o retrasada diez años? Me sorprendió ver, en tres plataformas y tres opciones sobre quién sería el monopolista, un voto abrumador uniforme a favor de un retraso.

Y así, a veces me preocupa que hayamos corregido demasiado y muchas personas se pierdan el lado opuesto del argumento: que el beneficios de la tecnologíasonRealmente jodidamente masivo, en aquellos ejes donde podemos medirlo, lo bueno supera ampliamente lo malo, y los costos incluso de una década de retraso son increíblemente altos.

Para dar un ejemplo concreto, veamos un gráfico de esperanza de vida:

¿Qué vemos? En el último siglo, un progreso verdaderamente masivo. Esto es cierto en todo el mundo, tanto en las regiones históricamente ricas y dominantes como en las regiones pobres y explotadas.

Algunos culpan a la tecnología de crear o exacerbar calamidades como el totalitarismo y las guerras. De hecho, podemos ver las muertes causadas por las guerras en los gráficos: una en la década de 1910 (Primera Guerra Mundial) y otra en la década de 1940 (Segunda Guerra Mundial). Si miras cuidadosamente, la Gripe Española, el Gran Salto Adelante y otras tragedias no militares también son visibles. Pero hay una cosa que el gráfico deja claro: incluso las calamidades tan espantosas como esas son abrumadas por la magnitud de la marcha interminable de mejoras encomida, saneamiento, medicinay la infraestructura que tuvo lugar durante ese siglo.

Esto se refleja en grandes mejoras en nuestra vida cotidiana. Gracias a Internet, la mayoría de las personas en todo el mundotener acceso a información al alcance de la mano que habría sido inaccesible hace veinte años. La economía global se está volviendo más accesible gracias a las mejoras en los pagos internacionales y las finanzas. La pobreza global es cayendo rápidamenteGracias a los mapas en línea, ya no tenemos que preocuparnos por perdernos en la ciudad, y si necesitas volver a casa rápidamente, ahora tenemos formas mucho más fáciles de llamar a un auto para hacerlo. Nuestra propiedad se está volviendo digitalizada, y nuestra Los bienes físicos se abaratan, significa que tenemos mucho menos que temer del robo físico. Las compras en línea han reducido la disparidad en el acceso a bienes entre las megaciudades globales y el resto del mundo. De muchas maneras, la automatización nos ha brindado el beneficio eternamente subestimado de simplemente hacer nuestras vidas más cómodas.

Estas mejoras, tanto cuantificables como incuantificables, son grandes. Y en el siglo veintiuno, hay una buena probabilidad de que pronto lleguen mejoras aún mayores. Hoy, poner fin al envejecimiento y la enfermedad parece utópico. Pero desde el punto de vista de computadoras tal como existían en 1945, en la era moderna, el hecho de poner chips en casi todo habría parecido utópico: incluso las películas de ciencia ficción a menudo mantenían sus computadoras del tamaño de una habitación. Si la biotecnología avanza tanto en los próximos 75 años como avanzaron las computadoras en los últimos 75 años, el futuro puede ser más impresionante de lo que casi nadie espera.

Mientras tanto, los argumentos que expresan escepticismo sobre el progreso a menudo han llegado a lugares oscuros. Incluso los libros de texto médicos, como este en la década de 1990 (crédito Emma Szewczakpara encontrarlo), a veces hacen afirmaciones extremas negando el valor de dos siglos de ciencia médica e incluso argumentando que no es obviamente bueno salvar vidas humanas:

El "Límites al crecimiento"tesis, una idea avanzada en la década de 1970 que argumentaba que la creciente población y la industria eventualmente agotarían los recursos limitados de la Tierra, terminó inspirandoPolítica de un solo hijo de China y esterilizaciones forzadas masivas en la IndiaEn épocas anteriores, las preocupaciones sobre la superpoblación se utilizaban para justificarmasaasesinato. Y esas ideas, argumentadas desde 1798, tienen una larga historia de siendo demostrado equivocado.

Es por razones como estas que, como punto de partida, me siento muy incómodo con los argumentos para frenar la tecnología o el progreso humano. Dado lo interconectados que están todos los sectores, incluso los retrasos sectoriales son arriesgados. Y así, cuando escribo cosas como lo que diré más adelante en esta publicación, apartándome del entusiasmo abierto por el progreso sin importar su forma, esas son afirmaciones que hago con el corazón apesadumbrado, y sin embargo, el siglo XXI es lo bastante diferente y único como para que estos matices merezcan ser considerados.

Dicho esto, hay un punto importante de matiz que se debe hacer en el panorama más amplio, particularmente cuando dejamos de lado "la tecnología en su conjunto es buena" y llegamos al tema de "¿qué tecnologías específicas son buenas?". Y aquí tenemos que llegar al tema que más preocupa a muchas personas: el medio ambiente.

El entorno y la importancia de la intención coordinada

A excepción importantea la tendencia de que prácticamente todo mejora en los últimos cien años es el cambio climático:

Incluso los escenarios pesimistas de aumentos de temperatura en curso no se acercarían en absoluto a causar la extinción literal de la humanidad. Pero dichos escenarios podrían matar plausiblemente a más personas que las grandes guerras, y dañar gravemente la salud y los medios de vida de las personas en las regiones donde ya están luchando al máximo.Un estudio del instituto Swiss Resugiere que un escenario de cambio climático en el peor de los casos podría reducir el PIB de los países más pobres del mundo en hasta un 25%.Este estudiosugiere que la esperanza de vida en la India rural podría ser una década menor de lo que sería de otra manera, y estudios como este y este unosugiere que el cambio climático podría causar cien millones de muertes en exceso para el final del siglo.

Estos problemas son un gran problema. Mi respuesta a por qué soy optimista sobre nuestra capacidad de superar estos desafíos es doble. Primero, después de décadas de exageración y pensamiento ilusorio, energía solaresfinalmentegirandouna esquina, y tecnologías de apoyo como las bateríasestán haciendo un progreso similar. En segundo lugar, podemos analizar el historial de la humanidad en la resolución de problemas ambientales anteriores. Tomemos, por ejemplo, la contaminación del aire. Conozcamos la distopía del pasado: la Gran Niebla de Londres, 1952.

¿Qué ha pasado desde entonces? Preguntémosle de nuevo a Our World In Data:

Resulta que 1952 ni siquiera fue el pico: a finales del siglo XIX, concentraciones aún más altas de contaminantes atmosféricos eran simplemente aceptadas y normales. Desde entonces, hemos visto un siglo de declives continuos y rápidos. Tuve la oportunidad de experimentar personalmente el final de esto en mis visitas a China: en 2014, altos niveles de smog en el aire, estimado a reducir la esperanza de vida en más de cinco años, eran normales, pero para 2020, el aire a menudo parecía tan limpio como en muchas ciudades occidentales. Esta no es nuestra única historia de éxito. En muchas partes del mundo, las áreas forestales están aumentando. La crisis de la lluvia ácida está mejorando. La la capa de ozono ha estado recuperándosedurante décadas.

Para mí, la moraleja de la historia es esta. A menudo, realmente es el caso de que la versión N de la tecnología de nuestra civilización causa un problema, y la versión N+1 lo soluciona. Sin embargo, esto no sucede automáticamente y requiere un esfuerzo humano intencional. La capa de ozono se está recuperando porque, a través de acuerdos internacionales como el Protocolo de Montreal, lo logramos recuperar. La contaminación del aire está mejorando porque la hicimos mejorar. Y de manera similar, los paneles solares no han mejorado masivamente porque era una parte predestinada del árbol tecnológico energético; los paneles solares han mejorado masivamente porque décadas de conciencia sobre la importancia de resolver el cambio climático han motivado tanto a ingenieros a trabajar en el problema, como a empresas y gobiernos a financiar su investigación. Es una acción intencional, coordinada a través del discurso público y la cultura que da forma a las perspectivas de gobiernos, científicos, filántropos y empresas, y no un inexorable "máquina tecno-capital", que había resuelto estos problemas.

La inteligencia artificial es fundamentalmente diferente de otras tecnologías, y merece ser tratada de manera única con cuidado

Muchas de las opiniones despectivas que he visto sobre la IA provienen de la perspectiva de que es "solo otra tecnología": algo que está en la misma clase general que las redes sociales, el cifrado, la anticoncepción, los teléfonos, los aviones, las armas, la imprenta y la rueda. Estas cosas son claramente muy importantes socialmente. No son solo mejoras aisladas para el bienestar de los individuos: transforman radicalmente la cultura, cambian los equilibrios de poder y dañan a las personas que dependían en gran medida del orden anterior. Mucho se opusieron a ellosY en general, los pesimistas siempre han resultado estar equivocados.

Pero hay una forma diferente de pensar en lo que es la IA: es un nuevo tipo de mente que está ganando rápidamente en inteligencia, y tiene una seria posibilidad de superar las facultades mentales de los humanos y convertirse en la nueva especie dominante en el planeta. La clase de cosas en esa categoría es mucho más pequeña: podríamos incluir plausiblemente a los humanos superando a los monos, la vida multicelular superando a la vida unicelular, el origen de la vida mismay tal vez la Revolución Industrial, en la que la máquina superó al hombre en fuerza física. De repente, se siente como si estuviéramos caminando sobre un terreno mucho menos trillado.

El riesgo existencial es un gran problema

Una forma en que la IA mal interpretada podría empeorar el mundo escasi) la peor manera posible: podría Literalmente causar la extinción humana. Esta es una afirmación extrema: por mucho daño que pueda causar el peor escenario del cambio climático, o una pandemia artificial o una guerra nuclear, hay muchas islas de civilización que permanecerían intactas para recoger los pedazos. Pero una IA superinteligente, si decide volverse contra nosotros, bien puede no dejar supervivientes y acabar con la humanidad para siempre. Aun MARSpuede no ser seguro.

Una gran razón para preocuparse gira en torno aconvergencia instrumental: para una amplia clase de objetivos que una entidad superinteligente podría tener, dos pasos intermedios muy naturales que la IA podría tomar para lograr mejor esos objetivos son (i) consumir recursos y (ii) garantizar su seguridad. La Tierra contiene muchos recursos y los humanos son un amenaza predeciblea la seguridad de tal entidad. Podríamos intentar darle a la IA un objetivo explícito de amar y proteger a los humanos, pero tenemos Ni ideacómorealmente hacer esode una manera que no se rompa por completo tan pronto como la IAse encuentra con una situación inesperada. Ergo, tenemos un problema.

Intento del investigador de MIRI Rob Bensingeral ilustrar las diferentes estimaciones de las personas sobre la probabilidad de que la IA mate a todos o haga algo casi tan malo. Muchas de las posiciones son aproximaciones aproximadas basadas en las declaraciones públicas de las personas, pero muchas otras han dado públicamente sus estimaciones precisas; bastantes tienen una "probabilidad de perdición" superior al 25%.

Una encuesta de investigadores de aprendizaje automático de 2022 mostró que, en promedio, los investigadores piensan que hay un 5-10% de posibilidades de que la IA literalmente nos mate a todos: aproximadamente la misma probabilidad que la probabilidad estadísticamente esperada de que morirás por causas no biológicas como lesiones.

Esta es simplemente una hipótesis especulativa, y todos deberíamos ser cautelosos con las hipótesis especulativas que implican historias complejas de múltiples pasos. Sin embargo, estos argumentos han sobrevivido más de una década de escrutinio, por lo que parece que vale la pena preocuparse al menos un poco. Pero incluso si no estás preocupado por la extinción literal, también hay otras razones para asustarse.

Incluso si sobrevivimos, ¿es un futuro de inteligencia artificial superinteligente un mundo en el que queremos vivir?

Mucha ciencia ficción moderna es distópica y presenta a la inteligencia artificial de forma negativa. Incluso los intentos no pertenecientes a la ciencia ficción de identificar posibles futuros de la IA a menudo dan respuestas bastante poco atractivas. Así que me puse a hacer la pregunta: ¿qué es una representación, ya sea de ciencia ficción o de otro tipo, de un futuro que contenga IA superinteligente en la que querríamos vivir? La respuesta que más ha respondido, con diferencia, es la de Iain Banks Serie Cultura.

La serie Culture presenta una civilización interestelar de un futuro lejano principalmente ocupada por dos tipos de actores: humanos regulares y superinteligencias llamadas Mentes. Los humanos han sido mejorados, pero solo ligeramente: la tecnología médica teóricamente permite a los humanos vivir indefinidamente, pero la mayoría elige vivir solo alrededor de 400 años, aparentemente porque se aburren de la vida en ese punto.

Desde una perspectiva superficial, la vida como humano parece ser buena: es cómoda, los problemas de salud están atendidos, hay una amplia variedad de opciones para el entretenimiento, y hay una relación positiva y sinérgica entre los humanos y las Mentes. Sin embargo, cuando miramos más profundamente, hay un problema: parece que las Mentes están completamente a cargo, y el único papel de los humanos en las historias es actuar como peones de las Mentes, realizando tareas en su nombre.

Cotizando desde“Contra la Cultura” de Gavin Leech:

Los humanos no son los protagonistas. Incluso cuando los libros parecen tener un protagonista humano, haciendo cosas grandes y serias, en realidad son el agente de una IA. (Zakalwe es una de las únicas excepciones, porque puede hacer cosas inmorales que las Mentes no quieren hacer.) "Las Mentes en la Cultura no necesitan a los humanos, y sin embargo los humanos necesitan ser necesitados." (Creo que solo un pequeño número de humanos necesita ser necesitado, o solo un pequeño número de ellos lo necesita lo suficiente como para renunciar a muchos confortes. La mayoría de la gente no vive en esta escala. Aún así, es una crítica válida.)

Los proyectos que emprenden los humanos corren el riesgo de ser inauténticos. Casi cualquier cosa que hagan, una máquina podría hacerlo mejor. ¿Qué puedes hacer? Puedes ordenar a la Mente que no te atrape si te caes del acantilado que estás escalando, solo porque sí; Puedes eliminar las copias de seguridad de tu mente para que realmente te arriesgues. También puedes simplemente abandonar la Cultura y volver a unirte a alguna civilización anticuada y no libre "fuertemente evaluativa". La alternativa es evangelizar la libertad uniéndote a Contact.

Yo argumentaría que incluso los roles "significativos" que se les dan a los humanos en la serie Culture son una exageración; le pregunté a ChatGPT (¿quién más?) por qué se les dan a los humanos los roles que tienen, en lugar de que las Mentes hagan todo completamente por sí mismas, y personalmente encontré sus respuestasbastante decepcionante. Parece muy difícil tener un mundo dominado por una superinteligencia amigable en el que los humanos sean algo más que mascotas.

El mundo que no quiero ver.

Muchas otras series de ciencia ficción plantean un mundo donde existen IA superinteligentes, pero reciben órdenes de maestros humanos biológicos (no mejorados). Star Trek es un buen ejemplo, mostrando una visión de armonía entre las naves estelares con sus AI "computadoras" (and Datos) y sus tripulantes operadores humanos. Sin embargo, esto se siente como un equilibrio increíblemente inestable. El mundo de Star Trek parece idílico en el momento, pero es difícil imaginar su visión de las relaciones entre humanos y la IA como cualquier cosa menos una etapa de transición una década antes de que las naves estelares sean controladas completamente por computadora, y puedan dejar de preocuparse por los pasillos grandes, la gravedad artificial y el control del clima.

Un humano que diera órdenes a una máquina superinteligente sería mucho menos inteligente que la máquina, y tendría acceso a menos información. En un universo que tiene algún grado de competencia, las civilizaciones en las que los humanos pasan a un segundo plano superarían a aquellas en las que los humanos insisten obstinadamente en el control. Además, las propias computadoras pueden arrebatar el control. Para ver por qué, imagina que eres legalmente un esclavo literal de un niño de ocho años. Si pudieras hablar con el niño durante mucho tiempo, ¿crees que podrías convencerlo de que firme un pedazo de papel que te libere? No he llevado a cabo este experimento, pero mi respuesta instintiva es un rotundo sí. Y así, en general, el hecho de que los humanos se conviertan en mascotas parece un atractor del que es muy difícil escapar.

El cielo está cerca, el emperador está en todas partes

El proverbio chino 天高皇帝远 (“tian gao huang di yuan”), “el cielo es alto, el emperador está lejos”, encapsula un hecho básico sobre los límites de la centralización en la política. Incluso en un imperio nominalmente grande y despótico - de hecho, especialmente si el imperio despótico es grande, hay límites prácticos para el alcance y la atención del liderazgo, la necesidad del liderazgo de delegar en agentes locales para hacer cumplir su voluntad diluye su capacidad para hacer cumplir sus intenciones, y por lo tanto siempre hay lugares donde reina un cierto grado de libertad práctica. A veces, esto puede tener desventajas: la ausencia de un poder lejano que haga cumplir principios y leyes uniformes puede crear espacio para que los hegemones locales roben y opriman. Pero si el poder centralizado se corrompe, las limitaciones prácticas de atención y distancia pueden crear límites prácticos sobre lo malo que puede llegar a ser.

Con la IA, ya no. En el siglo XX, la tecnología moderna de transporte hizo que las limitaciones de distancia fueran una restricción mucho más débil para el poder centralizado que antes; Los grandes imperios totalitarios de la década de 1940 fueron, en parte, un resultado. En el siglo XXI, la recopilación de información escalable y la automatización pueden significar que la atención ya no será una limitación. Las consecuencias de que los límites naturales del gobierno desaparezcan por completo podrían ser nefastas.

La autoridad digital ha sido en alza durante una década, y la tecnología de vigilancia ya ha proporcionado a los gobiernos autoritarios nuevas estrategias poderosas para reprimir la oposición: permitir que ocurran las protestas, pero luego detectar y ir traslos participantesdespués del hecho. Más en general, mi miedo básico es que los mismos tipos de tecnologías gerenciales que permiten a OpenAI atender a más de cien millones de clientes con 500 empleadostambién permitirá a una élite política de 500 personas, o incluso a una junta de 5 personas, mantener un puño de hierro sobre todo un país. Con la vigilancia moderna para recopilar información, y la inteligencia artificial moderna para interpretarla, puede que no haya lugar donde esconderse.

Se pone peor cuando pensamos en las consecuencias de la IA en la guerra. Citando a publicación semi-famosasobre la filosofía de la IA y las criptomonedas por0xAlpha:

Cuando no hay necesidad de trabajo político-ideológico y movilización para la guerra, el comandante supremo de la guerra solo necesita considerar la situación en sí misma como si fuera un juego de ajedrez y ignorar por completo los pensamientos y emociones de los peones/caballos/torres en el tablero de ajedrez. La guerra se convierte en un juego puramente tecnológico.

Además, el trabajo político-ideológico y la movilización bélica requieren una justificación para que cualquiera pueda hacer la guerra. No subestimes la importancia de tal "justificación". Ha sido una restricción de legitimidad en las guerras de la sociedad humana durante miles de años. Cualquiera que quiera hacer la guerra tiene que tener una razón, o al menos una excusa superficialmente justificable. Se podría argumentar que esta restricción es tan débil porque, en muchos casos, esto no ha sido más que una excusa. Por ejemplo, algunas (si no todas) de las Cruzadas fueron realmente para ocupar tierras y robar riquezas, pero tuvieron que hacerse en nombre de Dios, incluso si la ciudad que estaba siendo robada era la Constantinopla de Dios. Sin embargo, ¡incluso una restricción débil sigue siendo una restricción! Este pequeño requisito de excusa por sí solo impide que los hacedores de la guerra sean completamente inescrupulosos en el logro de sus objetivos. Incluso un malvado como Hitler no podía lanzar una guerra de buenas a primeras: primero tuvo que pasar años tratando de convencer a la nación alemana de que luchara por el espacio vital para la noble raza aria.

Hoy, el "humano en el circuito" sirve como una importante verificación del poder de un dictador para iniciar guerras, o para oprimir a sus ciudadanos internamente. Los humanos en el circuito tienen impedidosnuclearguerras, permitió la apertura del muro de Berlín, y salvó vidas durante atrocidadescomoel Holocaust. Si los ejércitos son robots, esta verificación desaparece por completo. Un dictador podría emborracharse a las 10 p. m., enojarse con las personas que le molestan en Twitter a las 11 p. m., y una flota de invasión robótica podría cruzar la frontera para sembrar el infierno sobre los civiles y la infraestructura de una nación vecina antes de la medianoche.

Y a diferencia de épocas anteriores, donde siempre hay algún rincón distante, donde el cielo es alto y el emperador está lejos, donde los opositores de un régimen podrían reagruparse y esconderse y eventualmente encontrar una forma de mejorar las cosas, con la IA del siglo XXI un régimen totalitario bien podría mantener suficiente vigilancia y control sobre el mundo para permanecer "encerrado" para siempre.

d/acc: Defensa (o descentralización, o aceleración diferencial)

Durante los últimos meses, el movimiento “e/acc” (“aceleracionista efectivo”) ha ganado mucho impulso.Resumido por 'Beff Jezos' aquí, e/acc se trata fundamentalmente de apreciar los enormes beneficios reales del progreso tecnológico y de desear acelerar esta tendencia para llevar esos beneficios antes.

Me encuentro simpático a la perspectiva e/acc en muchos contextos. Hay mucha evidencia que la FDA es demasiado conservadoraen su disposición para retrasar o bloquear la aprobación de medicamentos, y la bioética en general, a menudo parece operar por el principio de que "20 personas muertas en un experimento médico fallido es una tragedia, pero 200000 personas muertas a causa de la demora en los tratamientos que salvan vidas es una estadística". Los retrasos en la aprobación pruebas de covid y vacunas, y vacunas contra la malaria, parecen confirmar aún más esto. Sin embargo, es posible llevar esta perspectiva demasiado lejos.

Además de mis preocupaciones relacionadas con la IA, me siento particularmente ambivalente acerca de la e/acc entusiasmoparatecnología militarEn el contexto actual en 2023, donde esta tecnología está siendo desarrollada por los Estados Unidos y aplicada inmediatamente para defender a Ucrania, es fácil ver cómo puede ser una fuerza para el bien. Sin embargo, al tomar una visión más amplia, el entusiasmo sobre la tecnología militar moderna como una fuerza para el bien parece requerir creer que la potencia tecnológica dominante será confiablemente uno de los buenos en la mayoría de los conflictos, ahora y en el futuro: la tecnología militar es buena porque está siendo construida y controlada por América y América es buena. ¿Ser un e/acc requiere ser un maximalista de América, apostando todo tanto en la moral presente y futura del gobierno como en el éxito futuro del país?

Por otro lado, veo la necesidad de nuevos enfoques en el pensamiento sobre cómo reducir estos riesgos. La Estructura de gobernanza de OpenAIes un buen ejemplo: parece un esfuerzo bien intencionado para equilibrar la necesidad de obtener ganancias para satisfacer a los inversores que proporcionan el capital inicial con el deseo de tener un mecanismo de control para contrarrestar movimientos que puedan poner en riesgo que Gate explote el mundo. En la práctica, sin embargo, su reciente intentar despedir a Sam Altmanhace que la estructura parezca un fracaso absoluto: centralizó el poder en una junta de cinco personas no democrática e incontrolable, que tomaba decisiones clave basadas en información secreta y se negaba a dar detalles sobre su razonamientohasta que los empleados amenazaron con renunciaren-masse. De alguna manera, la junta sin fines de lucro jugó tan mal sus cartas que los empleados de la empresa creadounaunión de facto improvisada... apoyar al CEO multimillonario en su contra.

En general, veo demasiados planes para salvar al mundo que implican dar a un pequeño grupo de personas un poder extremo y opaco, y esperar que lo usen sabiamente. Por lo tanto, me siento atraído por una filosofía diferente, que tiene ideas detalladas sobre cómo lidiar con los riesgos, pero que busca crear y mantener un mundo más democrático e intenta evitar la centralización como la solución predeterminada a nuestros problemas. Esta filosofía también abarca mucho más que la inteligencia artificial, y sostendría que se aplica incluso en mundos donde las preocupaciones sobre el riesgo de la inteligencia artificial resultan ser en gran medida infundadas. Me referiré a esta filosofía con el nombre de d/acc.

dacc3

La "d" aquí puede representar muchas cosas; particularmente, defensa, descentralización, democracia y diferencial. Primero, piénsalo en términos de defensa, y luego podemos ver cómo esto se relaciona con las otras interpretaciones.

Mundos que favorecen la defensa ayudan a que la gobernanza sana y democrática prospere

Un marco para pensar en las consecuencias macro de la tecnología es observar el equilibrio entre defensa y ofensiva. Algunas tecnologías facilitan atacar a otros, en el sentido amplio del término: hacer cosas que van en contra de sus intereses, a las que sienten la necesidad de reaccionar. Otras facilitan la defensa, e incluso defender sin depender de actores centralizados grandes.

Un mundo que favorece la defensa es un mundo mejor, por muchas razones. Primero, por supuesto, está el beneficio directo de la seguridad: menos personas mueren, se destruye menos valor económico, se pierde menos tiempo en conflictos. Sin embargo, lo que se valora menos es que un mundo que favorece la defensa facilita que prosperen formas de gobierno más saludables, abiertas y respetuosas de la libertad.

Un ejemplo obvio de esto es Suiza. Suiza es a menudo considerada como la cosa más cercana que el mundo real tiene a una utopía de gobernanza liberal clásica. Grandes cantidades de poder se delegan a provincias (llamadas "cantones"), las decisiones importantes son decidido por referendos, y muchos lugareños ni siquiera sé quién es el presidente. ¿Cómo puede sobrevivir un país como este extremadamente desafiantepolíticopresiones? Part of the respuestaesexcelente estrategia política, pero la otra parte importante es geografía muy favorable a la defensa) en forma de su terreno montañoso.

La bandera es una gran ventaja. Pero también lo son las montañas.

Sociedades anarquistas en Zomia, famosamente perfiladas en el nuevo libro de James C. Scott "El arte de no ser gobernado", son otro ejemplo: también mantienen su libertad e independencia en gran parte gracias al terreno montañoso. Mientras tanto, las estepas euroasiáticas son lo opuesto exacto de una utopía de gobernanza. Exposición de Sarah Paine de potencias marítimas versus continentaleshace puntos similares, aunque centrándose en el agua como barrera defensiva en lugar de las montañas. De hecho, la combinación de facilidad de comercio voluntario y dificultad de invasión involuntaria, común tanto en Suiza como en los estados insulares, parece ideal para el florecimiento humano.

Descubrí un fenómeno relacionado al asesorar experimentos de financiamiento cuadrático dentro del ecosistema de Ethereum: específicamente el Rondas de financiamiento de subvenciones de GitcoinEnronda 4, surgió un mini-escándalo cuando algunos de los destinatarios que más ganaban eran influencers de Twitter, cuyas contribuciones son vistas por algunos como positivas y por otros como negativas. Mi propia interpretación de este fenómeno fue que hay un desequilibrio: financiación cuadrática permite señalar que piensas que algo es un bien público, pero no proporciona ninguna forma de señalar que algo es un mal público. En el extremo, un sistema de financiación cuadrática plenamente neutral financiaría ambos lados de una guerra. Y así para ronda 5, Propuse que Gitcoin debería incluir contribuciones negativas: pagas $1 para reducir la cantidad de dinero que recibe un proyecto dado (e implícitamente redistribuirlo a todos los demás proyectos). El resultado: muchosdepersonasodiadoeso.

Uno de los muchos memes de internet que circulaban después de la ronda 5.

Esto me pareció ser un microcosmos de un patrón más grande: crear mecanismos de gobernanza descentralizada para lidiar con externalidades negativas es socialmente un problema muy difícil. Hay una razón por la cual el ejemplo por defecto de gobernanza descentralizada que sale mal es la justicia por propia mano. Hay algo sobre psicología humanaEso hace que responder a los aspectos negativos sea mucho más complicado y mucho más probable que salga muy mal que responder a los aspectos positivos. Y esta es una razón por la cual, incluso en organizaciones por lo demás altamente democráticas, las decisiones sobre cómo responder a los aspectos negativos a menudo se dejan en manos de una junta centralizada.

En muchos casos, este dilema es una de las razones profundas por las cuales el concepto de 'libertad' es tan valioso. Si alguien dice algo que te ofende, o tiene un estilo de vida que consideras asqueroso, el dolor y disgusto que sientes es real, e incluso podrías encontrar menos malo que te golpeen físicamente que estar expuesto a tales cosas. Pero intentar ponernos de acuerdo en qué tipo de ofensa y disgusto son socialmente accionables puede tener muchos más costos y peligros que simplemente recordarnos a nosotros mismos que ciertos tipos de raros y cretinos son el precio que pagamos por vivir en una sociedad libre.

En otras ocasiones, sin embargo, el enfoque de "aguantar y soportar" es irrealista. Y en tales casos, otra respuesta que a veces vale la pena considerar es la tecnología defensiva. Cuanto más seguro esté internet, menos necesitamos violar la privacidad de las personas y utilizar tácticas diplomáticas internacionales dudosas para perseguir a cada hacker individual. Cuanto más podamos construir herramientas personalizadas para bloquear personas en Twitter, herramientas en el navegador para detectar estafas y herramientas colectivas para distinguir la desinformación y verdad, cuanto menos tengamos que luchar contra la censura. Cuanto más rápido podamos fabricar vacunas, menos tendremos que perseguir a las personas por ser supercontagiadores. Tales soluciones no funcionan en todos los ámbitos; ciertamente no queremos un mundo en el que todos tengan que llevar armaduras corporales literales; pero en los ámbitos donde podemos construir tecnología para que el mundo sea más favorable a la defensa, hay un valor enorme en hacerlo.

Esta idea central, que algunas tecnologías favorecen la defensa y merecen ser promovidas, mientras que otras tecnologías favorecen el ataque y deberían desalentarse, tiene sus raíces en la literatura del altruismo efectivo bajo un nombre diferente: desarrollo tecnológico diferencial. Hay una buenaexposición de este principio de investigadores de la Universidad de Oxforddesde 2022:

Figura 1: Mecanismos por los cuales el desarrollo tecnológico diferencial puede reducir los impactos negativos en la sociedad.

Inevitablemente habrá imperfecciones en la clasificación de las tecnologías como ofensivas, defensivas o neutrales. Al igual que con la “libertad”, donde se puede debatir si las políticas gubernamentales socialdemócratas disminuyen la libertad al imponer impuestos elevados y coaccionar a los empleadores o aumentan la libertad al reducir la necesidad de preocuparse de muchas clases de riesgos para la gente común, con la “defensa” también hay tecnologías que podrían ubicarse en ambos lados del espectro. Las armas nucleares favorecen la ofensiva, pero la energía nuclear es favorando-el-florecimiento-humanoy ofensa-defensa-neutral. Diferentes tecnologías pueden desempeñar diferentes roles en diferentes horizontes temporales. Pero al igual que con “libertad” (o “igualdad”, o “estado de derecho”), la ambigüedad en los límites no es tanto un argumento en contra del principio, como una oportunidad para comprender mejor sus matices.

Ahora, veamos cómo aplicar este principio a una visión del mundo más amplia. Podemos pensar en tecnología defensiva, como otra tecnología, al dividirse en dos esferas: el mundo de los átomos y el mundo de los bits. El mundo de los átomos, a su vez, puede dividirse en micro (es decir, biología, posteriormente nanotecnología) y macro (es decir, lo que convencionalmente pensamos como 'defensa', pero también infraestructura física resistente). El mundo de los bits lo dividiré en un eje diferente: ¿qué tan difícil es acordar, en principio, quién es el atacante?. A veces es fácil; a esto lo llamo defensa cibernética. Otras veces es más difícil; a esto lo llamo defensa de la información.

Defensa física macro

La tecnología defensiva más subestimada en la esfera macro no es ni siquieradomos de hierro (incluyendo El nuevo sistema de Ucrania) y otro hardware militar antimisiles y antitecnológico, sino de una infraestructura física resistente. La mayoría de las muertes en una guerra nuclear probablemente provengan dedisrupciones en la cadena de suministro, en lugar de la radiación inicial y la explosión, y soluciones de internet de baja infraestructura como Starlink han sido cruciales en mantener la conectividad de Ucraniadurante el último año y medio.

Construir herramientas para ayudar a las personas a sobrevivir e incluso vivir vidas cómodas de forma independiente o semi-independiente de largas cadenas de suministro internacionales parece ser una tecnología defensiva valiosa, y una con bajo riesgo de resultar útil para la ofensiva.

La búsqueda de hacer que la humanidad sea una civilización multiplanetariatambién se puede ver desde una perspectiva de d/acc: tener al menos algunos de nosotros viviendo de manera autosuficiente en otros planetas puede aumentar nuestra resiliencia contra algo terrible que suceda en la Tierra. Incluso si la visión completa resulta inviable por el momento, las formas de vida autosuficiente que se necesitarán desarrollar para hacer posible dicho proyecto bien podrían también ser utilizadas para ayudar a mejorar nuestra resiliencia civilizatoria en la Tierra.

Defensa microfísica (también conocida como bio)

Especialmente debido a su efectos a largo plazo en la salud, Covid continúa siendo un preocupación. Pero Covid está lejos de ser la última pandemia a la que nos enfrentaremos; hay muchos aspectos del mundo moderno que hacen probable que pronto haya más pandemias:

• Una mayor densidad de población facilita en gran medida la propagación de virus transmitidos por el aire y otros patógenos. Las enfermedades epidémicas son relativamente nuevas en la historia humana y la mayoría comenzaron con la urbanización.solo hace unos pocos milenios. Urbanización rápida en cursosignifica que las densidades de población aumentarán aún más en el próximo medio siglo.
• El aumento de los viajes aéreos significa que los patógenos transportados por el aire se propagan muy rápidamente en todo el mundo. La rápida prosperidad de las personas significa que es probable que los viajes aéreos aumentar mucho másen las próximas cinco décadas; la modelización de la complejidad sugiere que incluso pequeños aumentospueden tener efectos drásticos. El cambio climático podría aumentar este riesgo aún más.
• La domesticación de animales y la cría intensiva son importantes factores de riesgo. Sarampión Probablemente evolucionó a partir de un virus de vaca hace menos de 3000 años. Las granjas industriales de hoytambién están cultivando nuevas cepas de influenza (así como alimentando la resistencia a los antibióticos, con consecuencias para inmunidad innata humana).
• La bioingeniería moderna facilita la creación de patógenos nuevos y más virulentos. COVID puede o no haber filtradodesde un laboratorio que realiza investigaciones intencionales de “ganancia de función”. Independientemente,las fugas de laboratorio ocurren todo el tiempo, y las herramientas están mejorando rápidamente para facilitar la creación intencionada de virus extremadamente mortales, o incluso priones (proteínas zombie). Las plagas artificiales son particularmente preocupantes en parte porque a diferencia de las armas nucleares, son inatribuibles: puedes liberar un virus sin que nadie pueda decir quién lo creó. Es posible en este momento diseñar una secuencia genética y enviarla a laboratorio húmedopara la síntesis, y que se lo envíen en un plazo de cinco días.

Esta es un área donde CryptoReliefyBalvi, dos organizaciones creadas y financiadas como resultado de un gran accidente viento de monedas Shiba Inuen 2021, han sido muy activos. CryptoRelief inicialmente se centró en responder a la crisis inmediata y más recientemente ha estado construyendo un ecosistema de investigación médica a largo plazo en India, mientras que Balvi se ha centrado en proyectos ambiciosos para mejorar nuestra capacidad para detectar, prevenir y tratar Covid y otras enfermedades transmitidas por el aire. ++Balvi ha insistido en que los proyectos que financia deben ser de código abierto++. Tomando inspiración deel movimiento de ingeniería hidráulica del siglo XIX que derrotó al cóleray otros patógenos transmitidos por el agua, ha financiado proyectos en todo el espectro de tecnologías que pueden hacer que el mundo sea más resistente contra los patógenos transmitidos por aire por defecto (ver: actualización 1yactualización 2) , incluyendo:

• Far-UVCirradiaciónR&D
• Filtrado de aire y monitoreo de calidad en India, Sri Lanka, los Estados Unidosy en otros lugares, y monitoreo de calidad del aire
• Equipo para barato y eficazprueba de calidad del aire descentralizada
• Investigación sobre las causas y posibles opciones de tratamiento de la Covid persistente (la causa principal puede serdirectoperomecanismos de aclaracióny encontrar tratamiento es más difícil)
• Vacunas (por ejemplo, RaDVaC, PopVax) y la investigación de lesiones causadas por vacunas
• Un conjunto de herramientas médicas completamente novedosas no invasivas
• Detección temprana de epidemias utilizando análisis de datos de código abierto (por ejemplo, EPIWATCH)
• Pruebas, incluidas pruebas rápidas moleculares muy económicas
• Mascarillas adecuadas para la biosseguridad cuando fallan otros enfoques

Otras áreas prometedoras de interés incluyen vigilancia de aguas residuales de patógenos, mejorar la filtración y ventilación en edificios, y una mejor comprensión y mitigación riesgos por mala calidad del aire.

Hay una oportunidad deconstruir un mundoque está mucho más endurecido contra pandemias transmitidas por el aire, tanto naturales como artificiales, por defecto. Este mundo contaría con un sistema altamente optimizado en el que podemos pasar de un inicio de pandemia, a ser detectado automáticamente, a que las personas de todo el mundo tengan acceso a medidas específicas,vacunas de código abierto verificables y fabricables localmenteootros profilácticos, administrado a través denebulizaciónospray nasal(significado: autoadministrable si es necesario, y no se requieren agujas), todo dentro de un mes. Mientras tanto, una calidad del aire mucho mejor reduciría drásticamente la tasa de propagación y evitaría que muchas pandemias se desarrollen en absoluto.

Imagina un futuro que no tenga que recurrir al mazo de la compulsión social - sin mandatos y peor, y sin riesgo de mandatos mal diseñados e implementados que probablemente empeoran las cosas- porque la infraestructura de la salud pública está tejida en el tejido de la civilización. Estos mundos son posibles, y una cantidad media de financiamiento en bio-defensa podría hacerlo realidad. El trabajo sería aún más fluido si los desarrollos son de código abierto, gratuitos para los usuarios y protegidos como bienes públicos.

Defensa cibernética, blockchains y criptografía

Es generalmente entendido entre los profesionales de la seguridad que el estado actual de la seguridad informática es bastante terrible. Dicho esto, es fácil subestimar la cantidad de progreso que se ha logrado. Cientos de miles de millones de dólares de criptomonedas están disponibles para robar de forma anónima por cualquier persona que pueda hackear las carteras de los usuarios, y mientras mucho más se pierde o se robamás de lo que me gustaría, también es un hecho que la mayor parte de ello ha permanecido sin robar durante más de una década. Recientemente, ha habido mejoras:

• Chips de hardware de confianza dentro de los teléfonos de los usuarios, creando efectivamente un sistema operativo de alta seguridad mucho más pequeño dentro del teléfono que puede permanecer protegido incluso si el resto del teléfono es hackeado. Entre muchos otros casos de uso, estos chips se están explorando cada vez más como una forma de hacer más seguros monederos de criptomonedas.
• Navegadores como el sistema operativo de facto. En los últimos diez años, ha habido un cambio silencioso de aplicaciones descargables a aplicaciones en el navegador. Esto ha sido en gran medida posible gracias a WebAssembly (WASM)Incluso Adobe Photoshop, citado durante mucho tiempo como una de las principales razones por las que muchas personas no pueden usar Linux en la práctica debido a su necesidad e incompatibilidad con Linux, ahora es compatible con Linux gracias a estar dentro del navegador. Esto también es una gran ventaja en cuanto a seguridad: mientras los navegadores tienen fallos, en general, vienen con mucho más aislamiento que las aplicaciones instaladas: las aplicaciones no pueden acceder a archivos arbitrarios en tu computadora.
• Sistemas operativos endurecidos.GrapheneOSpara móviles existe y es muy utilizable.QubesOSpara escritorio existe; actualmente es algo menos utilizable que Graphene, al menos en mi experiencia, pero está mejorando.
• Intentos de superar las contraseñas. Las contraseñas son, desafortunadamente, difíciles de asegurar tanto porque son difíciles de recordar, como porque son fáciles de escuchar. Recientemente, ha habido un creciente movimiento hacia la reducción de énfasis en las contraseñas, y la implementación de autenticación basada en hardware de múltiples factoresen realidad funcionar.

Sin embargo, la falta de defensa cibernética en otros ámbitos también ha provocado grandes contratiempos. La necesidad de protegerse contra el spam ha llevado a que el correo electrónico se convierta en muy oligopólico en la práctica, lo que hace muy difícil autohospedarse o crear un nuevo proveedor de correo electrónico. Muchas aplicaciones en línea, incluyendo Twitter, están requiriendo que los usuarios inicien sesión para acceder al contenido y bloqueando IPs de VPN, lo que dificulta el acceso a Internet de una manera que protege la privacidad. La centralización del software también es arriesgada debido a"interdependencia armada": la tendencia de la tecnología moderna a pasar por puntos de estrangulamiento centralizados, y para que los operadores de esos puntos de estrangulamiento utilicen ese poder para recopilar información, manipular resultados o excluir actores específicos - una estrategia que parece incluso estar siendo empleada actualmentecontra la industria blockchain en sí misma.

Estas son tendencias preocupantes, porque amenaza lo que históricamente ha sido una de mis grandes esperanzas de por qué el futuro de la libertad y la privacidad, a pesar de los profundos compromisos, aún podría resultar brillante. En su libro "Futuro Imperfecto", David Friedman predice que podríamos obtener un futuro de compromiso: el mundo en persona sería cada vez más vigilado, pero a través de la criptografía, el mundo en línea conservaría, e incluso mejorarla, su privacidad. Desafortunadamente, como hemos visto, tal contra tendencia está lejos de estar garantizada.

Esta es donde pongo mi propio énfasis en tecnologías criptográficas como blockchains y pruebas de conocimiento ceroviene en. Las cadenas de bloques nos permiten crear estructuras económicas y sociales con un "disco duro compartido" sin depender de actores centralizados. Las criptomonedas permiten a las personas ahorrar dinero y realizar transacciones financieras, como podían hacerlo antes de internet con efectivo, sin depender de terceros de confianza que podrían cambiar sus reglas a su antojo. También pueden servir como un mecanismo anti-sybil de respaldo.haciendo que los ataques y el spam sean costososincluso para usuarios que no tienen o no quieren revelar su identidad en el mundo real. La abstracción de cuentas, y especialmentebilleteras de recuperación social, puede proteger nuestros activos de criptomonedas, y potencialmente otros activos en el futuro, sin depender demasiado de intermediarios centralizados.

Las pruebas de conocimiento cero pueden ser utilizadas para privacidad, permitiendo a los usuarios demostrar cosas sobre sí mismos sin revelar información privada. Por ejemplo, envuelva un firma de pasaporte digitalen una ZK-SNARK para demostrar que eres un ciudadano único de un país determinado, sin revelar qué ciudadano eres. Tecnologías como esta nos permiten mantener los beneficios de la privacidad y el anonimato, propiedades que son ampliamente aceptadas como necesario para aplicaciones como votación- mientras se obtienen garantías de seguridad y se lucha contra el spam y los actores malintencionados.

Un diseño propuesto para un sistema de redes sociales ZK, donde las acciones de moderación pueden ocurrir y los usuarios pueden ser penalizados, todo sin necesidad de conocer la identidad de nadie.

Zupass, incubado en Zuzalua principios de este año, es un excelente ejemplo de esto en la práctica. Esta es una aplicación, que ya ha sido utilizada por cientos de personas en Zuzalu y más recientemente por miles de personas para la venta de entradas en Devconnect, que te permite mantener boletos, membresías, (no transferible) coleccionables digitales, y otras certificaciones, y demostrar cosas sobre todos ellos sin comprometer tu privacidad. Por ejemplo, puedes demostrar que eres un residente registrado único de Zuzalu, o un titular de boleto de Devconnect, sin revelar nada más sobre quién eres. Estas pruebas se pueden mostrar en persona, a través de un código QR, o digitalmente, para iniciar sesión en aplicaciones como Zupoll, un sistema de votación anonimizado disponible solo para los residentes de Zuzalu.

Estas tecnologías son un excelente ejemplo de principios de d/acc: permiten a los usuarios y comunidades verificar la confiabilidad sin comprometer la privacidad, y proteger su seguridad sin depender de puntos de estrangulamiento centralizados que imponen sus propias definiciones de quién es bueno y quién es malo. Mejoran la accesibilidad global al crear formas mejores y más justas de proteger la seguridad de un usuario o servicio que las técnicas comunes utilizadas hoy en día, como discriminar contra países enteros que se consideran no confiables. Estas son primitivas muy poderosas que podrían ser necesarias si queremos preservar una visión descentralizada de la seguridad de la información entrando en el siglo XXI. Trabajar en tecnologías defensivas para el ciberespacio de manera más amplia puede hacer que Internet sea más abierta, segura y libre de formas muy importantes en el futuro.

Info-defensa

La ciberdefensa, tal como la he descrito, se refiere a situaciones en las que es fácil para seres humanos razonables llegar a un consenso sobre quién es el atacante. Si alguien intenta hackear tu billetera, es fácil estar de acuerdo en que el hacker es el malo. Si alguien intenta un ataque de denegación de servicio (DoS) a un sitio web, es fácil estar de acuerdo en que están actuando de manera maliciosa y no son moralmente iguales a un usuario regular que intenta leer lo que está en el sitio. Hay otras situaciones donde las líneas son más difusas. Son las herramientas para mejorar nuestra defensa en estas situaciones las que yo llamo 'info-defensa'.

Tomemos, por ejemplo, la verificación de hechos (también conocida como prevención de “desinformación”). Soy un gran fan de las Notas de la Comunidad, que ha hecho mucho para ayudar a los usuarios a identificar verdades y falsedades en lo que otros usuarios están tuiteando. Community Notes utiliza un nuevo algoritmo que muestra no las notas que son las más populares, sino las notas que son más aprobadas por los usuarios en todo el espectro político.

Notas de la comunidad en acción.

También soy fan de los mercados de predicción, que pueden ayudar a identificar la importancia de los eventos en tiempo real, antes de que se asiente el polvo y haya consenso sobre qué dirección es cuál. Polymarket en Sam Altmanes muy útil para dar un resumen útil de las consecuencias últimas de las revelaciones y negociaciones hora por hora, proporcionando un contexto muy necesario a las personas que solo ven los elementos de noticias individuales y no entienden la importancia de cada uno.

Los mercados de predicción suelen tener defectos. Pero los influenciadores de Twitter que están dispuestos a expresar con confianza lo que ellos piensan que "sucederá" en el próximo año suelen ser aún más defectuosos. Todavía hay espacio para mejorar mucho más los mercados de predicción. Por ejemplo, una falla práctica importante de los mercados de predicción es su bajo volumen en todo menos en los eventos más destacados; una dirección natural para tratar de solucionar esto sería tener mercados de predicción en los que participen inteligencias artificiales.

Dentro del espacio de blockchain, hay un tipo particular de defensa de la información que creo que necesitamos mucho más. Específicamente, las carteras deberían ser mucho más opinativas y activas en ayudar a los usuarios a determinar el significado de las cosas que están firmando, y protegerlos de fraudes y estafas. Este es un caso intermedio: lo que es y no es una estafa es menos subjetivo que las perspectivas sobre eventos sociales controvertidos, pero es más subjetivo que distinguir entre usuarios legítimos y atacantes de DoS o hackers. Metamask ya tiene una base de datos de estafas y bloquea automáticamente a los usuarios que visitan sitios de estafas:

Aplicaciones como Fuegoson un ejemplo de una forma de ir mucho más lejos. Sin embargo, el software de seguridad como este no debería ser algo que requiera instalaciones explícitas; debería formar parte de las carteras de criptomonedas, o incluso de los navegadores, de forma predeterminada.

Debido a su naturaleza más subjetiva, la info-defensa es inherentemente más colectiva que la ciberdefensa: necesitas conectarte de alguna manera con un grupo grande y sofisticado de personas para identificar qué puede ser verdadero o falso, y qué tipo de aplicación es un ponzi engañoso. Hay una oportunidad para que los desarrolladores avancen mucho más en el desarrollo de una info-defensa efectiva, y en el fortalecimiento de las formas existentes de info-defensa. Algo como Notas de la Comunidad podría incluirse en los navegadores, y abarcar no solo plataformas de redes sociales sino también toda la internet.

Tecnología social más allá del marco de la “defensa”

Hasta cierto punto, puedo ser justamente acusado de forzar la descripción de algunas de estas tecnologías de la información como siendo sobre 'defensa'. Después de todo, la defensa se trata de ayudar a actores bien intencionados a protegerse de actores malintencionados (o, en algunos casos, de la naturaleza). Sin embargo, algunas de estas tecnologías sociales se tratan de ayudar a actores bien intencionados a formar consenso.

Un buen ejemplo de esto es pol.is, que utiliza un algoritmo similar a Notas de la Comunidad (y que precede a Notas de la Comunidad) para ayudar a las comunidades a identificar puntos de acuerdo entre subtribus que de otra manera estarían en desacuerdo en muchos aspectos. Viewpoints.xyzfue inspirado por pol.is, y tiene un espíritu similar:

Tecnologías como esta podrían ser utilizadas para permitir una gobernanza más descentralizada sobre decisiones conflictivas. Una vez más, las comunidades blockchain son un buen campo de pruebas para esto, y uno donde dichos algoritmos ya han demostrado ser valiosos. En general, las decisiones sobre qué mejoras (EIPs") para hacer al protocolo Ethereum son hechas por un grupo bastante pequeño en reuniones llamadas "Todas las llamadas de desarrolladores principales“. Para decisiones altamente técnicas, donde la mayoría de los miembros de la comunidad no tienen opiniones fuertes, esto funciona bastante bien. Para decisiones más importantes, que afectan la economía del protocolo, o valores más fundamentales como la inmutabilidad y la resistencia a la censura, esto a menudo no es suficiente. En 2016-17, cuando se tomaron una serie de decisiones controvertidas sobre la implementación del bifurcación de DAO, reduciendo emisión y (no) descongelando la billetera Parity, herramientas como Carbonvote, así como la votación en redes sociales, ayudaron a la comunidad y a los desarrolladores a ver hacia qué lado se inclinaba la opinión mayoritaria de la comunidad.

Votación de carbono sobre el tenedor de DAO.

Carbonvotetenía sus defectos: se basaba en la tenencia de ETH para determinar quién era miembro de la comunidad de Ethereum, lo que hacía que el resultado estuviera dominado por unos pocos titulares ricos de ETH ("ballenas"). Sin embargo, con herramientas modernas, podríamos hacer un Carbonvote mucho mejor, aprovechando múltiples señales como POAPs, sellos de Zupass, Pasaportes de Gitcoin, Protocol Guild membresías, así como las tenencias de ETH (o incluso ETH apostado en solitario) para evaluar la membresía de la comunidad.

Herramientas como esta podrían ser utilizadas por cualquier comunidad para tomar decisiones de mayor calidad, encontrar puntos en común, coordinar migraciones (físicas o digitales) u hacer una serie de otras cosas sin depender de un liderazgo centralizado opaco. Esto no es aceleración de defensa en sí misma, pero ciertamente se puede llamar aceleración de la democracia. Tales herramientas incluso podrían ser utilizadas para mejorar y democratizar la gobernanza de actores clave e instituciones que trabajan en IA.

Entonces, ¿cuáles son los caminos hacia adelante para la superinteligencia?

Todo lo anterior está bien y es bueno, y podría hacer del mundo un lugar mucho más armonioso, seguro y libre para el próximo siglo. Sin embargo, todavía no aborda el gran elefante en la habitación: la IA superinteligente.

La ruta predeterminada sugerida por muchos de aquellos que se preocupan por la IA conduce esencialmente a un gobierno mundial de IA mínimo. Las versiones a corto plazo de esto incluyen una propuesta para un consorcio AGI multinacional ("MAGIC"). Tal consorcio, si se establece y tiene éxito en sus objetivos de crear una IA superinteligente, tendría un camino natural para convertirse en un gobierno mundial mínimo de facto. A largo plazo, hay ideas como el "acto crucial"teoría: creamos una IA que realiza un solo acto único que reorganiza el mundo en un juego donde a partir de ese momento los humanos siguen a cargo, pero donde el tablero de juego favorece de alguna manera más la defensa y es más adecuado para el florecimiento humano.

El principal problema práctico que veo hasta ahora es que la gente parece no confiar realmente en ningún mecanismo de gobernanza específico con el poder de construir algo así. Este hecho se vuelve evidente cuando se observan los resultados de mis recientes encuestas en Twitter, preguntando si la gente preferiría ver la inteligencia artificial monopolizada por una única entidad con una ventaja de una década, o si la inteligencia artificial se retrasara una década para todos:

El tamaño de cada encuesta es pequeño, pero las encuestas compensan en la uniformidad de sus resultados en una amplia diversidad de fuentes y opciones. En nueve de cada nueve casos, la mayoría de las personas preferirían ver la IA altamente avanzada retrasada en una década en lugar de ser monopolizada por un solo grupo, ya sea una corporación, gobierno o entidad multinacional. En siete de cada nueve casos, el retraso ganó al menos dos a uno. Esto parece ser un hecho importante para entender para cualquiera que busque regular la IA. Los enfoques actuales se han centrado en la creación de esquemas de licencias y requisitos regulatorios, tratando de restringir el desarrollo de la IA a un número menor de personas, pero estos han visto una resistencia popular precisamente porque las personas no quieren ver que alguien monopolice algo tan poderoso. Incluso si dichas propuestas regulatorias de arriba hacia abajo reducen los riesgos de extinción, corren el riesgo de aumentar la posibilidad de algún tipo de encierro permanente en el totalitarismo centralizado. Paradójicamente, ¿podrían ser más populares los acuerdos que prohíben la investigación de IA extremadamente avanzada (quizás con excepciones para la IA biomédica), combinados con medidas como la obligación de código abierto para aquellos modelos que no están prohibidos como una forma de reducir los incentivos de lucro y al mismo tiempo mejorar aún más la igualdad de acceso?

El enfoque principal preferido por los oponentes de la ruta "vamos a obtener una organización global para hacer IA y hacer su gobernanza realmente muy buena" esinteligencia artificial politeísta: intente intencionalmente asegurarse de que haya muchas personas y empresas desarrollando muchos IAs, para que ninguno de ellos crezca mucho más poderoso que el otro. De esta manera, según la teoría, incluso cuando los IAs se vuelvan superinteligentes, podemos mantener un equilibrio de poder.

Esta filosofía es interesante, pero mi experiencia tratando de asegurar el “politeísmo” dentro del ecosistema de Ethereum me hace preocupar de que esto sea un equilibrio inherentemente inestable. En Ethereum, hemos intentado intencionalmente garantizar la descentralización de muchas partes del stack: asegurando que no haya un solo código base que controlemás de la mitad de la red de prueba de participación, tratando de contrarrestar el dominio de grandes grupos de participación, mejorando descentralización geográfica, y así sucesivamente. Básicamente, Ethereum está intentando llevar a cabo el viejo sueño libertario de una sociedad basada en el mercado que utiliza la presión social, en lugar del gobierno, como regulador antimonopolio. Hasta cierto punto, esto ha funcionado: el Dominio del cliente de Prysmha caído de más del 70% a menos del 45%. Pero esto no es un proceso automático del mercado: es el resultado de la intención humana y la acción coordinada.

Mi experiencia dentro de Ethereum se ve reflejada en los aprendizajes del mundo en general, donde muchos mercados han demostrado sermonopolios naturalesCon superinteligentes IA actuando independientemente de los humanos, la situación es aún más inestable. Gracias a mejora recursiva de uno mismo, la IA más fuerte puede avanzar muy rápidamente, y una vez que las IA sean más poderosas que los humanos, no hay fuerza que pueda devolver las cosas al equilibrio.

Además, incluso si obtenemos un mundo politeísta de superinteligencias artificiales que termina siendo estable, todavía tenemos el otro problema: que obtengamos un universo donde los humanos son mascotas.

Un camino feliz: ¿fusionarse con los AIs?

Una opción diferente que he escuchado más recientemente es enfocarse menos en la IA como algo separado de los humanos, y más en herramientas que mejoren la cognición humana en lugar de reemplazarla.

Un ejemplo a corto plazo de algo que va en esta dirección son las herramientas de dibujo de IA. Hoy en día, las herramientas más prominentes para crear imágenes generadas por IA solo tienen un paso en el que el humano da su aportación y la IA se hace cargo por completo a partir de ahí. Una alternativa sería centrarse más en las versiones de IA de Photoshop: herramientas en las que el artista o la IA podrían hacer un boceto inicial de una imagen, y luego colaborar en su mejora con un proceso de retroalimentación en tiempo real.

Relleno de IA generativa de Photoshop, 2023.Fuente. Lo intenté, y lleva tiempo acostumbrarse, pero en realidad funciona bastante bien!

Otra dirección en un espíritu similar es la Arquitectura de Agencia Abierta, que propone dividir las diferentes partes de una "mente" de IA (por ejemplo, hacer planes, ejecutar planes, interpretar información del mundo exterior) en componentes separados e introducir diversos comentarios humanos entre estas partes.

Hasta ahora, esto suena mundano, y algo en lo que casi todos pueden estar de acuerdo en que sería bueno tener. El trabajo del economista Daron Acemoglu está lejos de este tipo de futurismo de IA, pero su nuevo libro Poder y Progresosugiere querer ver más de exactamente estos tipos de IA.

Pero si queremos extrapolar esta idea de cooperación entre humanos y AI más allá, llegamos a conclusiones más radicales. A menos que creemos un gobierno mundial lo suficientemente poderoso para detectar y detener cada pequeño grupo de personas pirateando en GPUs individuales con computadoras portátiles, alguien eventualmente creará una AI superinteligente, una que pueda pensar mil veces más rápidoque podemos - y ninguna combinación de humanos utilizando herramientas con sus manos va a poder competir contra eso. Y así que necesitamos llevar esta idea de cooperación entre humanos y computadoras mucho más profunda y lejos.

Un primer paso natural esinterfaces cerebro-computadora. Las interfaces cerebro-computadora pueden dar a los humanos un acceso mucho más directo a formas de computación y cognición cada vez más poderosas, reduciendo el bucle de comunicación bidireccional entre el hombre y la máquina de segundos a milisegundos. Esto también reduciría en gran medida el costo de "esfuerzo mental" para obtener que una computadora te ayude a recopilar hechos, dar sugerencias o ejecutar un plan.

Las etapas posteriores de tal hoja de ruta, admítelo, se vuelven extrañas. Además de las interfaces cerebro-computadora, hay varios caminos para mejorar nuestros cerebros directamente a través de innovaciones en biología. Un paso adicional eventual, que fusiona ambos caminos, puede involucrar cargando nuestras mentes para ejecutarse directamente en los ordenadores. Esto también sería lo último para la seguridad física: protegernos de daños ya no sería un problema desafiante de proteger cuerpos humanos inevitablemente blandos, sino más bien un problema mucho más simple de hacer copias de seguridad de datos.

Instrucciones como esta a veces son recibidas con preocupación, en parte porque son irreversibles, y en parte porque pueden dar a las personas poderosas más ventajas sobre el resto de nosotros. Las interfaces cerebro-computadora en particular tienen peligros, después de todo, estamos hablando de leer y escribir literalmente en la mente de las personas. Estas preocupaciones son exactamente la razón por la que creo que sería ideal que un papel de liderazgo en este camino fuera ocupado por un movimiento de código abierto centrado en la seguridad, en lugar de corporaciones cerradas y propietarias y fondos de capital de riesgo. Además, todos estos problemas son peores con las IA superinteligentes que operan independientemente de los humanos, que con los aumentos que están estrechamente vinculados a los humanos. La división entre "mejorado" y "no mejorado" ya existe hoy en día debido a limitaciones en quién puede y quién no puede usar ChatGPT.

Si queremos un futuro que sea tanto superinteligente como “humano”, uno en el que los seres humanos no sean solo mascotas, sino que realmente conserven una agencia significativa sobre el mundo, entonces parece que algo así es la opción más natural. También hay buenos argumentos por los que este podría ser un camino más seguro para la alineación de la IA: al involucrar la retroalimentación humana en cada paso de la toma de decisiones, reducimos el incentivo para transferir la responsabilidad de planificación de alto nivel a la propia IA, y así reducimos la posibilidad de que la IA haga algo totalmente desalineado con los valores de la humanidad por sí misma.

Otro argumento a favor de esta dirección es que puede ser más socialmente aceptable que simplemente gritar " pausar AISin un mensaje complementario que ofrezca un camino alternativo hacia adelante. Requerirá un cambio filosófico de la mentalidad actual de que los avances tecnológicos que afectan a los humanos son peligrosos, pero los avances que están separados de los humanos son seguros por defecto. Pero tiene un gran beneficio compensatorio: le brinda a los desarrolladores algo que hacer. Hoy en día, el mensaje principal del movimiento de seguridad de la IA para los desarrolladores de IA parece ser"deberías simplemente parar“. Uno puede trabajar en investigación de alineación, pero hoy esto carece de incentivos económicos. En comparación, el mensaje común de “ya eres un héroe tal como eres” es comprensiblemente extremadamente atractivo. Un mensaje diferente, uno que dice “deberías construir y crear cosas rentables, pero ser mucho más selectivo e intencional para asegurarte de que estás construyendo cosas que te ayuden a ti y a la humanidad prosperar”, podría ser un ganador.

¿Es d/acc compatible con su filosofía existente?

• Si eres un e/acc, entonces d/acc es una subespecie de e/acc, solo que mucho más selectiva e intencional.
• Si eres un altruista efectivo, entonces d/acc es un re-branding de la idea de altruismo efectivo dedesarrollo tecnológico diferencial, aunque con un mayor énfasis en los valores liberales y democráticos.
• Si eres un libertario, entonces d/acc es una subespecie del tecno-libertarismo, aunque más pragmático y crítico de “la máquina tecno-capitalista”, y dispuesto a aceptar intervenciones gubernamentales hoy (al menos, si las intervenciones culturales no funcionan) para prevenir una libertad mucho peor mañana.
• Si eres un Pluralista, en el El sentido del término Glen Weyl, entonces d/acc es un marco que puede incluir fácilmente el énfasis en una mejor tecnología de coordinación democrática que valora la Pluralidad.
• Si eres un defensor de la salud pública, entonces las ideas d/acc pueden ser una fuente de una visión a largo plazo más amplia y una oportunidad para encontrar puntos en común con las personas de tecnología con las que de otra manera podrías sentirte en desacuerdo.
• Si eres un defensor de la cadena de bloques, entonces d/acc es una narrativa más moderna y amplia para abrazar que el énfasis quinceañero en la hiperinflación y los bancos, que sitúa las cadenas de bloques en el contexto como una de las muchas herramientas en una estrategia concreta para construir hacia un futuro más brillante.
• Si eres un solarpunk, entonces d/acc es una subespecie de solarpunk, e incorpora un énfasis similar en la intencionalidad y la acción colectiva.
• Si eres un lunarpunk, entonces apreciarás el énfasis en la defensa de la información, a través del mantenimiento de la privacidad y la libertad.

Somos la estrella más brillante

Amo la tecnología porque la tecnología expande el potencial humano. Hace diez mil años, podíamos construir algunas herramientas manuales, cambiar qué plantas crecen en un pequeño parche de tierra, y Construir casas básicas. Hoy, podemos construir torres de 800 metros de altura, almacenar la totalidad del conocimiento humano registrado en un dispositivo que podemos sostener en nuestras manos, comunicarnos instantáneamente en todo el mundo, duplicar nuestra esperanza de vida y vivir vidas felices y plenas sin temor a que nuestros mejores amigos mueran regularmente de enfermedades.

Empezamos desde abajo, ahora estamos aquí.

Creo que estas cosas son profundamente buenas y que expandir aún más el alcance de la humanidad a los planetas y las estrellas es profundamente bueno, porque creo que la humanidad es profundamente buena. Es moda en ciertos círculos ser escéptico al respecto: el movimiento de extinción humana voluntariaargumenta que la Tierra estaría mejor sin la existencia de los humanos en absoluto, y muchos más quieren vermucho menor número de seres humanosver la luz de este mundo en los siglos venideros. Es común discutiresoLos humanos somos malosporque engañamos y robamos, participamos en el colonialismo y la guerra, y maltratamos y aniquilamos a otras especies. Mi respuesta a este estilo de pensamiento es una simple pregunta: ¿en comparación con qué?

Sí, los seres humanos a menudo son crueles, pero mucho más a menudo mostramos amabilidad y misericordia, y trabajamos juntos para nuestro beneficio común. Incluso durante las guerras a menudo nos esforzamos por proteger a los civiles, ciertamente no lo suficiente, pero también mucho más quehace 2000 años. El próximo siglo bien podría traer carne no basada en animales ampliamente disponible, eliminando el mayor catástrofe moralque los seres humanos puedan ser justamente culpados hoy. Los animales no humanos no son así. No hay ninguna situación en la que un gato adopte un estilo de vida completo de negarse a comer ratones como cuestión de principio ético. El Sol se está haciendo más brillante cada año, y en aproximadamente mil millones de años, se espera que esto haga que la Tierra sea demasiado caliente para sostener la vida. ¿Piensa siquiera el Sol en el genocidio que va a causar?

Y así es mi firme creencia de que, de todas las cosas que hemos conocido y visto en nuestro universo, nosotros, los humanos, somos la estrella más brillante. Somos lo único que sabemos que, aunque imperfectamente, a veces hace un esfuerzo sincero por preocuparse por "lo bueno", y ajustar nuestro comportamiento para servirlo mejor. Dentro de dos mil millones de años, si la Tierra o alguna parte del universo todavía lleva la belleza de la vida terrenal, serán los artificios humanos como los viajes espaciales ygeoingenieríaque lo habrá hecho realidad.

Necesitamos construir y acelerar. Pero hay una pregunta muy real que debe hacerse: ¿hacia qué estamos acelerando? El siglo XXI bien podría ser el siglo crucialpara la humanidad, el siglo en el que se decide nuestro destino para los milenios venideros. ¿Caemos en alguna de las trampas de las que no podemos escapar, o encontramos un camino hacia un futuro donde conservamos nuestra libertad y agencia? Estos son problemas desafiantes. Pero espero con interés observar y participar en el gran esfuerzo colectivo de nuestra especie para encontrar las respuestas.

Descargo de responsabilidad：

1. Este artículo es reimpreso de [Vitalik Buterin]. Todos los derechos de autor pertenecen al autor original [Vitalik Buterin]. Si hay objeciones a esta reimpresión, por favor contacte al Gate Learnequipo, y lo manejarán rápidamente.
2. Descargo de responsabilidad: Las opiniones expresadas en este artículo son únicamente del autor y no constituyen asesoramiento de inversión.
3. Las traducciones del artículo a otros idiomas son realizadas por el equipo de Gate Learn. A menos que se mencione, está prohibido copiar, distribuir o plagiar los artículos traducidos.