Особлива подяка Morgan Beller, Juan Benet, Eli Dourado, Karl Floersch, Sriram Krishnan, Nate Soares, Jaan Tallinn, Vincent Weisser, добровольцям Balvi та іншим за відгуки та рецензії.

Минулого місяця Марк Андріссен опублікував свою “маніфест техно-оптиміста„підтримуючи поновлене захоплення технологією, а також ринками та капіталізмом як засобами побудови цієї технології та прискорення людства на шляху до набагато яскравішого майбутнього. Маніфест однозначно відкидає те, що він описує як ідеологію стагнації, яка боїться прогресу та пріоритизує збереження світу таким, яким він є сьогодні. Цей маніфест отримав багато уваги, включаючи відповідні статті від Noah Smith, Робін Генсон, Joshua Gans(більш позитивно), таDave Karpf, Лука Ропек, Ezra Klein(більш негативний) і багато інших. Не пов'язано з цим маніфестом, але на подібні теми, є статті Джеймса Петокукіса Консервативний футуристі " і " Паладій " Час будувати для добраЦього місяця ми спостерігали подібну дискусію, що відбулася через Спір OpenAI, що включало багато обговорень, спрямованих на небезпеки суперінтелектуального штучного інтелекту та можливість того, що OpenAI рухається занадто швидко.

Мої власні почуття щодо технооптимізму теплі, але нюансовані. Я вірю в майбутнє, яке набагато яскравіше, ніж сьогодення, завдяки радикально трансформаційним технологіям, і я вірю в людей і людство. Я відкидаю менталітет, згідно з яким найкраще, що ми повинні зробити, це зберегти світ приблизно таким же, як сьогодні, але з меншою жадібністю і більшою охороною здоров'я. Але я думаю, що має значення не тільки величина, а й напрямок. Є певні види технологій, які набагато надійніше роблять світ кращим за інші види технологій. Існують певні типи технологій, які можуть, якщо їх розробити, пом'якшити негативний вплив інших типів технологій. За одними напрямками розвитку технологій світ завищує індекси, а за іншими – недоіндексує. Нам потрібен активний людський намір, щоб вибрати ті напрямки, які нам потрібні, оскільки формула «максимізувати прибуток» не прийде до них автоматично.

У цьому пості я розповім про те, що для мене означає техно-оптимізм. Це включає широке світобачення, яке мотивує мою роботу над певними типами застосувань блокчейну та криптографії та соціальних технологій, а також інших галузей науки, що викликали мою зацікавленість. Проте погляди на це ширше питання також мають наслідки для штучного інтелекту та багатьох інших галузей. Наші стрімкі досягнення в галузі технологій ймовірно стануть найважливішою соціальною проблемою у двадцять першому столітті, тому важливо уважно про них подумати.

Зміст

• Технології дивовижні, і затримка в них коштує дуже дорого
  • Середовище та важливість координованої наміри
• Штучний інтелект фундаментально відрізняється від інших технологій, і варто бути унікально обережними
  • Існувальний ризик - це велика проблема
  • Навіть якщо ми виживемо, чи світ з суперінтелектуальним майбутнім ШІ - це світ, в якому ми хочемо жити?
  • Небо близько, імператор скрізь
• d/acc: Оборонна (або децентралізація, або диференційна) прискорення
  • Світи, які сприяють обороні, допомагають здоровому та демократичному управлінню процвітати
  • Макрофізичний захист
  • Мікрофізичний захист (також біо)
  • Кіберзахист, блокчейни та криптографія
  • Захист інформації
  • Соціальні технології поза рамками "оборони"
• Так які є шляхи вперед для суперінтелекту?
  • Щасливий шлях: злиття з штучним інтелектом?
• Чи сумісний d/acc з вашою існуючою філософією?
• Ми - найяскравіша зірка

Технології дивовижні, а відкладення їх має дуже високі витрати

У деяких колах загально поширено занижувати переваги технологій і бачити їх переважно як джерело дистопії та ризику. Протягом останніх півстоліття це часто виникало через турботу про навколишнє середовище або через обурення тим, що переваги будуть отримувати лише багаті, які закріплять свою владу над бідними. Останнім часом я також помітив, що либертаріанці стали хвилюватися через деякі технології, через страх, що технології призведуть до централізації влади. Цього місяця я зробив декілька опитуваньзапитуючи наступне питання: якщо технологію потрібно було б обмежити, тому що вона була занадто небезпечною для вільного використання ким-небудь, вони вважали б краще, щоб вона була монополізована чи відкладена на десять років? Я був здивований бачити, що на трьох платформах і трьох варіантах, хто б мав бути монополістом, був однаковою переважною кількістю голосів за затримку.

Так що іноді я хвилююся, що ми перекоригувались, і багато людей пропускають протилежну сторону аргументу: що переваги технологійєДійсно Фріґґін масивний, на тих вісці, де ми можемо виміряти його, добро масивно перевершує зло, а витрати навіть десятирічного затримання надзвичайно високі.

Давайте розглянемо конкретний приклад, подивимося на діаграму середньої тривалості життя:

Що ми бачимо? Протягом останнього століття дійсно відбувся величезний прогрес. Це правда по всьому світу, як для історично багатих та домінуючих регіонів, так і для бідних та експлуатованих регіонів.

Деякі винуватять технологію у створенні або загостренні каламбурів, таких як тоталітаризм і війни. Насправді, ми бачимо смертність, спричинену війнами на графіках: одна в 1910-х (Перша світова війна), і одна в 1940-х (Друга світова війна). Якщо ви уважно подивитесь, то Іспанська грип, Великий стрибок вперед та інші не-військові трагедії також видно. Але є одна річ, яку діаграма робить очевидною: навіть каламбури такі жахливі, як ті, перевершуються масштабом безкінечного поступу вїжа, Санітарії, ліки та інфраструктура, яка відбувалася протягом того століття.

Це відображається в значних покращеннях нашого повсякденного життя. Завдяки Інтернету, більшість людей по всьому світумати доступ до інформації на відстані руки, до якої було б неможливо отримати двадцять років тому. Глобальна економіка стає більш доступною завдяки поліпшенням у міжнародних платежах та фінансах. Глобальна бідністьшвидко падаєБлагодаря онлайн-картам нам більше не потрібно хвилюватися через загублення в місті, і якщо вам потрібно швидко повернутися додому, тепер у нас є набагато простіший спосіб викликати автомобіль для цього. Наша власність стає цифровою, і наш фізичні товари стають дешевими, означає, що нам варто менше боятися фізичної крадіжки. Інтернет-магазини зменшили різницю в доступі до товарів між глобальними мегаполісами та рештою світу. Автоматизація принесла нам вічно недооцінену користь у простому зробленні наше життя зручніше.

Ці поліпшення, як квантифіковані, так і неквантифіковані, є великими. І в двадцять першому столітті існує велика ймовірність того, що незабаром з'являться ще більші поліпшення. Сьогодні здавалося б, закінчення старіння та хвороби виглядають утопічними. Але з точки зорукомп'ютери, як вони існували у 1945 році, сучасна епоха використання мікросхем практично в усьому здавалася б утопічною: навіть у науково-фантастичних фільмах комп'ютери часто були розміром з кімнату. Якщо біотехнології просунуться вперед протягом наступних 75 років так само, як і комп'ютери за останні 75 років, майбутнє може бути більш вражаючим, ніж будь-хто очікував.

Тим часом аргументи, що висловлюють сумнів у прогресі, часто переходили в темні місця. Навіть медичні підручники, подібні до цього у 1990-х роках (кредитЕмма Шевчак(для його виявлення), іноді роблять екстремальні заяви, заперечуючи цінність двох століть медичної науки і навіть стверджуючи, що неочевидно добре рятувати людські життя:

Gate “обмеження зростання”теорія, ідея, висунута в 1970-х роках, яка стверджувала, що зростаюче населення та промисловість врешті-решт вичерпають обмежені ресурси Землі, врешті-решт надихнулиПолітика одного дитини в Китаїімасова примусова стерилізація в Індії. У попередні епохи занепокоєння щодо перенаселеності використовувалися для виправдовуватимасавбивство. І ті ідеї, аргументували з 1798 року, мати довгу історію бути доведеним неправильно.

Через такі причини саме я, як початкова точка, відчуваю себе дуже незручно з аргументами про сповільнення технологій чи людського прогресу. Беручи до уваги те, як сильно всі сектори взаємопов'язані, навіть секторальні сповільнення є ризикованими. Тому, коли я пишу такі речі, які я скажу пізніше у цьому повідомленні, відмовляючись від відкритого ентузіазму щодо прогресу-незалежно-від-його-форми, це ті заяви, які я роблю з тяжким серцем - і, все ж, 21-й століття достатньо різне і унікальне, що варто розглянути ці нюанси.

Зізнаючись, існує один важливий момент відтінку, який слід врахувати у ширшому контексті, особливо коли ми переходимо від ідеї «технологія загалом добра» до теми «які конкретні технології є добрими?». І тут ми маємо зайнятися основним питанням багатьох людей: навколишнє середовище.

Середовище та важливість координованої наміри

A основне винятокдо тенденції того, що практично все покращується протягом останніх ста років, є зміна клімату:

Навіть песимістичні сценарії подальшого підвищення температури не наблизилися б до буквального вимирання людства. Але такі сценарії можуть ймовірно вбити більше людей, ніж великі війни, і серйозно пошкодити здоров'я та засоби існування людей в регіонах, де люди вже найбільше страждають.Дослідження інституту Swiss Reпоказує, що найгірший сценарій зміни клімату може знизити ВВП найбідніших країн світу на 25%.Це дослідженнявказує на те, що тривалість життя в сільській Індії може бути на десять років менше, ніж в іншому випадку, і досліди, подібні до цей та цейпередбачає, що зміна клімату може призвести до смерті ста мільйонів осіб до кінця століття.

Ці проблеми - велика справа. Моя відповідь на питання, чому я оптимістично ставлюся до нашої здатності подолати ці виклики, двоїста. По-перше, після десятиліть хвилювання та мрій.сонячна енергія є нарештіповороткут, та підтримуючі технології, такі як батареїроблять подібний прогрес. По-друге, ми можемо розглянути досягнення людства в розв'язанні попередніх проблем навколишнього середовища. Візьмемо, наприклад, забруднення повітря. Зустрічайте дистопію минулого: Велика смог Лондона, 1952 рік.

Що сталося з того часу? Давайте знову запитаємо Our World In Data:

Здається, що 1952 рік навіть не був піком: у кінці 19 століття ще вищі концентрації забруднювачів повітря були просто прийняті і нормальні. З того часу ми бачили століття поспішних та стрімких спадів. Я мав особистий досвід цього в моїх візитах в Китай: у 2014 році в повітрі були високі рівні смогу, приблизно зменшити тривалість життя на понад п'ять років, були звичайними, але до 2020 року повітря часто здавалося таким чистим, як у багатьох західних містах. Це не єдиний наш успішний випадок. У багатьох частинах світу, лісові масиви збільшуються. Криза кислотного дощу покращується. шар озону почав відновлюватися протягом десятиліть.

Для мене мораль цієї історії полягає в наступному. Часто дійсно буває так, що версія N технології нашої цивілізації викликає проблему, і версія N+1 виправляє її. Однак це не відбувається автоматично, і потребує умісних зусиль людини. Озоновий шар відновлюється через те, що через міжнародні угоди, такі як Протокол монреальського, ми зробили його відновити. Забруднення повітря покращується, тому що ми його покращили. І так само сонячні панелі не стали набагато кращими, тому що вони були заздалегідь визначеною частиною дерева енергетичних технологій; Сонячні панелі стали значно кращими, тому що десятиліття усвідомлення важливості вирішення проблеми зміни клімату мотивували як інженерів працювати над проблемою, так і компанії та уряди фінансувати свої дослідження. Це цілеспрямовані дії, скоординовані через публічний дискурс і культуру, що формують погляди урядів, науковців, філантропів і бізнесу, а не необоротна «техно-капіталістична машина», які вирішили ці проблеми.

Штучний інтелект фундаментально відрізняється від інших технологій, і варто бути унікально обережним

Багато зневажливих поглядів на штучний інтелект, які я бачив, походять з точки зору, що це «просто ще одна технологія»: щось, що належить до того ж загального класу речей, що й соціальні медіа, шифрування, контрацепція, телефони, літаки, зброя, друкарський верстат і колесо. Очевидно, що ці речі мають дуже соціальне значення. Це не просто поодинокі поліпшення добробуту індивідів: вони радикально трансформують культуру, змінюють баланс сил і завдають шкоди людям, які сильно залежали від попереднього порядку. Багато проти нихІ в цілому песимісти завжди виявлялися неправими.

Але є інший спосіб мислити про те, що таке ШІ: це новий тип розуму, який швидко набирає інтелекту та серйозною шансу на випередження розумових здібностей людини та становлення новим вершинним видом на планеті. Клас речей у цій категорії набагато менший: ми можемо правдоподібно включити людей, що перевершують мавп, багатоклітинне життя, що перевершує одноклітинне, походження самого життяі, можливо, промислова революція, в ході якої машина випередила людину у фізичній силі. Раптом здається, що ми йдемо по набагато менш протоптаній землі.

Існувальний ризик - це важлива справа

Одним з способів, які можуть погіршити світ, є неправильна робота ШІ.майже) найгіршим можливим чином: воно могло буквально спричинити вимирання людства. Це дуже серйозне заявлення: настільки багато шкоди, яку може завдати найгірший сценарій зміни клімату, або штучна пандемія чи ядерна війна, існують багато островів цивілізації, які залишаться непошкодженими, щоб зібрати рештки. Але якщо суперінтелектуальний ШІ вирішить обернутися проти нас, він може залишити без виживших, і завершити людство назавжди. Навіть Марсможе бути небезпечним.

Велика причина для хвилювання полягає в тому, щоінструментальна конвергенція: для дуже широкого класу цілей, які може мати суперінтелектуальна сутність, два дуже природні проміжні кроки, які штучний інтелект може зробити, щоб краще досягти цієї мети, - це (i) споживання ресурсів та (ii) забезпечення своєї безпеки. Земля містить багато ресурсів, і люди - передбачувана загрозадо такої безпеки сутності. Ми могли б спробувати надати ШІ явну мету любити і захищати людей, але ми маємоПоняття не маю Як насправдіробитищотаким чином, що не зламається, як тільки ШІ зіткнення з несподіваною ситуацією. Так, у нас є проблема.

Спроба дослідника MIRI Роба Бенсінгерапри ілюстрації різних оцінок людей ймовірності того, що штучний інтелект або вб'є всіх, або зробить щось майже таке ж погане. Багато позицій є приблизними оцінками на підставі публічних заяв людей, але багато інших призначили свої точні оцінки публічно; досить багато мають «ймовірність загибелі» понад 25%.

A опитування дослідників машинного навчання з 2022 року показав, що в середньому дослідники вважають, що існує 5-10% ймовірність того, що ШІ буквально вб'є нас усіх: приблизно така ж ймовірність, як і статистично очікувана ймовірність того, що Ви помрете від небіологічних причин, таких як травми.

Це все спекулятивна гіпотеза, і ми всі повинні бути обережні щодо спекулятивних гіпотез, які включають складні багатоетапні історії. Однак ці аргументи витримали понад десятиліття перевірок, тому, здається, варто трохи хвилюватися. Але навіть якщо ви не турбуєтесь про буквальне вимирання, є й інші причини для страху також.

Навіть якщо ми виживемо, чи світ з суперінтелектуальним штучним інтелектом - це світ, в якому ми хочемо жити?

Багато сучасної наукової фантастики є дистопійною і зображує штучний інтелект у поганому світлі. Навіть спроби поза науковою фантастикою ідентифікувати можливі майбутність ШІ часто даютьдосить непривабливі відповіді. І ось я обійшовся і задав питання: яке зображення, будь то наукова фантастика чи інше, майбутнього, яке містить суперінтелектуальний штучний інтелект, де ми хотіли б жити. Відповідь, яка найчастіше поверталася, це Iain Banks’s Серія Культура.

Серія "Культура" включає в себе цивілізацію далекого майбутнього міжзоряного простору, яка в основному заселена двома видами акторів: звичайні люди та суперінтелектуальні Штучні Інтелекти, яких називають Розумами. Людей покращували, але досить слабо: медичні технології теоретично дозволяють людям жити нескінченно, але більшість вибирає жити лише близько 400 років, схоже, через те, що вони набридливіє життям на цей момент.

З поверхневої точки зору, життя людини здається хорошим: воно комфортне, про проблеми зі здоров'ям дбають, є велика різноманітність варіантів розваг, існує позитивний і синергетичний зв'язок між людьми і Розумом. Однак, коли ми дивимося глибше, виникає проблема: здається, що Розум повністю керує ними, і єдина роль людей в історіях полягає в тому, щоб діяти як пішаки Розуму, виконуючи завдання від їх імені.

Цитуючи з «Проти культури» Гавіна Ліча:

Люди не є головними героями. Навіть коли здається, що в книгах є головний герой, який робить великі серйозні речі, вони фактично є агентом штучного інтелекту. (Закальве - один з небагатьох винятків, оскільки він може робити неморальні речі, які Розуми не хочуть.) «Розуми в Культурі не потребують людей, але людям потрібно бути потрібними». (Я думаю, що лише невелика кількість людей потребує бути потрібними - або лише невелика кількість з них потребує цього достатньо, аби відмовитися від багатьох комфортів. Більшість людей не живуть на такій шкалі. Це все ще гарна критика.)

Проекти, за які беруться люди, ризикують бути несправжніми. Майже все, що вони роблять, машина могла б зробити краще. Що робити? Ви можете наказати Розуму не ловити вас, якщо ви впадете зі скелі, на яку піднімаєтеся-просто-тому що; Ви можете видалити резервні копії свого розуму, щоб ви дійсно ризикували. Ви також можете просто покинути Культуру і знову приєднатися до якоїсь старомодної, невільної «суворо оціночної» цивілізації. Альтернативою є євангелізація свободи, приєднавшись до Контакту.

Я б сказав, що навіть "значущі" ролі, які виконують люди в серії Культура, - це певне перетягування; я запитав ChatGPT (хто ще?), чому людям дали ті ролі, які вони мають, замість того, щоб Уми все робили абсолютно самостійно, і особисто я знайшов її відповіді досить непосильний. Здається, що дуже важко мати «дружній» надрозумний світ, де домінує штучний інтелект, де люди є кимось іншим, ніж домашніми тваринами.

Світ, якого я не хочу бачити.

Багато інших науково-фантастичних серій уявляють світ, де існують суперінтелектуальні штучні інтелекту, але вони підкоряються (непокращеним) біологічним людським господарям. Зоряний шлях - це хороший приклад, що показує візію гармонії між зоряними кораблями з їхніми Штучний інтелект «комп’ютери» (і Дані) та їхні людські оператори членів команди. Однак це відчувається як надзвичайно нестабільне рівновага. Світ Зоряного шляху здається ідилічним на даний момент, але важко уявити його візію відносин між людиною та штучним інтелектом як що-небудь інше, окрім стадії переходу десять років до того, як космічні кораблі стануть повністю керованими комп'ютером, і можуть перестати турбуватися про великі коридори, штучне гравітацію та клімат-контроль.

Людина, яка віддає накази надрозумній машині, буде набагато менш розумною, ніж машина, і матиме доступ до меншої кількості інформації. У всесвіті, де є хоч якась конкуренція, цивілізації, де люди відходять на другий план, перевершать ті, де люди вперто наполягають на контролі. Крім того, самі комп'ютери можуть вирвати контроль. Щоб зрозуміти чому, уявіть, що ви в буквальному розумінні раб восьмирічної дитини. Якби ви могли довго розмовляти з дитиною, як ви думаєте, чи змогли б ви переконати дитину підписати папірець, який звільняє вас? Я не проводив цей експеримент, але моя інстинктивна відповідь – тверде «так». І тому в цілому люди, які стають домашніми тваринами, здаються атрактором, від якого дуже важко втекти.

Небо близько, імператор скрізь

Китайське прислів'я 天高皇帝远 («тянь гао хуан ді юань»), «небо високе, імператор далеко», містить основний факт про межі централізації в політиці. Навіть у номінально великій і деспотичній імперії — насправді, особливо якщо деспотична імперія велика, існують практичні межі охоплення та уваги керівництва, потреба керівництва делегувати повноваження місцевим агентам для здійснення своєї волі послаблює його здатність втілювати свої наміри в життя, і тому завжди є місця, де панує певний ступінь практичної свободи. Іноді це може мати і негативні сторони: відсутність далекої влади, яка б забезпечувала дотримання єдиних принципів і законів, може створити простір для крадіжок і пригнічення місцевими гегемонами. Але якщо централізована влада зіпсується, практичні обмеження уваги та дистанції можуть створити практичні межі того, наскільки поганою вона може стати.

Зі штучним інтелектом більше немає. У ХХ столітті сучасні транспортні технології зробили обмеження відстані набагато слабшим обмеженням централізованої влади, ніж раніше; Великі тоталітарні імперії 1940-х років були частково результатом. У двадцять першому масштабований збір інформації та автоматизація можуть означати, що увага більше не буде обмеженням. Наслідки повного зникнення природних обмежень уряду можуть бути жахливими.

Цифровий авторитаризм був на підйомі протягом десяти років, технологія нагляду вже надала авторитарним урядам потужні нові стратегії для придушення опозиції: дозвольте протестувати, а потім виявляйте татихо піти заучасникипісля факту. Більш загально, моїм базовим страхом є те, що ті ж самі види управлінських технологій, які дозволяють OpenAI обслуговувати понад сто мільйонів клієнтів з500 співробітниківТакож дозволить 500-особиста політична еліта, або навіть 5-особова рада, утримувати залізний кулак над цілою країною. З сучасним суцільним спостереженням для збору інформації та сучасним штучним інтелектом для її інтерпретації може і не залишитися місця для приховування.

Це стає гірше, коли ми думаємо про наслідки штучного інтелекту в військовій справі. Цитуючипіввідомий постна філософії штучного інтелекту та криптовалюти від 0xAlpha:

Коли немає потреби в політично-ідеологічній роботі та мобілізації на війну, верховний командир війни повинен розглядати ситуацію саму по собі, ніби це гра у шахи, і повністю ігнорувати думки та емоції пішаків/коней/візирів на шахівниці. Війна стає виключно технологічною грою.

Крім того, політико-ідеологічна робота та військова мобілізація вимагають виправдання для того, щоб будь-хто воював. Не варто недооцінювати важливість такого «обґрунтування». Це було обмеженням легітимності воєн у людському суспільстві протягом тисячоліть. Кожен, хто хоче вести війну, повинен мати причину або хоча б поверхово виправдане виправдання. Ви можете заперечити, що це обмеження настільки слабке, тому що в багатьох випадках це було не більше ніж виправданням. Наприклад, деякі (якщо не всі) хрестові походи дійсно мали на меті захопити землю і пограбувати багатства, але це потрібно було робити в ім'я Бога, навіть якщо місто, яке грабували, було Божим Константинополем. Однак навіть слабке обмеження все одно є обмеженням! Одна лише ця маленька вимога виправдання фактично не дозволяє творцям війни бути абсолютно безпринципними у досягненні своїх цілей. Навіть таке зло, як Гітлер, не могло просто так почати війну з самого початку – йому довелося витратити роки, намагаючись переконати німецьку націю боротися за життєвий простір для шляхетної арійської раси.

Сьогодні "людина в петлі" слугує важливою перевіркою влади диктатора на початок війн або пригнічення внутрішніх громадян. Люди в петлі мають забороненоядернийвійни, дозволила відкриття Берлінського муру, та врятувала життя під час жахиподобатисятой Голокост. Якщо армії - це роботи, ця перевірка зникає зовсім. Диктатор може напитися о 22:00, розлючитися через те, що люди ображають його в твіттері о 23:00, і роботизований вторгнення флоту може перетнути кордон, щоб засипати вогнем сусідню націю та її інфраструктуру до півночі.

І, на відміну від попередніх епох, де завжди є якийсь віддалений куточок, де небо високе, а імператор далеко, де опоненти режиму могли б відновити сили, приховатися і знайти спосіб покращити ситуацію, з штучним інтелектом 21-го століття тоталітарний режим може зберігати достатньо спостереження та контролю над світом, щоб залишитися «замкненим» назавжди.

d/acc: Оборонна (або децентралізація, або диференційна) прискорення

Протягом останніх кількох місяців рух "e/acc" ("ефективний акселератіоніст") набув великої популярності.Узагальнено Беффом Джефом тут, e/acc в основному полягає в оцінці справжньої величезної користі від технологічного прогресу і бажанні прискорити цей тенденцію, щоб найближчим часом донести ці переваги.

Я виявляю себе співчутливим до перспективи зі сторони е/акк в багатьох контекстах. Є багато доказів того, що FDA надто консервативнав своїй готовності відкладати або блокувати затвердження ліків, а також біоетику в цілому, занадто часто працює за принципом, що "20 людей, які загинули в результаті невдалих медичних експериментів, - це трагедія, але 200000 людей, які загинули через затримку життєважливого лікування, - це статистика". Затримки у затвердженні тести на covid та вакцини, та вакцини від малярії, здається, підтверджує це подальше. Однак можливо занадто далеко зайти в цьому питанні.

Крім моїх стурбованих пов'язаних з штучним інтелектом питань, я особливо суперечливо ставлюся до e/acc ентузіазмдлявійськова техніка. У поточному контексті в 2023 році, де ця технологія створюється Сполученими Штатами та негайно застосовується для захисту України, легко бачити, як вона може бути силу для добра. Однак, придивившись, ентузіазм стосовно сучасної військової технології як сили для добра здається вимагати віри в те, що домінуюча технологічна сила буде надійною однією з хороших сторін у більшості конфліктів, як зараз, так і в майбутньому: військова технологія є доброю, тому що вона будується та контролюється Америкою, а Америка є доброю. Чи потрібно бути американським максималістом, ставлячи все на карту як для сучасної, так і для майбутньої моралі уряду та майбутнього успіху країни, щоб бути e/acc?

З іншого боку, я бачу потребу в нових підходах у мисленні про те, як зменшити ці ризики. Структура управління OpenAI це хороший приклад: здається, що це добре мотивована спроба збалансувати потребу у здобутку прибутку для задоволення інвесторів, які надають початковий капітал, з бажанням мати контрольно-зважувальний механізм для протидії ризиковим діям, які можуть привести до вибуху OpenAI у світі. Проте на практиці їхні останніспроба звільнити Сема Альтманаздається, що структура виглядає як жалюгідна невдача: вона централізувала владу в недемократичному та не підконтрольному раді п'яти осіб, які приймали ключові рішення на основі секретної інформації та відмовлялися надавати будь-які деталі щодо своїх мотивівдоки співробітники не загрожували звільнитисязагалом. Якимось чином неприбуткова рада грає своїми картами настільки погано, що співробітники компаніїствореноanімпровізований фактичний союз... підтримати мільярдера-гендиректора проти них.

По всій лінії я бачу надто багато планів щодо порятунку світу, які передбачають надання невеликій групі людей екстремальної та непрозорої влади і сподіваються, що вони будуть розумно використовувати її. Тому я відчуваю власне притягнення до іншої філософії, яка має детальні ідеї про те, як вирішувати ризики, але яка прагне створювати і підтримувати більш демократичний світ та намагається уникати централізації як стандартного рішення для наших проблем. Ця філософія також охоплює набагато більше, ніж штучний інтелект, і я б стверджував, що вона добре підходить навіть для світів, де страхи стосовно ризику штучного інтелекту виявляються в основному необґрунтованими. Я буду називати цю філософію за ім'ям d/acc.

dacc3

Тут «d» може означати багато речей; зокрема, оборону, децентралізацію, демократію та диференціацію. Спочатку подумайте про це як про оборону, а потім ми можемо побачити, як це пов'язано з іншими тлумаченнями.

Світи, що сприяють обороні, допомагають здоровому та демократичному управлінню процвітати

Один ракурс, щоб подумати про макро-наслідки технологій - це розглядати баланс оборони проти нападу. Деякі технології полегшують напад на інших в широкому розумінні цього терміну: роблять речі, які йдуть на користь іншим, через що вони відчувають потребу реагувати. Інші полегшують захист, навіть захист без покладання на великих централізованих акторів.

Світ, який сприяє обороні, є кращим світом з багатьох причин. Перше, звісно, це безпосередня користь у вигляді безпеки: менше людей гине, менша економічна вартість знищується, менше часу витрачається на конфлікти. Проте менше цінується те, що світ, який сприяє обороні, утруднює врешті-решт здоровішим, більш відкритим та більш поважаючим свободу формам управління процвітати.

Очевидним прикладом цього є Швейцарія. Швейцарію часто вважають найближчим до реального світу класично-ліберальної утопії управління. Величезні повноваження передаються провінціям (звані “кантонами”), основні рішення вирішується на референдумах, і багато місцевих навіть не знаю, хто є президентомЯк така країна може вижитинадзвичайно викликаючеполітичнийтиски? Частина з відповідь є відмінна політична стратегія, але інша значуща частина є дуже оборонно нахилене географія) у формі своєї гірської місцевості.

Прапор - великий плюс. Але також гори.

Анархістичні суспільства в Зомії, відомі своїм профілем в новій книзі Джеймса Скотта"Мистецтво не бути управляємим", є ще одним прикладом: вони також зберігають свою свободу та незалежність в значній мірі завдяки гірському рельєфу. Тим часом, євразійські степи є точна протилежність утопії управління. Експозиція Сари Пейн морські проти континентальних державробить подібні зауваження, хоча акцентує на воді як на оборонному бар'єрі, а не на горах. Фактично комбінація легкості добровільної торгівлі та складності непримусового вторгнення, що є спільним для як Швейцарії, так і островних держав, здається ідеальною для процвітання людини.

Я виявив споріднене явище, коли радив експерименти з квадратичним фінансуванням в екосистемі Ethereum: зокрема Фінансування раундів фондування Gitcoin Grants. В раунд 4, міні-скандал виник, коли деякі з найбільш високооплачуваних отримувачів були впливовими особистостями Twitter, чиї внески деякими розглядаються як позитивні, а іншими - як негативні. Моя власна інтерпретація цього явища полягає в тому, що є дисбаланс: квадратне фінансуваннядозволяє вам сигналізувати, що ви вважаєте щось громадським благом, але не надає способу сигналізувати, що щось є громадською поганою. У крайньому випадку повністю нейтральна система квадратичного фінансування фінансувала б обидві сторони війни. І так для раунд 5, Я запропонував, що Gitcoin повинен включати негативні внески: ви платите $1, щоб зменшити суму грошей, яку отримує певний проект (і неявно перерозподілити її всім іншим проектам). Результат: багатозлюди Ненавидів це.

Одна з багатьох інтернет-мемів, які поширювалися після п'ятого раунду.

Це, здавалося мені, було мікрокосмом більшої ​​структури: створення децентралізованих механізмів управління для вирішення негативних зовнішніх ефектів соціально дуже складна проблема. Є причина, чому типовим прикладом невдачі децентралізованого управління є народний суд. Єщось про людську психологіюце робить відповіді на негативи набагато складнішими, і набагато більш ймовірними для дуже неправильних, ніж відповіді на позитиви. І саме тому навіть у в інших відносно високодемократичних організаціях рішення про те, як реагувати на негативи, часто залишаються на централізованій раді.

У багатьох випадках саме цей загадковий парадокс є однією з глибоких причин, чому концепція "свободи" настільки цінна. Якщо хтось каже щось, що образить вас, або має спосіб життя, який ви вважаєте огидним, біль і огида, які ви відчуваєте, реальні, і ви навіть можете вважати меншим злом бути фізично побитим, ніж бути відкритим для таких речей. Проте спроби домовитися про те, які види образи та огиди є соціально дієвими, можуть мати набагато більші витрати та небезпеки, ніж просто нагадування собі, що певні види диваків та придурків - це ціна, яку ми платимо за життя у вільному суспільстві.

У інші часи, однак, підхід "усмішка та терпіння" є нереалістичним. І в таких випадках інша відповідь, на яку іноді варто звертати увагу, - це оборонна технологія. Чим більше Інтернет захищений, тим менше нам потрібно порушувати приватність людей та використовувати тіньові міжнародні дипломатичні тактики для переслідування кожного окремого хакера. Чим більше ми можемо будуватиіндивідуалізовані інструменти для блокування людей в Twitter, інструменти в браузері для виявлення шахрайств та колективні інструменти для відрізняння дезінформації та правда, чим менше нам доводиться боротися через цензуру. Чим швидше ми можемо створювати вакцини, тим менше нам доводиться переслідувати людей за поширення. Такі рішення не працюють у всіх областях - ми, безумовно, не хочемо жити у світі, де кожен повинен носити буквальний бронежилет - але в областях, де ми можемо розробляти технології для того, щоб світ був більш спрямований на захист, в цьому є величезна цінність.

Ця основна ідея, що деякі технології сприятливі для захисту і варто підтримувати, тоді як інші технології сприятливі для нападу і повинні бути дискредитовані, має коріння в літературі ефективного альтруїзму під іншою назвою: диференційний розвиток технологій. Це важливовикладення цього принципу від дослідників Університету Оксфордуз 2022 року:

Рисунок 1: Механізми, за допомогою яких різниця в розвитку технологій може зменшити негативний суспільний вплив.

Неминуче будуть неточності в класифікації технологій як оборонних, нападницьких або нейтральних. Наприклад, з питання "свободи", де можна обговорювати, чи зменшують соціал-демократичні урядові політики свободу, накладаючи важкі податки та примушуючи роботодавців, або збільшують свободу, зменшуючи потребу звичайних людей у страхуванні від багатьох видів ризиків, з "оборони" теж є технології, які можуть відноситися до обох сторін спектра. Ядерні зброї схильні до нападу, але ядерна енергія сприяння процвітанню людинита оборони-нейтралі. Різні технології можуть відігравати різні ролі в різних часових горизонтах. Проте, подібно до "свободи" (або "рівності", або "правової держави"), неоднозначність на межах - це не стільки аргумент проти принципу, скільки можливість краще зрозуміти його відтінки.

Тепер давайте подивимося, як застосувати цей принцип до більш всебічного світогляду. Ми можемо думати про оборонну технологію, як, інші технології, як розділена на дві сфери: світ атомів і світ бітів. Світ атомів, у свою чергу, можна розділити на мікро (тобто біологія, пізніше нанотехнології) та макро (тобто те, що ми традиційно вважаємо «обороною», а також стійку фізичну інфраструктуру). Світ бітів я розділю на іншу вісь: наскільки важко домовитися, в принципі, про те, хто зловмисник?. Іноді це легко; Я називаю це кіберзахистом. В інший час це важче; Я називаю це інформаційним захистом.

Макрофізичний захист

Найбільш недооцінена оборонна технологія в макросфері навіть незалізні куполи(включаючиНова система України) та інші противотехнічні та протиракетні військові апарати, а отже, життєздатна фізична інфраструктура. Більшість смертей від ядерної війни, ймовірно, будуть в результатіпорушення ланцюга постачання, замість початкового випромінювання та вибуху, а низькоінфраструктурні інтернет-рішення, такі як Starlink, були вирішальними в збереження зв'язку Українипротягом останніх півтора роки.

Створення інструментів, які допомагають людям виживати і навіть жити комфортно незалежно або напівнезалежно від довгих міжнародних ланцюгів постачання, здається цінною оборонною технологією, і технологією з низьким ризиком виявитися корисною для нападу.

Пошук до зробити людство багатопланетною цивілізацієюТакож можна розглядати з точки зору д/бути: якщо принаймні декілька з нас буде жити самодостатньо на інших планетах, це збільшить нашу стійкість проти чогось жахливого, що станеться на Землі. Навіть якщо повне бачення виявиться недосяжним на даний момент, форми самодостатнього життя, які треба буде розвивати, щоб такий проект став можливим, можуть бути використані для покращення нашої цивілізаційної стійкості на Землі.

Мікрофізичний захист (також біо)

Особливо через йогодовгострокові наслідки для здоров'я, Covid продовжує бути турбота. Але Covid далеко не остання пандемія, з якою нам доведеться стикатися; існує багато аспектів сучасного світу, які зроблять ймовірним появу ще багатьох пандемій найближчим часом:

• Вища щільність населення робить значно легше поширення повітряних вірусів та інших патогенів. Епідемічні хвороби є відносно новими в історії людства, і більшість з них почалися з урбанізації.лише кілька тисяч років тому. Постійна швидка урбанізаціяозначає, що щільність населення збільшиться ще більше протягом наступних півстоліття.
• Збільшення повітряного транспорту означає, що повітряні патогени швидко поширюються по всьому світу. Швидке збагачення людей означає, що повітряний транспорт, ймовірно, значно збільшити даліпротягом наступних півстоліття; моделювання складності вказує на те, що навіть невеликі збільшенняможе мати радикальні наслідки. Зміна клімату може ще більше збільшити цей ризик.
• Приручення тварин і фабричне землеробство - це основні фактори ризику.Кір Ймовірно, він розвинувся з коров'ячого вірусу менше 3000 років тому. Сьогоднішні ферми-фабрикитакож вирощують нові штами грипу (а такожсприяння антибіотиків стійкості, з наслідками для інстинктивний імунітет людини).
• Сучасна біоінженерія полегшує створення нових і більш вірулентних патогенів. Ковід може або може не бути витікз лабораторії, що проводить умисне дослідження "зміцнення функції". В будь-якому разі, витік лабораторії трапляються постійно, і інструменти швидко вдосконалюються, щоб полегшити навмисне створення надзвичайно смертоносних вірусів або навіть приони (Білки зомбі). Штучні чуми особливо хвилюють у частині тому, що навпаки ядерних, вони не пов'язані з цим: ви можете випустити вірус так, щоб ніхто не міг сказати, хто його створив. Прямо зараз можна розробити генетичну послідовність і відправити її в мокрий лабораторіядля синтезу та відправки вам протягом п'яти днів.

Це область, деCryptoRelief та Бальві, дві організації були створені та фінансуються в результаті великої випадковоїнесподівана велика кількість монет Shiba Inuу 2021 році були дуже активними. CryptoRelief спочатку зосередився на реагуванні на негайну кризу, а останнім часом активно створює довгострокову медичну дослідницьку екосистему в Індії, тоді як Balvi акцентує увагу на проектах місячного запуску для покращення нашої здатності виявляти, запобігати та лікувати Covid та інші повітряні захворювання. ++Balvi настоює на тому, що проекти, які він фінансує, повинні бути відкритими джерелами++. Інспіруючись XIX століття рух водного господарства, який переміг холеруі інші водонесущі патогени, вона фінансувала проекти по всьому спектру технологій, які можуть зробити світ більш стійким проти повітряних патогенів за замовчуванням (див .:оновлення 1 та оновлення 2), включаючи:

• Далекий UVCіррадіаціяДослідження та розробка
• Фільтрація повітря та моніторинг якості Індія, Шрі-Ланка, Сполучені Штатиі в інших місцях, та контроль якості повітря
• Обладнання для дешевого та ефективного децентралізоване тестування якості повітря
• Дослідження причин тривалої COVID та потенційних варіантів лікування (основна причина може бутипростийалеуточнюючі механізмиі знаходження лікування є важче)
• Вакцини (наприклад, RaDVaC, PopVax) та дослідження пошкоджень від вакцини
• Набір абсолютно нових неінвазивних медичних інструментів
• Раннє виявлення епідемій за допомогою аналізу відкритих даних (наприклад, EPIWATCH)
• Тестування, включаючи дуже дешеві молекулярні швидкі тести
• Маски, відповідні для біозахисту, коли інші підходи не працюють

Інші перспективні області інтересів включаютьконтроль за стічними водами патогенів, покращення фільтрації та вентиляції в будівлях, та краще розуміння та пом'якшення ризики від поганої якості повітря.

Є можливість побудувати світце набагато більш зміцнене проти повітряних пандемій, як природних, так і штучних, за замовчуванням. У цьому світі буде використовуватися високооптимізована система, яка дозволить нам перейти від початку пандемії до автоматичного виявлення, щоб люди по всьому світу мали доступ до цільової,виробництво на місці та перевірка відкритих вакцинабоінші профілактичні засоби, адмініструється через небулізаціяабоспрей для носа(значення: самостійності, якщо потрібно, і не потрібні голки), все це протягом місяця. Тим часом, набагато краще якість повітря радикально зменшило б швидкість поширення, і запобігло багатьом пандеміям взагалі не вийти на війну.

Уявіть майбутнє, яке не мусить вдалятися до сокири соціального примусу - без наказів та гірше, та без ризикупогано спроектовані та реалізовані норми, які, можливо, роблять речі ще гірше- тому що інфраструктура громадського здоров'я вплетена у тканину цивілізації. Ці світи можливі, і середня кількість фінансування в біообороні може зробити це реальністю. Робота буде відбуватися ще плавніше, якщо розвиток є відкритим джерелом, безкоштовним для користувачів та захищеним як громадські блага.

Кіберзахист, блокчейни та криптографія

Зазвичай серед професіоналів у галузі безпеки загальновідомо, що поточний стан комп'ютерної безпеки досить жахливий. Тим не менш, легко недооцінити кількість прогресу, який був зроблений. Сотні мільярдів доларів криптовалюти доступні для анонімного крадіжки будь-кому, хто може взламати гаманці користувачів, і в той же час набагато більше втрачається або крадетьсяніж я б хотів, це також факт, що більшість з них залишилася невикраденою протягом понад десятиліття. Недавно тут відбулися покращення:

• Довірчі апаратні чіпи всередині телефонів користувачів, фактично створюючи набагато меншу високо захищену операційну систему всередині телефону, яка може залишатися захищеною навіть якщо решта телефону буде взламана. Серед багатьох інших використань, ці чіпи все більше досліджуються як спосіб зробити більш безпечні криптовалютні гаманці.
• Браузери як фактична операційна система. Протягом останніх десяти років відбулася тиха зміна з завантажуваних додатків до додатків у браузері. Це в основному стало можливим завдяки WebAssembly (WASM)Навіть Adobe Photoshop, довго вказуваний як головна причина того, чому багато людей не можуть практично використовувати Linux через його необхідність та несумісність з Linux, тепер дружній до Linux завдяки знаходженню всередині браузера. Це також великий плюс у сфері безпеки: в то час як браузери мають недоліки, в цілому вони мають набагато більше пісочниці, ніж встановлені програми: програми не можуть отримати доступ до довільних файлів на вашому комп'ютері.
• Захищені операційні системи.GrapheneOSдля мобільних пристроїв існує і дуже зручний.QubesOSдля комп'ютера існує; наразі вона трохи менш придатна, ніж Graphene, принаймні за моєю думкою, але вона поліпшується.
• Спроби вийти за межі паролів. Нажаль, паролі важко забезпечити безпеку, як через те, що їх важко запам'ятати, так і черезїх легко підслуховувати. Недавно стала зростаюча тенденція до зменшення акценту на паролях та впровадження аутентифікації на основі багаторазових апаратних факторівфактично працюють.

Проте відсутність кіберзахисту в інших сферах також спричинила серйозні негаразди. Потреба у захисті від спаму призвела до того, що електронна пошта сталадуже олігопольний на практиці, що ускладнює самостійне розміщення або створення нового поштового провайдера. Багато онлайн-додатків, включаючи Twitter, вимагають входу користувачів для доступу до контенту, та блокування IP-адрес з VPN, що ускладнює доступ до Інтернету з урахуванням конфіденційності. Централізація програмного забезпечення також є ризикованою через “збройована взаємозалежність”: тенденція сучасних технологій прокладати шлях через централізовані точки душі, а оператори цих точок використовувати цю силу для збору інформації, маніпулювання результатами або виключення певних учасників - стратегія, яка, схоже, навіть зараз використовуєтьсяпроти самої галузі блокчейну.

Це хвилюючі тенденції, оскільки це загрожує тому, що історично було однією з моїх великих надій на те, чому майбутнє свободи та конфіденційності, незважаючи на глибокі компроміси, все одно може бути яскравим. У своїй книзі «Майбутнє неідеальне», Девід Фрідман передбачає, що ми можемо отримати компромісне майбутнє: реальний світ буде все більше під наглядом, але за допомогою криптографії онлайн-світ збереже й навіть покращить свою конфіденційність. Нажаль, як ми бачили, такий контртренд далеко не гарантований.

Це те, де моя власна акцентуація на криптографічні технології, такі як блокчейни й докази з нульовим розголошеннямприходить. Блокчейни дозволяють нам створювати економічні та соціальні структури з «спільним жорстким диском» без необхідності покладатися на централізованих учасників. Криптовалюта дозволяє фізичним особам зберігати гроші та здійснювати фінансові транзакції, як і раніше через інтернет на готівку, без покладання на довірені сторони, які можуть змінити свої правила за власним бажанням. Вони також можуть служити як запасний механізм проти-сибіл, зроблення атак і спаму дорогиминавіть для користувачів, які не мають або не хочуть виявляти свою ідентичність в реальному просторі. Абстракція облікового запису, і особливосоціальні відновлення гаманці, може захищати наші криптовалютні активи, а можливо й інші активи у майбутньому, не переутомлюючись з централізованими посередниками.

Докази з нульовим відомостями можуть бути використані для конфіденційності, дозволяючи користувачам доводити речі про себе, не розголошуючи приватну інформацію. Наприклад, обережно,цифровий паспорт підписуу ZK-SNARK, щоб довести, що ви є унікальним громадянином певної країни, не розголошуючи, яким громадянином ви є. Технології, подібні до цієї, дозволяють нам зберігати переваги конфіденційності та анонімності - властивості, які широко визнані якнеобхідне для застосувань, таких як голосування - підтримуючи гарантії безпеки та борючись з спамом та поганими акторами.

Запропонований дизайн для системи ZK соціальних медіа, де можуть відбуватися модераційні дії і користувачі можуть бути покарані, все це без необхідності знати чиюсь ідентичність.

Zupass, виведено на світло Zuzaluраніше цього року - відмінний приклад цього на практиці. Це додаток, який вже використовується сотнями людей в Zuzalu, а недавно - тисячами людей для придбання квитків на Devconnect, що дозволяє вам утримувати квитки, членства, (непередавальний) цифрові колекціонні предмети, та інші свідчення, та підтверджуйте їхню автентичність, не посягаючи на вашу конфіденційність. Наприклад, ви можете підтвердити, що ви унікальний зареєстрований мешканець Zuzalu, або власник квитка Devconnect, не розголошуючи нічого іншого про себе. Ці докази можна показати особисто, за допомогою QR-коду або цифрово, щоб увійти до додатків, наприклад,Zupoll, анонімізована система голосування доступна лише мешканцям Zuzalu.

Ці технології є відмінним прикладом принципів д/д: вони дозволяють користувачам та спільнотам перевіряти надійність, не порушуючи конфіденційність, і захищати їхню безпеку, не покладаючись на централізовані точки блокування, які нав'язують власні визначення того, хто є хорошим і поганим. Вони покращують глобальну доступність, створюючи кращі та справедливіші способи захисту безпеки користувача чи сервісу, ніж загальні техніки, які використовуються сьогодні, такі як дискримінація проти цілих країн, які вважаються ненадійними. Це дуже потужні примітиви, які можуть бути необхідними, якщо ми хочемо зберегти децентралізоване бачення інформаційної безпеки на початку 21-го століття. Робота над оборонними технологіями для кіберпростору загалом може зробити Інтернет більш відкритим, безпечним та вільним в дуже важливих аспектах у майбутньому.

Інфо-оборона

Кіберзахист, як я його описав, полягає в ситуаціях, де розумним людям легко дійти згоди щодо того, хто є нападником. Якщо хтось намагається взламати ваш гаманець, легко погодитися, що хакер - поганий хлопець. Якщо хтось намагається здійснити атаку DoS на сайт, легко погодитися, що вони вчиняють зло, і не морально те ж саме, що й звичайний користувач, який намагається прочитати, що є на сайті. Є інші ситуації, де межі більш розмиті. Це інструменти для покращення нашого захисту в таких ситуаціях, я називаю "інфо-захист".

Візьміть, наприклад, перевірку фактів (тобто запобігання "дезінформації"). Я великий шанувальник Спільнотні нотатки, яка зробила багато для того, щоб допомогти користувачам визначати правду й брехню у тому, що інші користувачі твітять. Community Notes використовує новий алгоритм, який підносить не нотатки, які є найпопулярнішими, а от нотатки, які найбільше схвалені користувачами з різних політичних спектрів.

Записи спільноти в дії.

Я також шанувальник ринків прогнозування, які можуть допомогти визначити значимість подій в реальному часі, перш ніж пил відійде і буде досягнуто консенсусу щодо того, який напрямок є яким. Polymarket на Сем Альтмендуже корисно у наданні корисного підсумку остаточних наслідків годинних відкриттів та переговорів, що надає необхідний контекст людям, які бачать лише окремі новини і не розуміють значення кожної з них.

Ринки прогнозів часто мають дефекти. Але твіттер-інфлюенсери, які готові впевнено висловлювати свою думку про те, що, на їх думку, "відбудеться" протягом наступного року, часто ще більше допускають помилок. Є ще місце для подальшого вдосконалення ринків прогнозування. Наприклад, серйозним практичним недоліком ринків прогнозування є низький обсяг торгів, окрім найбільш відомих подій; природним напрямком для спроби вирішити це було б мати ринки прогнозування, в які грають штучні інтелекти.

У просторі блокчейну є певний тип захисту інформації, який, на мою думку, нам потрібно набагато більше. А саме, гаманці повинні бути більш виразними та активними у допомозі користувачам визначати значення того, що вони підписують, та захищати їх від шахрайства та обману. Це проміжний випадок: що є шахрайством, а що ні, менш суб'єктивно, ніж погляди на контроверсійні соціальні події, але це більш суб'єктивно, ніж відокремлення законних користувачів від атакувальників DoS чи хакерів. У Metamask вже є база даних щодо шахрайств, яка автоматично блокує користувачів від відвідування сайтів-шахрайок:

Програми, такі як Пожежаприклад одного зі способів піти набагато далі. Однак програмне забезпечення безпеки, подібне до цього, не повинно бути чимось, що вимагає явного встановлення; воно повинно бути частиною криптовалютних гаманців, або навіть браузерів, за замовчуванням.

Через свою більш суб'єктивну природу інформаційний захист властиво більш колективний, ніж кіберзахист: вам потрібно якось приєднатися до великої та високоосвіченої групи людей, щоб визначити, що може бути правдою або неправдою, і який вид застосування є обманним понзі. Є можливість для розробників піти набагато далі в розвитку ефективного інформаційного захисту та у зміцненні існуючих форм інформаційного захисту. Щось на зразок Спільнотних нотаток може бути включено в браузери, і охоплювати не лише платформи соціальних мереж, але й увесь інтернет.

Соціальні технології поза рамками "оборони"

До певної міри мене можна виправдано звинувачувати у примусовому впровадженні, описуючи деякі з цих інформаційних технологій як "про оборону". В кінцевому підсумку, оборона полягає в тому, щоб допомогти добросовісним учасникам бути захищеними від злоінтенційних учасників (або, у деяких випадках, від природи). Деякі з цих соціальних технологій, однак, створені для допомоги доброзичливим учасникам формувати консенсус.

Хорошим прикладом цього є pol.is, який використовує алгоритм, подібний до Спільних нот (і який передує Спільним нотам), щоб допомогти спільнотам визначити пункти згоди між підплеменами, які інакше не погоджуються на багато.Viewpoints.xyzбуло натхнене pol.is та має схожий дух:

Такі технології можуть бути використані для забезпечення більш децентралізованого управління спірних питань. Знову ж таки, спільноти блокчейну є хорошою площадкою для такого тестування, де такі алгоритми вже проявилися цінними. Загалом, рішення щодо того, які покращення ("EIPsзміни, які вносяться в протокол Ethereum, робить досить невелика група на зустрічах під назвоюУсі викладачі ядра“. Для високотехнічних рішень, коли більшість членів спільноти не мають сильних почуттів, це працює досить добре. Для більш важливих рішень, які впливають на економіку протоколу або більш фундаментальні цінності, такі як незмінність та опір цензурі, цього часто не вистачає. Назад у 2016-17 роках, коли було серія спірних рішень щодо впровадженняDAO fork, зменшуючи випуск та (не)розморожуємо гаманець Parity, інструменти, такі як Carbonvote, а також голосування в соціальних мережах, допомогли спільноті та розробникам побачити, в якому напрямку була спрямована більшість громадської думки.

Голосування за вуглецеве голосування на вилучення DAO.

Голосування за вугіллямало помилок: воно покладалося на утримання ETH, щоб визначити, хто є членом спільноти Ethereum, що робить результат залежним від кількох багатих утримувачів ETH («китів»). Однак за допомогою сучасних інструментів ми могли б створити набагато кращий Carbonvote, використовуючи різні сигнали, такі як POAPs, марки Zupass, Gitcoin passports, Членство у гільдії протоколу, а також утримання ETH (або навіть одиночних ETH, зареєстрованих в чистому вигляді), щоб оцінити членство у спільноті.

Інструменти, подібні до цього, можуть використовуватися будь-якою спільнотою для прийняття більш якісних рішень, пошуку точок спільності, координації (фізичної або цифрової) міграцій або виконання числа інших завдань без покладанняся на непрозоре централізоване керівництво. Це не прискорення оборони як таке, але це, безумовно, можна назвати прискоренням демократії. Такі інструменти навіть можуть бути використані для покращення та демократизації управління ключовими акторами та установами, які працюють у сфері штучного інтелекту.

Так які є шляхи розвитку суперінтелекту?

Вищезазначене все добре і добре, і може зробити світ набагато більш гармонійним, безпечним і вільним місцем для наступного століття. Однак воно ще не розглядає великого слона в кімнаті: суперінтелектуальний штучний інтелект.

Стандартний шлях, запропонований багатьма тими, хто хвилюється щодо штучного інтелекту, суттєво веде до світового уряду з мінімальним штучним інтелектом. Версії цього на найближчу перспективу включають пропозицію щодо «міжнародний консорціум штучного загального інтелекту» (“MAGIC”). Такий консорціум, якщо він буде створений і досягне своїх цілей у створенні суперінтелектуального штучного інтелекту, матиме природний шлях до того, щоб стати фактично мінімальним світовим урядом. На більш довготривалий термін є ідеї, такі як "вирішальний акт"теорія: ми створюємо штучний інтелект, який виконує одноразову дію, яка перетворює світ на гру, де з цього моменту люди все ще керують, але де гральна дошка якимось чином більш схильна до захисту і більш підходить для процвітання людини.

Головна практична проблема, яку я бачу в цьому питанні, полягає в тому, що люди, схоже, насправді не довіряють жодному конкретному механізму управління повноваження будувати такі речі. Цей факт стає очевидним, коли ви дивитеся на результати моїх нещодавніх опитувань у Twitter, які запитують, чи хотіли б люди бачити штучний інтелект монополізованим однією організацією з десятирічною перевагою, чи штучний інтелект відкладений на десять років для всіх:

Розмір кожного опитування невеликий, але опитування компенсують це одноманітністю своїх результатів у широкому спектрі джерел і варіантів. У дев'яти з дев'яти випадків більшість людей воліли б, щоб високорозвинений штучний інтелект затримався на десять років, ніж був би монополізований однією групою, будь то корпорація, уряд або транснаціональна організація. У семи з дев'яти випадків затримка виграла як мінімум два до одного. Це здається важливим фактом, який слід розуміти кожному, хто займається регулюванням штучного інтелекту. Поточні підходи зосереджені на створенні схем ліцензування та нормативних вимог, намагаючись обмежити розробку ШІ меншою кількістю людей, але вони зазнали народного опору саме тому, що люди не хочуть, щоб хтось монополізував щось настільки потужне. Навіть якщо такі регулятивні пропозиції знизу знизу зменшують ризики зникнення, вони ризикують збільшити шанси на якесь постійне блокування централізованого тоталітаризму. Парадоксально, але чи можуть угоди, що повністю забороняють надзвичайно просунуті дослідження ШІ (можливо, за винятком біомедичного ШІ), у поєднанні з такими заходами, як обов'язкове відкриття вихідного коду для тих моделей, які не заборонені, як спосіб зменшення мотивів отримання прибутку з подальшим покращенням рівності доступу, бути більш популярними?

Основний підхід, який віддають перевагу опоненти шляху "давайте отримаємо одну глобальну організацію, яка буде займатися штучним інтелектом і робити його управління дійсно дуже добре", багатобожний штучний інтелект: намагайтеся впевнитися, що багато людей та компаній розробляють багато ШІ, щоб жодна з них не стала набагато потужнішою за іншу. За цією теорією, навіть коли ШІ стають суперінтелектуальними, ми можемо зберегти баланс сили.

Ця філософія цікава, але мій досвід спроби забезпечити "політеїзм" в екосистемі Ethereum заставляє мене хвилюватися, що це властиво нестійка рівновага. У Ethereum ми намагалися забезпечити децентралізацію багатьох частин стеку: забезпечити, що не існує одного кодової бази, яка контролюєбільше половини мережі доказу участі, намагаючись протидіяти домінування великих стейкінг-пулів, покращення географічна децентралізація, і так далі. По суті, Ethereum фактично намагається реалізувати стару лібертаріанську мрію про суспільство, засноване на ринку, яке використовує соціальний тиск, а не уряд, як регулятор антимонопольної політики. До певної міри це спрацювало: Домінування клієнта Prysmвпав зі значення понад 70% до менше 45%. Але це не є якимось автоматичним ринковим процесом: це результат людської наміри та координованої дії.

Мій досвід у межах Ethereum віддзеркалюється у вивченнях зі всього світу в цілому, де багато ринків довелисяприродні монополіїЗ суперінтелектуальними штучними інтелектами, які діють незалежно від людей, ситуація стає ще більш нестійкою. Завдяки рекурсивне самовдосконалення, найсильніша штучний інтелект може дуже швидко вийти вперед, і якщо штучні інтелекти стануть потужнішими за людей, не існує сили, яка могла б повернути речі в рівновагу.

Додатково, навіть якщо ми отримаємо політеїстичний світ суперінтелектуальних штучних інтелектів, який виявиться стабільним, у нас все ще є інша проблема: ми отримаємо всесвіт, де люди - це домашні тварини.

Щасливий шлях: злиття з ШІ?

Інша опція, про яку я почув недавно, - це зосередження менше на штучному інтелекті як на щось окреме від людей, а більше на інструментах, які покращують когнітивні здібності людини, а не замінюють їх.

Один близький приклад чогось, що йде в цьому напрямку, - це інструменти для малювання штучного інтелекту. Сьогодні найбільш відомі інструменти для створення зображень, створених штучним інтелектом, мають тільки один етап, на якому людина дає свій внесок, і штучний інтелект повністю бере на себе подальшу роботу. Альтернативою було б більше зосередитися на штучних інтелектівських версіях Photoshop: інструменти, де художник або штучний інтелект можуть зробити перший набросок малюнка, а потім обидва співпрацюють у покращенні його за допомогою процесу натхнення в реальному часі.

Photoshop генеративне заповнення штучного інтелекту, 2023. Джерело. Я спробував, і мені знадобиться час, щоб звикнути, але це дійсно добре працює!

Іншим напрямком у подібному дусі єВідкрита агентська архітектура, яка пропонує розбити різні частини «розуму» штучного інтелекту (наприклад, розробка планів, виконання планів, інтерпретація інформації зовнішнього світу) на окремі компоненти та вводити різноманітний людський фідбек між цими частинами.

Досі це звучить просто, і майже всі згодні, що це було б добре мати. Робота економіста Дарона Аджемоглу далека від такого майбутнього штучного інтелекту, але його нова книга Сила та Прогреснатякують на бажання бачити більше саме таких типів ШІ.

Але якщо ми хочемо екстраполювати цю ідею співпраці людини та штучного інтелекту далі, ми приходимо до більш радикальних висновків. Якщо ми не створимо потужний світовий уряд, здатний виявляти та припиняти кожну невелику групу людей, які взламують окремі графічні процесори з ноутбуками, хтось все ж створить суперінтелект штучного інтелекту в кінцевому підсумку - такий, що може мислити тисячу разів швидшеніж ми можемо - і жодне поєднання людей, які використовують інструменти своїми руками, не зможе витримати цього. Тому нам потрібно піти глибше і далі в цій ідеї співпраці людини і комп'ютера.

Перший природний крок є інтерфейси мозок-комп'ютер. Інтерфейси мозок-комп'ютер можуть надати людям набагато більш прямий доступ до все більш потужних форм обчислень і пізнання, скорочуючи двосторонній зв'язок між людиною і машиною з секунд до мілісекунд. Це також значно зменшить витрати на «розумові зусилля», пов'язані з комп'ютером, який допомагатиме вам збирати факти, давати пропозиції або виконувати план.

Пізніші етапи такої дорожньої карти, мабуть, стають дивними. Крім інтерфейсів мозок-комп'ютер, є різні шляхи покращення наших мозків безпосередньо за допомогою інновацій в біології. Остаточним наступним кроком, який об'єднує обидва шляхи, може бутизавантажуємо наші розумипрацювати безпосередньо на комп'ютерах. Це також було б кінцевою d/acc для фізичної безпеки: захист себе від шкоди більше не буде складною проблемою захисту невблаганно-м'яких людських тіл, але, скоріше, набагато простішою проблемою створення резервних копій даних.

Такі напрямки іноді викликають хвилювання, зокрема через їх незворотність, а також через те, що вони можуть надати впливовим людям більше переваг перед рештою з нас. Інтерфейси мозку-комп'ютер, зокрема, мають небезпеки - в кінцевому підсумку, ми говоримо про буквально читання та записування в розум людей. Саме ці питання саме тому я вважаю ідеальним те, щоб провідна роль в цій сфері належала руху з відкритим вихідним кодом, орієнтованому на безпеку, а не закритим і пропрієтарним корпораціям та інвестиційним фондам. Крім того, всі ці питання гірші з суперінтелектуальними штучними інтелектами, що працюють незалежно від людей, ніж з покращеннями, що тісно пов'язані з людьми. Розрив між «покращеним» та «непокращеним» вже існує сьогодні черезобмеження в тому, хто може, а хто не може використовувати ChatGPT.

Якщо ми хочемо майбутнього, яке буде одночасно наділеним вищим інтелектом та "людським", де людина не просто домашній улюбленець, а насправді зберігає значуще вплив на світ, то відчувається, що щось подібне - найбільш природний варіант. Є також вагомі аргументи на користь того, що це може бути безпечним шляхом спрямування ШІ: залучаючи людський фідбек на кожному кроці прийняття рішень, ми зменшуємо стимул до делегування відповідальності за планування на високому рівні самій ШІ, тим самим зменшуючи шанс того, що ШІ зробить щось абсолютно неспівмірне з цінностями людства сам по собі.

Ще одним аргументом на користь цього напрямку є те, що він може бути більш соціально прийнятним, ніж просто кричати «пауза AI" без додаткового повідомлення, що забезпечує альтернативний шлях уперед. Це вимагатиме філософського відходу від нинішнього менталітету, згідно з яким технологічні досягнення, які торкаються людей, небезпечні, але прогрес, який відокремлений від людей, за замовчуванням безпечний. Але у нього є величезна компенсаційна перевага: він дає розробникам чим зайнятися. Сьогодні основний меседж руху за безпеку штучного інтелекту розробникам штучного інтелекту, схоже, звучить так: «Ви повинні просто зупинитися“. Один можепрацювати над дослідженням вирівнювання, але сьогодні цьому бракує економічних стимулів. Порівняно з цим загальне повідомлення "ви вже герой такий, яким єте" зрозуміло дуже привабливе. Повідомлення, яке каже "ви повинні будувати і створювати прибуткові речі, але бути набагато вибірковішими та усвідомленими, щоб переконатися, що ви будуєте речі, які допомагають вам і людству процвітати", може бути переможцем.

Чи сумісний d/acc із вашою існуючою філософією?

• Якщо ви є e/acc, то d/acc є підвидом e/acc - лише більш вибірковим і навмисним.
• Якщо ви єефективний альтруїст, тоді d/acc - це переозначення ідеї ефективного альтруїзму різницева технологічна розробка, хоча з більшим акцентом на ліберальні та демократичні цінності.
• Якщо ви є лібертаріанцем, то d/acc є підвидом технолібертаріанства, хоча більш прагматичним, який критичніше ставиться до "технокапіталістичної машини", і готовий прийняти урядові втручання сьогодні (принаймні, якщо культурні втручання не працюють), щоб запобігти набагато гіршій неволі завтра.
• Якщо ви плюраліст, в Сенс Глен Вейла терміну, тоді d/acc - це рамка, в яку легко включити акцент на кращу технологію демократичної координації, яку цінує Багатообраз'я.
• Якщо ви є пропагандистом громадського здоров'я, то ідеї d/acc можуть бути джерелом більш широкої довгострокової візії та можливістю знайти спільну мову з «технологічними людьми», з якими ви можливо інакше відчували суперечності.
• Якщо ви є прихильником блокчейну, то d/acc - це сучасна і більш широка наративна концепція, яку варто прийняти, ніж п'ятнадцятирічний акцент на гіперінфляцію та банки, який ставить блокчейни в контекст як один із багатьох інструментів у конкретній стратегії для побудови яскравішого майбутнього.
• Якщо ви є солярпанк, потім d/acc є підвидом соларпанку, і включає подібний акцент на умінні та колективній дії.
• Якщо ви є lunarpunk, тоді ви оціните акцент на інформаційну оборону, через збереження конфіденційності та свободи.

Ми - найяскравіша зірка

Я люблю технології, тому що технологія розширює людський потенціал. Десять тисяч років тому ми могли побудувати деякі ручні інструменти, змінювати рослини, що ростуть на невеликій ділянці землі, і будувати базові будинкиСьогодні ми можемо побудувати вежі висотою 800 метрів, зберігати всю записану людську мудрість в пристрої, який ми можемо тримати в руках, миттєво спілкуватися по всьому світу, подовжувати наше тривале життя вдвічі, і жити щасливими та задоволеними, не боячись, що наші найкращі друзі регулярно помиратимуть від хвороб.

Ми почали знизу, тепер ми тут.

Я вважаю, що ці речі є дуже добрими, і розширення досягнень людства навіть далі до планет і зірок є дуже добрим, оскільки я вважаю, що людство є дуже добрим. У деяких колах модно бути сумнівним стосовно цього: розгорнення добровільного вимирання людинистверджує, що Земля була б краще без існування людей взагалі, і багато хто б хотів бачити набагато менше людейпобачити світло цього світу у століттях, які прийдуть. Це загально відомо сперечатисящоЛюди поганітому що ми обманюємо і крадемо, займаємося колоніалізмом і війною, і знущаємося та знищуємо інші види. Моя відповідь на цей спосіб мислення - одне просте питання: порівняно з чим?

Так, люди часто бувають злими, але набагато частіше ми проявляємо доброту та милосердя, і спільно працюємо на користь усіх. Навіть під час війни ми часто стараємося захищати цивільне населення - звісно, далеко не достатньо, але все ж більше, ніжми зробили 2000 років тому. У наступному сторіччі може з'явитися широкодоступне м'ясо, що не базується на тваринах, що виключить найбільша моральна катастрофалюдей можна вважати винними сьогодні. Нелюдські тварини не схильні до цього. Немає ситуації, коли кіт прийме цілковитий спосіб життя відмовлятися від мишей як етичного принципу. Сонце стає яскравішим щороку, і через приблизноодин мільярд років, очікується, що це зробить Землю занадто гарячою для підтримки життя. Чи думає Сонце взагалі про геноцид, який воно збирається спричинити?

Так що я наполегливо вірю, що серед усього, що ми знаємо і бачимо в нашому Всесвіті, ми, люди, є найяскравішою зіркою. Ми - це те, про що ми знаємо, навіть якщо й неповноцінно, іноді робимо щиру спробу турбуватися про “добро” та коригувати наше поведінку, щоб краще служити йому. Через два мільярди років, якщо Земля або будь-яка частина Всесвіту все ще несе в собі красу земного життя, це будуть людські штучності, такі як космічні подорожі та геоінженеріящо зробить це можливим.

Нам потрібно будувати і прискорювати. Але є дуже реальне питання, яке потрібно задати: на що саме ми прискорюємося? XXI століття може бути решітельний століттядля людства, століття, в якому вирішується наша доля на тисячоліття, які нас чекають. Ми потрапимо в одну з кількох пасток, з яких ми не зможемо вийти, чи знайдемо шлях до майбутнього, де збережемо свою свободу та можливість діяти? Це складні проблеми. Але я з нетерпінням чекаю спостерігати та брати участь у великому колективному зусиллі нашого виду у пошуках відповідей.

Відмова від відповідальності：

1. Ця стаття перепечатана з [GateВіталік Бутерін]. Усі авторські права належать оригінальному автору [Vitalik Buterin]. Якщо є зауваження до цього повторного друку, будь ласка, зв'яжіться з Gate Learnкоманда, і вони оперативно з цим впораються.
2. Відповідальність за відмову: Погляди та думки, висловлені в цій статті, належать виключно автору і не становлять жодної інвестиційної поради.
3. Переклади статті на інші мови виконуються командою Gate Learn. Якщо не зазначено, копіювання, поширення або плагіатування перекладених статей заборонені.