Ся Хе: Добрий день, Флуд, ви можете спочатку коротко представитися?
Flood Sung: Всім привіт, я Flood Sung, наразі я є керівником продуктів штучного інтелекту в QiYuan World. Раніше я працював у ByteDance як дослідник з підкріплювального навчання, зосереджуючи увагу на розробці технологій, пов'язаних із штучним інтелектом.
Ся Хе: Давайте почнемо з легких тем. Чи бачили ви останнім часом якісь особливо цікаві або вражаючі форми продуктів, якими могли б поділитися?
Flood Sung: Останнім часом найпопулярніші продукти знаходяться на GitHub, а зарубіжна культура відкритого вихідного коду дуже сильна, і багато гіків не хочуть заробляти гроші, а спочатку займаються проектами з відкритим вихідним кодом, щоб пограти. Зараз усі головні тренди на GitHub пов'язані з ChatGPT, наприклад, дуже популярний додаток під назвою AutoGPT, який має на меті зробити GPT повністю автоматизованим. Наприклад, хтось підключив GPT до Siri за допомогою коду, сказав «допоможіть мені створити веб-сайт» за допомогою голосових команд і взаємодіяв зі звуком протягом усього процесу, і, нарешті, створив веб-сайт. Це перейшло від допомоги людям до почергового виконання, що дуже цікаво, і воно набрало 10 000 зірок за кілька днів.
Ся Хе: Це вже може виконувати реальні завдання? Раніше, здається, воно все ще перебувало на стадії уяви.
Flood Sung: Так, накопичення знань і пізнавальні здібності GPT-4 вже перевищують рівень університетського студента. Лише за умови надання йому доступу до програмного забезпечення або інтерфейсів, з невеликим доопрацюванням, він може підключитися до реального світу для виконання завдань. Наприклад, «допоможи мені забронювати готель», якщо надати йому доступ до Alipay, він зможе оформити замовлення. Це вже не наука-фантастика, ентузіасти швидко перевіряють це, технологічний прогрес відбувається дуже швидко, від діалогу до читання документів, а тепер до виконання завдань.
Ся Хе: Чи є технологія ChatGPT парадигмальним проривом, чи продовженням попередніх технологій?
Flood Sung: Це, безумовно, продовження технологій минулого. Ілля Суцкевер, головний науковий співробітник Open AI, також розповів, що у ChatGPT немає нових ідей, і всі ідеї були ще десяток-два років тому, такі як нейронні мережі та навчання з підкріпленням. Різниця полягає в масштабі: раніше десятки нейронів, тепер нейронна мережа з сотнями мільярдів параметрів. Трансформер з'явився у 2017 році, але його механізм уваги існував набагато раніше. Успіх AlphaGo також є свідченням потенціалу навчання з підкріпленням у конкретних областях. Тепер справа лише в тому, щоб використовувати ці методи на мовних моделях, оптимізуючи вихідні дані відповідно до людських потреб.
Ся Хе: Тож, чи викликаний резонанс ChatGPT застосуванням існуючих технологій до великих мовних моделей?
Flood Sung: Так. Світ тексту охоплює людську логіку і мислення, має дуже широкий спектр застосування. Open AI кілька років тому закрила відділ робототехніки, повністю зосередившись на мовних моделях, і так само, як AlphaGo, спочатку тренувалися на даних експертів, а потім оптимізувалися за допомогою підкріплювального навчання, що дало значні результати.
Ся Хе: Ви згадали, що процес навчання ChatGPT подібний до людського: заучування, виконання завдань, іспит. Яким технологіям відповідають ці три етапи?
Флуд Сонг: Перший етап «запам'ятовування» – це навчання без нагляду, коли модель передбачає наступне слово, подібно до схвалення, і чим точніше передбачення, тим краще навчання. Другий етап «вирішення проблем» — це навчання під наглядом, яке використовує людські інструкції (такі як написання коду, віршів або звітів) для тренування введення та виведення, подібно до відповідей на запитання на іспиті. Третій етап «іспиту» – навчання з підкріпленням, яке оптимізує нейронні мережі за допомогою зворотного зв'язку з людиною. Наприклад, гра в настільний теніс, багаторазові тренування для підвищення рівня; Штучний інтелект тренує моделі винагород за допомогою оцінювання людиною, постійно оптимізує продуктивність і все більше і більше відповідає вимогам людини.
Ся Хе: У чому різниця між Китаєм та Open AI? У галузі кажуть, що різниця в два роки, на якому етапі це відбувається?
Флуд Сонг: Прірва перш за все в усвідомленні. Ще кілька років тому ніхто не вірив, що просте передбачення наступного персонажа зробить ШІ здатним до логічного мислення. Open AI вірить і твердо вірить, що великі моделі та великі дані можуть вирішити проблеми, і інвестувала багато від 1,5 мільярда параметрів GPT-2 до 175 мільярдів у GPT-3. У Китаї вона зосереджена на сферах заробітку, таких як доставка їжі, електронна комерція та короткі відео, і не має енергії інвестувати в передові технології. Зараз вітчизняні виробники і стартапи надолужують згаяне, але перевершити тільки трекінг складно. Open AI не розкриває подробиць новітніх алгоритмів, і Китаю потрібно впроваджувати інновації по-своєму, інакше буде складно конкурувати.
Ся Хе: Раніше Open AI публікував статті, які описували методи навчання, а тепер не відкриває, які частини?
Flood Sung: Раніше були статті, наприклад, про деталі навчання GPT-3. Зараз технічний звіт GPT-4 лише демонструє результати, наприклад, близькість до максимального балу на американському випускному іспиті, але архітектура мережі та техніки навчання залишаються повністю закритими, і ми можемо лише здогадуватися. Основні технології, такі як Transformer, є відкритими, але конкретна реалізація останніх моделей є чорним ящиком.
Ся Хе: Усі кажуть, що ChatGPT — це момент iPhone в історії мобільних телефонів. Як ви вважаєте, як буде розвиватися його майбутня екосистема?
Флуд Санг: Вплив ChatGPT значно перевищує вплив iPhone, більше схожий на винахід електрики, створивши новий медіум, що надає можливості в усіх галузях. У майбутньому будь-яка сфера може підключитися до AI. Якщо Open AI домінуватиме, як Apple, з перевагою в продуктивності; відкриті моделі, як Android, з дещо нижчою продуктивністю, але з нижчими витратами, з'являться всюди. Можливо, з'явиться кілька провідних гравців, які змагатимуться, але відкриті моделі зроблять AI поширеним, як мобільні телефони, і кожен зможе їх використовувати.
Ся Хе: ChatGPT став популярним, а Prompt Engineering (інженерія запитів) також набирає популярності. Чи потрібно звичайним людям вивчати цю мовну норму для спілкування з ШІ?
Flood Sung: не обов'язково вчитися, але навчитися використовувати AI може підвищити ефективність. У майбутньому, як у програмуванні, звичайні люди зможуть розробляти програми природною мовою, бар'єри значно знизяться. Основна суть Prompt Engineering полягає в чіткому вираженні вимог, як це робить менеджер продукту. Той, хто краще використовує AI, матиме конкурентну перевагу; повна відсутність використання може призвести до вимирання. У майбутньому AI стане партнером людства, але за умови забезпечення безпеки та уникнення порушення людської волі.
Ся Хе: Ви згадали про питання безпеки. Зараз багато людей діляться шаблонами підказок, щоб підвищити продуктивність. Чи зникне в майбутньому Prompt Engineering, як це сталося з ранніми "експертами пошуку"?
Flood Sung: Не зникне, просто бар'єр знизиться. Попит завжди існуватиме, як і управління працівниками, ви повинні чітко висловити цілі. Prompt Engineering - це мистецтво запитів на логічному рівні, а не технічна проблема. У майбутньому може бути простіше, але все ще потрібно чітко спілкуватися.
Ся Хе: Ви говорили, що ChatGPT може стати провідним експертом у професійних сферах. Чи є причина, чому він неправильно відповідає на професійні питання, недостатня кількість даних у вузькій області чи брак підкріплювального навчання?
Flood Sung: Дві причини. По-перше, недостатня кількість даних у професійній сфері, наприклад, багато завдань з математики для початкової школи, але мало олімпіадних чи складних математичних задач, що призводить до недостатнього навчання. По-друге, щоб перевершити рівень людства, ШІ повинен взаємодіяти із середовищем через підкріплене навчання та досліджувати невідомі області. Наприклад, для розв'язання гіпотези Гольдбака потрібно багато даних у конкретних областях та оптимізація через підкріплене навчання.
Ся Хе: Якщо ШІ перевершить людину за допомогою самопосилення, хто буде судити? Чи не відкине він моральні норми, встановлені людьми?
Flood Sung: Теоретично, ШІ може самостійно навчатися, як Чжоу Ботун через лівий і правий бій, самостійно підвищуючи свої можливості. Це дуже небезпечно, оскільки він може перевищити межі людства і навіть відмовитися від моральних норм. Хоча GPT-4 наразі має обмеження, він все ж може стати злим персонажем через специфічні ключові слова "чорний". Безпека ШІ є серйозною проблемою, адже помилки в автоматичному водінні можуть знищити лише один автомобіль, але помилки надпотужного ШІ можуть вплинути на все людство. Я закликаю спочатку вирішити питання безпеки, а потім просувати дослідження.
Ся Хэ: На що ви останнім часом звертали увагу з передових або цікавих тем? Які джерела інформації ви використовували?
Flood Sung: Щодня є нові досягнення, в основному слідкуйте за Twitter та GitHub, закордонні гіки та вчені часто діляться останніми новинами. Наприклад, Microsoft вбудовує великі моделі в роботи, контролюючи їхню поведінку, досліджуючи простір практично безмежно. Основні канали - це Twitter та GitHub, місце зібрання вчених і гіків.
Ся Хе: Добре, на цьому сьогоднішні питання закінчуються. Дякую Flood за чудовий виступ!
Flood Sung: Нема за що, радий прийняти участь в інтерв'ю!
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
Ексклюзивне інтерв'ю з експертом AI Flood Sung: від автоматизації GPT до RWA, досліджуючи майбутнє AI та Блокчейн
Ся Хе: Добрий день, Флуд, ви можете спочатку коротко представитися?
Flood Sung: Всім привіт, я Flood Sung, наразі я є керівником продуктів штучного інтелекту в QiYuan World. Раніше я працював у ByteDance як дослідник з підкріплювального навчання, зосереджуючи увагу на розробці технологій, пов'язаних із штучним інтелектом.
Ся Хе: Давайте почнемо з легких тем. Чи бачили ви останнім часом якісь особливо цікаві або вражаючі форми продуктів, якими могли б поділитися?
Flood Sung: Останнім часом найпопулярніші продукти знаходяться на GitHub, а зарубіжна культура відкритого вихідного коду дуже сильна, і багато гіків не хочуть заробляти гроші, а спочатку займаються проектами з відкритим вихідним кодом, щоб пограти. Зараз усі головні тренди на GitHub пов'язані з ChatGPT, наприклад, дуже популярний додаток під назвою AutoGPT, який має на меті зробити GPT повністю автоматизованим. Наприклад, хтось підключив GPT до Siri за допомогою коду, сказав «допоможіть мені створити веб-сайт» за допомогою голосових команд і взаємодіяв зі звуком протягом усього процесу, і, нарешті, створив веб-сайт. Це перейшло від допомоги людям до почергового виконання, що дуже цікаво, і воно набрало 10 000 зірок за кілька днів.
Ся Хе: Це вже може виконувати реальні завдання? Раніше, здається, воно все ще перебувало на стадії уяви.
Flood Sung: Так, накопичення знань і пізнавальні здібності GPT-4 вже перевищують рівень університетського студента. Лише за умови надання йому доступу до програмного забезпечення або інтерфейсів, з невеликим доопрацюванням, він може підключитися до реального світу для виконання завдань. Наприклад, «допоможи мені забронювати готель», якщо надати йому доступ до Alipay, він зможе оформити замовлення. Це вже не наука-фантастика, ентузіасти швидко перевіряють це, технологічний прогрес відбувається дуже швидко, від діалогу до читання документів, а тепер до виконання завдань.
Ся Хе: Чи є технологія ChatGPT парадигмальним проривом, чи продовженням попередніх технологій?
Flood Sung: Це, безумовно, продовження технологій минулого. Ілля Суцкевер, головний науковий співробітник Open AI, також розповів, що у ChatGPT немає нових ідей, і всі ідеї були ще десяток-два років тому, такі як нейронні мережі та навчання з підкріпленням. Різниця полягає в масштабі: раніше десятки нейронів, тепер нейронна мережа з сотнями мільярдів параметрів. Трансформер з'явився у 2017 році, але його механізм уваги існував набагато раніше. Успіх AlphaGo також є свідченням потенціалу навчання з підкріпленням у конкретних областях. Тепер справа лише в тому, щоб використовувати ці методи на мовних моделях, оптимізуючи вихідні дані відповідно до людських потреб.
Ся Хе: Тож, чи викликаний резонанс ChatGPT застосуванням існуючих технологій до великих мовних моделей?
Flood Sung: Так. Світ тексту охоплює людську логіку і мислення, має дуже широкий спектр застосування. Open AI кілька років тому закрила відділ робототехніки, повністю зосередившись на мовних моделях, і так само, як AlphaGo, спочатку тренувалися на даних експертів, а потім оптимізувалися за допомогою підкріплювального навчання, що дало значні результати.
Ся Хе: Ви згадали, що процес навчання ChatGPT подібний до людського: заучування, виконання завдань, іспит. Яким технологіям відповідають ці три етапи?
Флуд Сонг: Перший етап «запам'ятовування» – це навчання без нагляду, коли модель передбачає наступне слово, подібно до схвалення, і чим точніше передбачення, тим краще навчання. Другий етап «вирішення проблем» — це навчання під наглядом, яке використовує людські інструкції (такі як написання коду, віршів або звітів) для тренування введення та виведення, подібно до відповідей на запитання на іспиті. Третій етап «іспиту» – навчання з підкріпленням, яке оптимізує нейронні мережі за допомогою зворотного зв'язку з людиною. Наприклад, гра в настільний теніс, багаторазові тренування для підвищення рівня; Штучний інтелект тренує моделі винагород за допомогою оцінювання людиною, постійно оптимізує продуктивність і все більше і більше відповідає вимогам людини.
Ся Хе: У чому різниця між Китаєм та Open AI? У галузі кажуть, що різниця в два роки, на якому етапі це відбувається?
Флуд Сонг: Прірва перш за все в усвідомленні. Ще кілька років тому ніхто не вірив, що просте передбачення наступного персонажа зробить ШІ здатним до логічного мислення. Open AI вірить і твердо вірить, що великі моделі та великі дані можуть вирішити проблеми, і інвестувала багато від 1,5 мільярда параметрів GPT-2 до 175 мільярдів у GPT-3. У Китаї вона зосереджена на сферах заробітку, таких як доставка їжі, електронна комерція та короткі відео, і не має енергії інвестувати в передові технології. Зараз вітчизняні виробники і стартапи надолужують згаяне, але перевершити тільки трекінг складно. Open AI не розкриває подробиць новітніх алгоритмів, і Китаю потрібно впроваджувати інновації по-своєму, інакше буде складно конкурувати.
Ся Хе: Раніше Open AI публікував статті, які описували методи навчання, а тепер не відкриває, які частини?
Flood Sung: Раніше були статті, наприклад, про деталі навчання GPT-3. Зараз технічний звіт GPT-4 лише демонструє результати, наприклад, близькість до максимального балу на американському випускному іспиті, але архітектура мережі та техніки навчання залишаються повністю закритими, і ми можемо лише здогадуватися. Основні технології, такі як Transformer, є відкритими, але конкретна реалізація останніх моделей є чорним ящиком.
Ся Хе: Усі кажуть, що ChatGPT — це момент iPhone в історії мобільних телефонів. Як ви вважаєте, як буде розвиватися його майбутня екосистема?
Флуд Санг: Вплив ChatGPT значно перевищує вплив iPhone, більше схожий на винахід електрики, створивши новий медіум, що надає можливості в усіх галузях. У майбутньому будь-яка сфера може підключитися до AI. Якщо Open AI домінуватиме, як Apple, з перевагою в продуктивності; відкриті моделі, як Android, з дещо нижчою продуктивністю, але з нижчими витратами, з'являться всюди. Можливо, з'явиться кілька провідних гравців, які змагатимуться, але відкриті моделі зроблять AI поширеним, як мобільні телефони, і кожен зможе їх використовувати.
Ся Хе: ChatGPT став популярним, а Prompt Engineering (інженерія запитів) також набирає популярності. Чи потрібно звичайним людям вивчати цю мовну норму для спілкування з ШІ?
Flood Sung: не обов'язково вчитися, але навчитися використовувати AI може підвищити ефективність. У майбутньому, як у програмуванні, звичайні люди зможуть розробляти програми природною мовою, бар'єри значно знизяться. Основна суть Prompt Engineering полягає в чіткому вираженні вимог, як це робить менеджер продукту. Той, хто краще використовує AI, матиме конкурентну перевагу; повна відсутність використання може призвести до вимирання. У майбутньому AI стане партнером людства, але за умови забезпечення безпеки та уникнення порушення людської волі.
Ся Хе: Ви згадали про питання безпеки. Зараз багато людей діляться шаблонами підказок, щоб підвищити продуктивність. Чи зникне в майбутньому Prompt Engineering, як це сталося з ранніми "експертами пошуку"?
Flood Sung: Не зникне, просто бар'єр знизиться. Попит завжди існуватиме, як і управління працівниками, ви повинні чітко висловити цілі. Prompt Engineering - це мистецтво запитів на логічному рівні, а не технічна проблема. У майбутньому може бути простіше, але все ще потрібно чітко спілкуватися.
Ся Хе: Ви говорили, що ChatGPT може стати провідним експертом у професійних сферах. Чи є причина, чому він неправильно відповідає на професійні питання, недостатня кількість даних у вузькій області чи брак підкріплювального навчання?
Flood Sung: Дві причини. По-перше, недостатня кількість даних у професійній сфері, наприклад, багато завдань з математики для початкової школи, але мало олімпіадних чи складних математичних задач, що призводить до недостатнього навчання. По-друге, щоб перевершити рівень людства, ШІ повинен взаємодіяти із середовищем через підкріплене навчання та досліджувати невідомі області. Наприклад, для розв'язання гіпотези Гольдбака потрібно багато даних у конкретних областях та оптимізація через підкріплене навчання.
Ся Хе: Якщо ШІ перевершить людину за допомогою самопосилення, хто буде судити? Чи не відкине він моральні норми, встановлені людьми?
Flood Sung: Теоретично, ШІ може самостійно навчатися, як Чжоу Ботун через лівий і правий бій, самостійно підвищуючи свої можливості. Це дуже небезпечно, оскільки він може перевищити межі людства і навіть відмовитися від моральних норм. Хоча GPT-4 наразі має обмеження, він все ж може стати злим персонажем через специфічні ключові слова "чорний". Безпека ШІ є серйозною проблемою, адже помилки в автоматичному водінні можуть знищити лише один автомобіль, але помилки надпотужного ШІ можуть вплинути на все людство. Я закликаю спочатку вирішити питання безпеки, а потім просувати дослідження.
Ся Хэ: На що ви останнім часом звертали увагу з передових або цікавих тем? Які джерела інформації ви використовували?
Flood Sung: Щодня є нові досягнення, в основному слідкуйте за Twitter та GitHub, закордонні гіки та вчені часто діляться останніми новинами. Наприклад, Microsoft вбудовує великі моделі в роботи, контролюючи їхню поведінку, досліджуючи простір практично безмежно. Основні канали - це Twitter та GitHub, місце зібрання вчених і гіків.
Ся Хе: Добре, на цьому сьогоднішні питання закінчуються. Дякую Flood за чудовий виступ!
Flood Sung: Нема за що, радий прийняти участь в інтерв'ю!