З моменту появи chatGPT ШІ стрімко розвивався щомісяця. З такою кількістю моделей і швидкими ітераціями багато людей не можуть не усвідомлювати, що люди, здається, справді стоять на межі воріт AGI.
Нещодавно документ, оприлюднений Управлінням патентів і торгових марок США (USPTO), показує, що OpenAI подала заявку на торговельну марку для "GPT-5" 18 липня. і було прийнято.
Знімок екрана файлу USPTO
Незважаючи на те, що в першій половині цього року різні експерти зі штучного інтелекту та вчені неодноразово виступали з відкритими листами, закликаючи людей звернути увагу на потенційні ризики генеративного штучного інтелекту, OpenAI також оголосив у той час, що не матиме плану підготувати ГПТ-5 в короткий термін.
Однак спокуса науки і техніки нарешті дозволила людям подолати межі табу.
У заявці, оприлюдненій цього разу, OpenAI зазначив, що неопублікований GPT-5 матиме багато можливостей, яких немає в GPT-4, і майже кожен елемент стосується AGI.
Знімок екрана файлу USPTO
Отже, що така зміна означає для ШІ та людей?
Сьогодні в цій статті ми спробуємо провести простий аналіз можливих функцій, змін і впливу GPT-5 на основі обмеженої інформації, розкритої в документах програми OpenAI.
01 Дорога до AGI
У документі, оприлюдненому цього разу, однією з перших змін, згаданих OpenAI, є вдосконалення мультимодальних функцій.
Зокрема, функції GPT-5 включають переклад тексту або мовлення з однієї мови на іншу, розпізнавання мовлення, генерування тексту та мовлення тощо.
Хоча в поточному GPT-4 користувачі також можуть досягати перекладу між різними мовами, але оскільки функція перекладу тут виділена окремо, її, мабуть, було повторно оптимізовано.
Чому OpenAI так підкреслює здатність перекладу GPT-5?
Це може бути тому, що однією з передумов для того, щоб GPT став універсальним, є мінімізація різниці у вартості використання великих моделей різними мовами.
Раніше результати дослідження Оксфордського університету показали, що завдяки методам вимірювання вартості сервера та виставлення рахунків, прийнятим такими службами, як OpenAI, вартість введення та виведення англійською мовою набагато нижча, ніж іншими мовами.
Серед них вартість спрощеної китайської приблизно вдвічі вища за англійську, іспанська в 1,5 рази вища за англійську, а шанська мова в М’янмі в 15 разів вища за англійську.
Оскільки такі мови, як китайська, мають інші, більш складні структури, вони потребують вищого рівня лематизації.
Наприклад, згідно з токенізатором GPT3 OpenAI, для маркера «ваша прихильність» потрібні лише два маркери англійською мовою, але вісім маркерів спрощеною китайською.
Це означає, що для мов, відмінних від англійської, набагато дорожче використовувати та навчати моделі.
І як тільки поріг «мовного бар’єру» пройдено, цей універсальний бар’єр перед GPT, безсумнівно, буде безпосередньо подолано.
Крім того, помітна функція розпізнавання мовлення в документі здається просто непомітною зміною, але до певної міри це ще один шматок OpenAI бруківки GPT-5 на шляху до цегли AGI.
Як ми всі знаємо, у майбутньому напрямку розвитку великих моделей стає все більш очевидною тенденція маргіналізації та терміналізації моделей.
Оскільки в липні цього року Qualcomm випустила велику модель з 1 мільярдом параметрів, яка може працювати на мобільних телефонах, такі виробники, як Honor і Apple, також оголосили, що випустять власні «великі моделі» мобільних телефонів.
Починаючи з мобільних телефонів, дані штучного інтелекту в майбутньому все більше оброблятимуться на стороні терміналів, таких як камери, датчики та автономне водіння.
У такому прикладному сценарії розпізнавання мовлення, безсумнівно, зручніше та ефективніше.
Наприклад, мовна модель AI дозволяє водієві керувати автомобілем за допомогою голосу. Перетворюйте голосові команди водія у виконувані команди, такі як старт, зупинка, прискорення, гальмування та інші операції.
Розумні помічники, які існують у системі мобільних телефонів, як-от SIri, також надаватимуть пріоритет керуванню за допомогою голосових команд.
Видно, що розпізнавання мовлення — це не просто вишенька на торті, а «стандартна конфігурація», коли GPT-5 виходить на бік терміналу.
І через поглинання кожного термінального пристрою GPT-5 також отримає більш маргіналізовані та нелінгвістичні структури даних.
Зрештою, з моменту розробки великої моделі текстові дані, які можна поглинати, майже однакові.Якщо ми хочемо зробити ще один крок на шляху до AGI, цей тип «нетекстових» даних є дуже важливим.
02 Challenge Expert Model
Окрім вищевказаних характеристик, у документі, наданому OpenAI, також згадується: «GPT-5 також може мати здатність навчатися, аналізувати, класифікувати та реагувати на дані».
Судячи з поточної тенденції розвитку штучного інтелекту, це, ймовірно, означає, що GPT-5 має здатність до активного навчання, подібну до здатності розумного тіла.
І завдяки цій здатності GPT-5 принципово відрізнятиметься від попередніх моделей, які можуть лише пасивно вивчати нові знання за допомогою даних про харчування людини.
Зокрема, здатність до активного навчання означає, що модель може самостійно вибирати, отримувати та обробляти дані відповідно до власних цілей і потреб, а не покладатися виключно на дані, надані людьми.
Це дозволяє моделі ефективніше використовувати інформацію та знання в даних і більш гнучко адаптуватися до різних середовищ даних і сценаріїв завдань, а не просто пасивно отримувати та виводити дані.
І така здатність особливо важлива, коли GPT-5 стикається з відносно незнайомими та вертикальними полями.
Деякі конкретні галузі, такі як медицина, право, фінанси тощо, зазвичай мають власні специфічні терміни, правила та системи знань, які можуть бути складними для розуміння та обробки для звичайних мовних моделей.
Якщо GPT-5 має здатність активного навчання, він може автоматично збирати та оновлювати відповідні дані в цих областях з Інтернету, аналізувати та класифікувати основні поняття, важливі принципи та останні розробки в цих сферах, а також реагувати на загальні проблеми в цих сферах. , Типові випадки та практичне застосування.
Таким чином GPT-5 може швидше опановувати експертизу в цих галузях і виконувати відповідні завдання в цих галузях точніше та ефективніше.
І все це є ключем до справжньої загальної моделі.
Тому що якщо для вирішення професійних завдань GPT завжди потрібно підключати до певної «експертної моделі», то його не можна назвати справді «універсальним».
Оскільки це призведе до відмінностей GPT і залежності від розвідувальних можливостей різних полів і сценаріїв, а також збільшить витрати на зв’язок і координацію між GPT і «експертною моделлю», і не може гарантувати, що високоякісні послуги можуть бути досягнуті за будь-яких умов. обставини.
Раніше іноземні ЗМІ Semianalysis розкрили секрети GPT-4, випущеного в березні цього року, показавши, що OpenAI використовує змішану експертну модель для створення GPT-4.
Згідно з новинами, GPT-4 використовує 16 змішаних експертних моделей (суміш експертів), кожна з яких має 111 мільярдів параметрів, і кожен маршрут прямого проходу проходить через дві експертні моделі.
Однак більша кількість експертних моделей означає, що важче узагальнити та досягти конвергенції.
Це пояснюється тим, що кожна експертна модель має власні параметри та стратегії, які часто важко скоординувати, що ускладнює баланс GPT та «врахування загальної ситуації».
Отримавши здатність до активного навчання, GPT-5 зможе використовувати мультимодальні можливості розуміння та аргументації, а також карти знань і бази даних для аналізу та розуміння отриманих даних, а також за допомогою алгоритмів кластеризації та класифікаторів, зв’язувати та узагальнювати пов’язані дані .
Таким чином GPT-5 може ефективно використовувати інформацію та знання в даних відповідно до різних середовищ даних і сценаріїв завдань.
03 замінити більше роботи
Як згадувалося вище, після того, як усунеться мовний бар’єр і ввійде в термінал зі зручною функцією розпізнавання мовлення, GPT-5 продовжить поглинати знання в різних сценаріях, областях і режимах за допомогою безперервних можливостей активного навчання, а потім рухатиметься до шляху до AGI. рухається на великій швидкості.
Можна передбачити, що коли GPT-5 із такою сильною «універсальністю» почне поширюватися на різні галузі, за винятком кількох галузей із перешкодами передавання даних (таких як медичне обслуговування), великі моделі у більшості вертикальних галузей будуть поступово затьмарені.
Тому що, зрештою, досить багато експертів або вертикальних великомасштабних моделей є, по суті, продуктами деяких підприємств із недостатньою обчислювальною потужністю та даними, які не можуть піднятися на «загальну великомасштабну модель» і змушені погоджуватися на наступну найкращу. (особливо це помітно в Китаї).
Якщо велика модель загального призначення може бути досконалою в більшості галузей завдяки своїй сильній здатності до навчання, тоді хто захоче нудно перемикатися між різними моделями та нести численні витрати на навчання та використання різних моделей?
З цієї точки зору експертна модель поступово замінюється загальною моделлю, яка є неминучим історичним процесом для людей на шляху до AGI.
Інше явище, яке супроводжує це, полягає в тому, що більш поділені та тривіальні завдання замінюються.
Тому що за допомогою більш потужної загальної моделі люди побачать, що фактично зміст роботи багатьох посад можна об’єднати та інтегрувати.
Одним із можливих прикладів є менеджери з продукції та аналітики даних.
Наприклад, у проекті розробки нового продукту GPT-5 може шукати релевантне дослідження ринку, аналіз конкурентоспроможного продукту, портрети користувачів та інші дані в Інтернеті відповідно до даної концепції продукту чи попиту та завантажувати їх у власну пам’ять.
Після цього він проаналізує та зрозуміє отримані дані за допомогою власного мультимодального розуміння та можливостей логічного мислення, а також графів знань і баз даних.
Отримавши відповідні дані, класифікувавши та впорядкувавши їх, GPT-5 вивчатиме відповідні маркетингові стратегії, відгуки користувачів та іншу інформацію із зворотного зв’язку діалогової системи за допомогою здатності розуміння мови та порівнюватиме їх із заданими концепціями продукту чи порівнюваними потребами. і оцінено.
Таким чином дві посади менеджера з продукції та аналітика даних фактично «зливаються».
На незавершеній дорозі до AGI є незліченна кількість вакансій, які об’єднуються та замінюються.
Таким чином, більш універсальний GPT-5 є не тільки благом для підвищення продуктивності, але й прелюдією до великого землетрусу в галузі.
У той час багато компаній, які ще не мають можливості використовувати масштабні моделі та не мають галузевих бар’єрів, крихко впадуть, як замки з піску.
І більш звичайні люди, зіткнувшись з посадами, які постійно змінюються, глибше відчують невизначеність часу...
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
GPT-5 приходить? Які кардинальні зміни відбудуться в індустрії ШІ
З моменту появи chatGPT ШІ стрімко розвивався щомісяця. З такою кількістю моделей і швидкими ітераціями багато людей не можуть не усвідомлювати, що люди, здається, справді стоять на межі воріт AGI.
Нещодавно документ, оприлюднений Управлінням патентів і торгових марок США (USPTO), показує, що OpenAI подала заявку на торговельну марку для "GPT-5" 18 липня. і було прийнято.
Знімок екрана файлу USPTO
Незважаючи на те, що в першій половині цього року різні експерти зі штучного інтелекту та вчені неодноразово виступали з відкритими листами, закликаючи людей звернути увагу на потенційні ризики генеративного штучного інтелекту, OpenAI також оголосив у той час, що не матиме плану підготувати ГПТ-5 в короткий термін.
Однак спокуса науки і техніки нарешті дозволила людям подолати межі табу.
У заявці, оприлюдненій цього разу, OpenAI зазначив, що неопублікований GPT-5 матиме багато можливостей, яких немає в GPT-4, і майже кожен елемент стосується AGI.
Знімок екрана файлу USPTO
Отже, що така зміна означає для ШІ та людей?
Сьогодні в цій статті ми спробуємо провести простий аналіз можливих функцій, змін і впливу GPT-5 на основі обмеженої інформації, розкритої в документах програми OpenAI.
01 Дорога до AGI
У документі, оприлюдненому цього разу, однією з перших змін, згаданих OpenAI, є вдосконалення мультимодальних функцій.
Зокрема, функції GPT-5 включають переклад тексту або мовлення з однієї мови на іншу, розпізнавання мовлення, генерування тексту та мовлення тощо.
Хоча в поточному GPT-4 користувачі також можуть досягати перекладу між різними мовами, але оскільки функція перекладу тут виділена окремо, її, мабуть, було повторно оптимізовано.
Чому OpenAI так підкреслює здатність перекладу GPT-5?
Це може бути тому, що однією з передумов для того, щоб GPT став універсальним, є мінімізація різниці у вартості використання великих моделей різними мовами.
Раніше результати дослідження Оксфордського університету показали, що завдяки методам вимірювання вартості сервера та виставлення рахунків, прийнятим такими службами, як OpenAI, вартість введення та виведення англійською мовою набагато нижча, ніж іншими мовами.
Серед них вартість спрощеної китайської приблизно вдвічі вища за англійську, іспанська в 1,5 рази вища за англійську, а шанська мова в М’янмі в 15 разів вища за англійську.
Оскільки такі мови, як китайська, мають інші, більш складні структури, вони потребують вищого рівня лематизації.
Наприклад, згідно з токенізатором GPT3 OpenAI, для маркера «ваша прихильність» потрібні лише два маркери англійською мовою, але вісім маркерів спрощеною китайською.
Це означає, що для мов, відмінних від англійської, набагато дорожче використовувати та навчати моделі.
І як тільки поріг «мовного бар’єру» пройдено, цей універсальний бар’єр перед GPT, безсумнівно, буде безпосередньо подолано.
Крім того, помітна функція розпізнавання мовлення в документі здається просто непомітною зміною, але до певної міри це ще один шматок OpenAI бруківки GPT-5 на шляху до цегли AGI.
Як ми всі знаємо, у майбутньому напрямку розвитку великих моделей стає все більш очевидною тенденція маргіналізації та терміналізації моделей.
Оскільки в липні цього року Qualcomm випустила велику модель з 1 мільярдом параметрів, яка може працювати на мобільних телефонах, такі виробники, як Honor і Apple, також оголосили, що випустять власні «великі моделі» мобільних телефонів.
Починаючи з мобільних телефонів, дані штучного інтелекту в майбутньому все більше оброблятимуться на стороні терміналів, таких як камери, датчики та автономне водіння.
У такому прикладному сценарії розпізнавання мовлення, безсумнівно, зручніше та ефективніше.
Наприклад, мовна модель AI дозволяє водієві керувати автомобілем за допомогою голосу. Перетворюйте голосові команди водія у виконувані команди, такі як старт, зупинка, прискорення, гальмування та інші операції.
Розумні помічники, які існують у системі мобільних телефонів, як-от SIri, також надаватимуть пріоритет керуванню за допомогою голосових команд.
Видно, що розпізнавання мовлення — це не просто вишенька на торті, а «стандартна конфігурація», коли GPT-5 виходить на бік терміналу.
І через поглинання кожного термінального пристрою GPT-5 також отримає більш маргіналізовані та нелінгвістичні структури даних.
Зрештою, з моменту розробки великої моделі текстові дані, які можна поглинати, майже однакові.Якщо ми хочемо зробити ще один крок на шляху до AGI, цей тип «нетекстових» даних є дуже важливим.
02 Challenge Expert Model
Окрім вищевказаних характеристик, у документі, наданому OpenAI, також згадується: «GPT-5 також може мати здатність навчатися, аналізувати, класифікувати та реагувати на дані».
Судячи з поточної тенденції розвитку штучного інтелекту, це, ймовірно, означає, що GPT-5 має здатність до активного навчання, подібну до здатності розумного тіла.
І завдяки цій здатності GPT-5 принципово відрізнятиметься від попередніх моделей, які можуть лише пасивно вивчати нові знання за допомогою даних про харчування людини.
Зокрема, здатність до активного навчання означає, що модель може самостійно вибирати, отримувати та обробляти дані відповідно до власних цілей і потреб, а не покладатися виключно на дані, надані людьми.
Це дозволяє моделі ефективніше використовувати інформацію та знання в даних і більш гнучко адаптуватися до різних середовищ даних і сценаріїв завдань, а не просто пасивно отримувати та виводити дані.
І така здатність особливо важлива, коли GPT-5 стикається з відносно незнайомими та вертикальними полями.
Деякі конкретні галузі, такі як медицина, право, фінанси тощо, зазвичай мають власні специфічні терміни, правила та системи знань, які можуть бути складними для розуміння та обробки для звичайних мовних моделей.
Якщо GPT-5 має здатність активного навчання, він може автоматично збирати та оновлювати відповідні дані в цих областях з Інтернету, аналізувати та класифікувати основні поняття, важливі принципи та останні розробки в цих сферах, а також реагувати на загальні проблеми в цих сферах. , Типові випадки та практичне застосування.
Таким чином GPT-5 може швидше опановувати експертизу в цих галузях і виконувати відповідні завдання в цих галузях точніше та ефективніше.
І все це є ключем до справжньої загальної моделі.
Тому що якщо для вирішення професійних завдань GPT завжди потрібно підключати до певної «експертної моделі», то його не можна назвати справді «універсальним».
Оскільки це призведе до відмінностей GPT і залежності від розвідувальних можливостей різних полів і сценаріїв, а також збільшить витрати на зв’язок і координацію між GPT і «експертною моделлю», і не може гарантувати, що високоякісні послуги можуть бути досягнуті за будь-яких умов. обставини.
Раніше іноземні ЗМІ Semianalysis розкрили секрети GPT-4, випущеного в березні цього року, показавши, що OpenAI використовує змішану експертну модель для створення GPT-4.
Згідно з новинами, GPT-4 використовує 16 змішаних експертних моделей (суміш експертів), кожна з яких має 111 мільярдів параметрів, і кожен маршрут прямого проходу проходить через дві експертні моделі.
Однак більша кількість експертних моделей означає, що важче узагальнити та досягти конвергенції.
Це пояснюється тим, що кожна експертна модель має власні параметри та стратегії, які часто важко скоординувати, що ускладнює баланс GPT та «врахування загальної ситуації».
Отримавши здатність до активного навчання, GPT-5 зможе використовувати мультимодальні можливості розуміння та аргументації, а також карти знань і бази даних для аналізу та розуміння отриманих даних, а також за допомогою алгоритмів кластеризації та класифікаторів, зв’язувати та узагальнювати пов’язані дані .
Таким чином GPT-5 може ефективно використовувати інформацію та знання в даних відповідно до різних середовищ даних і сценаріїв завдань.
03 замінити більше роботи
Як згадувалося вище, після того, як усунеться мовний бар’єр і ввійде в термінал зі зручною функцією розпізнавання мовлення, GPT-5 продовжить поглинати знання в різних сценаріях, областях і режимах за допомогою безперервних можливостей активного навчання, а потім рухатиметься до шляху до AGI. рухається на великій швидкості.
Можна передбачити, що коли GPT-5 із такою сильною «універсальністю» почне поширюватися на різні галузі, за винятком кількох галузей із перешкодами передавання даних (таких як медичне обслуговування), великі моделі у більшості вертикальних галузей будуть поступово затьмарені.
Тому що, зрештою, досить багато експертів або вертикальних великомасштабних моделей є, по суті, продуктами деяких підприємств із недостатньою обчислювальною потужністю та даними, які не можуть піднятися на «загальну великомасштабну модель» і змушені погоджуватися на наступну найкращу. (особливо це помітно в Китаї).
Якщо велика модель загального призначення може бути досконалою в більшості галузей завдяки своїй сильній здатності до навчання, тоді хто захоче нудно перемикатися між різними моделями та нести численні витрати на навчання та використання різних моделей?
З цієї точки зору експертна модель поступово замінюється загальною моделлю, яка є неминучим історичним процесом для людей на шляху до AGI.
Інше явище, яке супроводжує це, полягає в тому, що більш поділені та тривіальні завдання замінюються.
Тому що за допомогою більш потужної загальної моделі люди побачать, що фактично зміст роботи багатьох посад можна об’єднати та інтегрувати.
Одним із можливих прикладів є менеджери з продукції та аналітики даних.
Наприклад, у проекті розробки нового продукту GPT-5 може шукати релевантне дослідження ринку, аналіз конкурентоспроможного продукту, портрети користувачів та інші дані в Інтернеті відповідно до даної концепції продукту чи попиту та завантажувати їх у власну пам’ять.
Після цього він проаналізує та зрозуміє отримані дані за допомогою власного мультимодального розуміння та можливостей логічного мислення, а також графів знань і баз даних.
Отримавши відповідні дані, класифікувавши та впорядкувавши їх, GPT-5 вивчатиме відповідні маркетингові стратегії, відгуки користувачів та іншу інформацію із зворотного зв’язку діалогової системи за допомогою здатності розуміння мови та порівнюватиме їх із заданими концепціями продукту чи порівнюваними потребами. і оцінено.
Таким чином дві посади менеджера з продукції та аналітика даних фактично «зливаються».
На незавершеній дорозі до AGI є незліченна кількість вакансій, які об’єднуються та замінюються.
Таким чином, більш універсальний GPT-5 є не тільки благом для підвищення продуктивності, але й прелюдією до великого землетрусу в галузі.
У той час багато компаній, які ще не мають можливості використовувати масштабні моделі та не мають галузевих бар’єрів, крихко впадуть, як замки з піску.
І більш звичайні люди, зіткнувшись з посадами, які постійно змінюються, глибше відчують невизначеність часу...