Huawei першим інтегрує великі моделі в мобільні телефони! Xiaoyi + велика модель, розумний помічник IQ +++

Джерело: Xinzhiyuan

Молодець, HUAWEI HarmonyOS Access Large Model, чи може розумний помічник грати так?

Лише однією китайською командою Huawei Xiaoyi напише електронний лист англійською мовою:

Ви можете використовувати штучний інтелект для створення власних фотографій у різних стилях:

Ви також можете промовити довгий список інструкцій, дозволити йому створювати складні сцени самостійно, і ви зможете зрозуміти це простою мовою:

Це Новий Xiaoyi в HUAWEI HarmonyOS 4.

Він базується на великій моделі бази Huawei Pangu L0, включає велику кількість даних сцени, точне налаштування моделі та, нарешті, вдосконалення моделі діалогу рівня L1.

Він може виконувати такі завдання, як створення тексту, пошук знань, зведення даних, інтелектуальне впорядкування та розуміння нечіткого/складного наміру.

Крім того, різні служби APP також можуть бути викликані для реалізації інтелектуального досвіду на системному рівні.

Отже, що може новий Huawei Xiaoyi?

Розумніший, здібніший, турботливіший

Базуючись на можливостях великих моделей, Huawei Xiaoyi цього разу в основному оновився в трьох аспектах:

  • Розумна взаємодія
  • Висока продуктивність
  • Індивідуальне обслуговування

Конкретні вдосконалення можливостей включають більш природні мовні діалоги, тести на знання на ігрових машинах, пошук життєвих послуг, розпізнавання діалогового вмісту екрану, створення коротких копірайтингових зображень тощо.

**По-перше, оновлення інтелектуальної взаємодії робить діалог і взаємодію більш природними та плавними. **

Huawei Xiaoyi може розуміти народну мову, розуміти нечіткі наміри та складні команди.

Якщо ви не можете знайти найновішу функцію налаштування шпалер і не знаєте назви функції, ви можете напряму запитати:

Як змінити шпалери, які можуть змінюватися в режимі реального часу відповідно до погоди?

Або складна команда з кількома вимогами:

Знайдіть ресторан морепродуктів із високим рейтингом біля озера Суншань, бажано зі знижкою на комплексне харчування для чотирьох осіб.

Xiaoyi також може зателефонувати в службу, щоб знайти ресторан, який відповідає вимогам.

У той же час Xiaoyi також має мультимодальні можливості, може розуміти вміст зображення. Таким чином кроки, які користувачі мали прочитати, а потім виконати вручну, також можна передати Сяої.

Наприклад, нехай він подивиться на лист-запрошення і скаже:

Перейдіть до адреси на карті.

Він може отримати інформацію про адресу на карті та викликати службу карт для навігації.

Або збережіть контактну інформацію в запрошенні, і ви побачите, що воно дуже добре розуміє текстову інформацію на зображенні.

Ідучи ще далі, тепер ми можемо виконувати комплектне впорядкування завдань через Xiaoyi, тож нам не потрібно багаторазово встановлювати це вручну.

Наприклад, ви можете дозволити йому встановити сцену ранкового бігу:

Допоможіть мені створити сцену ранкової пробіжки. Щопонеділка по п’ятницю о 6:30 ранку я буду транслювати для себе погоду на день. Коли я надягаю навушники bluetooth, я вмикаю улюблені пісні та перемикаю телефон у беззвучний режим.

Xiaoyi може зрозуміти цей довгий список вимог, а потім викликати різні функції. І на основі статусу мобільного телефону (чи підключено Bluetooth-гарнітуру) він може судити про виконання певних операцій.

По-друге, завдяки таким можливостям, як великі моделі, Xiaoyi тепер може надавати більш ефективні інструменти продуктивності.

Допомагає вам бачити, читати та писати.

Наприклад, покажіть йому англійську статтю, а потім запитайте, що в цій статті сказано?

Сяої може давати прості та стислі пояснення китайською мовою.

Якщо користувач попросив його згадати деяку інформацію в минулому, його також можна викликати для створення відповідного вмісту.

За кілька днів я домовлюсь про зустріч із Девідом, щоб обговорити проект. Об’єднавши інформацію з останньої зустрічі, я напишу електронний лист про зустріч англійською мовою.

Включаючи те, що було згадано на початку, Xiaoyi також може використовувати візуальну здатність AI для створення фотографій у різних стилях.

**Нарешті, як розумний помічник, Xiaoyi тепер підтримує більше персоналізованих послуг і може краще вас розуміти. **

Його можна використовувати як блокнот і меморандум, а деякі дрібниці можна записувати в усній формі.

Huawei заявила, що ** весь вміст пам’яті заповнюється з дозволу користувача та повністю захищатиме конфіденційність користувача. **

Крім того, Xiaoyi Suggestion тепер може сприймати більше високочастотних сцен користувачів і може активно надавати універсальні пропозиції розумних комбінацій, заощаджуючи багато процесів пошуку вручну.

Наприклад, у сценарії виїзної подорожі Xiaoyi може нагадувати останній курс обміну в режимі реального часу перед відправленням, обмінювати іноземну валюту та допомагати користувачам отримувати стратегії подорожі в пункт призначення в режимі реального часу; інструменти перекладу в режимі реального часу тощо.

Згідно з повідомленнями, Нова інтелектуальна сцена Xiaoyi зросла в 3 рази, а кількість POI зросла в 7 разів, що може охоплювати основні заклади громадського харчування та магазини, ділові райони, станції високошвидкісної залізниці в аеропортах та інші сценарії.

Підводячи підсумок, новий Xiaoyi не тільки отримав найновіші можливості AIGC, але й покращив деякі недоліки голосових помічників мобільних телефонів, які часто критикувалися в минулому.

Як-от брак пам’яті, нудний діалог, нерозуміння народної мови тощо...

Усе це, звичайно, виграло завдяки благословенню великої моделі, але як це вдалося Сяої?

Xiaoyi обіймає велику модель

Базовою моделлю, на яку покладається Xiaoyi, є Huawei Pangu Series.

У липні цього року Huawei офіційно випустила Pangu Large Model 3.0 і запропонувала трирівневу архітектуру моделі.

  • L0: базові великі моделі, включаючи природну мову, бачення, мультимодальність, передбачення та наукові обчислення;
  • L1: Великі моделі N галузей, таких як урядові справи, фінанси, виробництво, гірнича промисловість, метеорологія тощо;
  • L2: більш детальна модель сцени, яка надає «готові» моделі послуг

Серед них найбільша версія базової великої моделі рівня L0 містить 100 мільярдів параметрів, а попереднє навчання використовує понад 3 трильйони токенів.

На основі великої моделі бази Pangu L0 від Huawei Сяої створив велику кількість даних сцени для сценаріїв кінцевого споживача, налаштував модель і, нарешті, вдосконалив модель діалогу рівня L1.

Під час тонкого налаштування Xiaoyi додала основні типи даних, що охоплюють кінцевих споживачів, наприклад розмови, путівники, контроль обладнання, їжа, одяг, житло та транспорт тощо.

Це може добре охопити діапазон знань щоденних розмов звичайних користувачів і може підвищити фактичність, продуктивність у реальному часі, відповідність вимогам безпеки тощо в процесі діалогу моделі.

Однак, як ми всі знаємо, великі моделі дуже складні в розгортанні та швидкому реагуванні через їх масштабні характеристики.

Що стосується розгортання, Huawei постійно вдосконалює можливості великомасштабної моделі співпраці пристрою та хмари. Велика модель на стороні пристрою може виконувати рівень попередньої обробки запитів користувачів і контекстної інформації, а потім надсилати попередньо оброблений запит на сторону хмари.

Перевага цього полягає в тому, що він може не тільки скористатися перевагами швидкої відповіді моделі кінцевої сторони, але й покращити якість запитань і відповідей і відповідей через хмарну модель, і в той же час додатково захистити конфіденційність користувачів даних.

Щоб зменшити затримку висновку, компанія Huawei Xiaoyi провела систематичну інженерну оптимізацію, включаючи весь зв’язок від основного чіпа, структуру висновку, оператора моделі, а також довжину введення та виведення.

Демонтувавши часову затримку кожного модуля, команда дослідників уточнила цілі оптимізації кожної частини та зменшила часову затримку за допомогою операторського об’єднання, оптимізації пам’яті та конвеєрної оптимізації.

У той же час довжина та вихідна довжина також впливатимуть на швидкість виведення великих моделей.

У зв’язку з цим Huawei провела послівний аналіз і стиснення для різних сценаріїв і форматів виводу, і нарешті зрозуміла, що затримка обґрунтування зменшилася вдвічі.

З точки зору загальної технічної архітектури, інтеграція Huawei Xiaoyi і великої моделі призначена не просто для вдосконалення таких завдань, як чат, AIGC і відповідь, але й для вдосконалення системного рівня з великою моделлю як ядром.

**Іншими словами, нехай велика модель стане «мозком» системи. **

Його основна логіка така: призначайте завдання користувача відповідним системам, кожна система виконує свої власні обов’язки, і в той же час покращує досвід у складних сценаріях.

Розглядаючи типовий процес діалогу Сяої, його можна розділити на три етапи:

Перший крок — це отримати запитання від користувачів і проаналізувати, як з ними впоратися на основі розуміння контексту/здатності Сяої запам’ятовувати.

Другий крок, викликайте різні можливості відповідно до типу запиту, включаючи пошук мета-сервісу, генерацію ідей і пошук знань.

Якщо запит, ініційований користувачем, включає мета-сервіси, наприклад, якщо він запитує про найближчі ресторани, які можна використовувати для зустрічей, це передбачає виклик служби APP для гурманів. Система повинна згенерувати API, і нарешті обслуговуюча сторона дасть відповідь на основі механізму рекомендацій.

Якщо користувач ставить запитання про знання, наприклад запитує, скільки параметрів має модель Pangu. У цей час система викличе пошукову систему, відповідні знання предметної області та векторні знання для запиту, а потім згенерує відповідь за допомогою злиття.

Якщо запит користувача є генеративним завданням, тоді велика модель може дати відповідь власними силами.

На останньому кроці всі згенеровані відповіді будуть оцінені контролем ризиків і повернуті користувачеві.

Крім того, Xiaoyi додатково контролював деталі та здійснив серію низькорівневих розробок, щоб забезпечити ефект запитань і відповідей і виконання завдань.

Ви можете подивитися на аспект даних.

З тих пір, як Сяої вийшов в Інтернет на HarmonyOS у 2017 році, він накопичив певну кількість діалогових звичок для звичайних користувачів. Окрім цього, Huawei створила великий корпус різних типів виразів, щоб охопити якомога більше письмових і усних висловлювань, щоб велика модель могла добре володіти різними виразами на етапі попереднього навчання.

Щоб краще оцінити та покращити здібності Сяої, Huawei створила повний набір тестових даних.

Це може не тільки оцінити можливості існуючих відкритих великих моделей, але й скерувати Xiaoyi для створення даних і можливостей на основі результатів оцінювання.

Я хочу, щоб Сяої впорався з інструментами, що дуже складно.

Контроль обладнання вимагає великої моделі для створення тексту складного формату із сотнями токенів, і не повинно бути помилок формату, інакше центральна система керування не зможе проаналізувати та підключитися.

Для того, щоб дозволити великій моделі відповідати такому стандарту покоління, Huawei звик розуміти «вдачу» великої моделі, з одного боку, і в той же час посилювати кодові можливості великої моделі, а потім покращувати формат сумісність моделі, і нарешті зрозумів, що формат ** є майже 100% сумісним **.

Для складних сценаріїв метод Xiaoyi полягає у використанні здатності великих моделей повністю вивчати та розуміти сценарії інструментів, а потім міркувати.

Зрозуміло, що команда оптимізувала контрольний ефект обладнання моделі від повної непридатності до готовності понад 80%.

Крім того, власна HarmonyOS також дає можливість оптимізувати існуючий API, і завдяки цій зворотній адаптації також можна краще використовувати переваги великих моделей.

Огляд усієї сцени, не обмежуючись мобільним терміналом

Отже, чому Huawei так швидко може розгорнути можливості великомасштабної моделі для розумних помічників?

Накопичення та дослідження фундаментальних досліджень і розробок є важливими, але є ще одна річ, яка заслуговує на увагу——

Huawei вирішила почати з реальної ситуації, щоб визначити, як поєднати велику модель із розумним помічником і навіть усією операційною системою.

Власними словами Huawei:

Розмова дешева. Покажіть мені демо.

Багато з наведеного вище досвіду також є результатом щоденного сприйняття членів команди досліджень і розробок Huawei.

Наприклад, деякі люди звикли отримувати новини по дорозі на роботу і назад, а занадто довгу інформацію читати і слухати незручно, тому в Huawei Xiaoyi з'явилася функція зведення інформації.

Деякі люди вважають, що їм завжди бракує слів, коли пишуть огляди покупок і вітають з днем народження, тому Huawei Xiaoyi пропонує функцію копірайтингу.

І ця зосередженість на досвіді сцени є природною перевагою HarmonyOS.

З моменту свого народження HarmonyOS не обмежувалася мобільними телефонами, а була орієнтована на різні термінали та всі сценарії.

Тепер він створив повноцінну екологію «1+8+N».

Huawei Xiaoyi також було розгорнуто на пристроях 1+8. У майбутньому він поєднає бізнес-форму пристроїв із повним сценарієм і поступово розгортатиме Xiaoyi із можливостями великомасштабної моделі для повноцінного досвіду споживачів.

Будучи розумним помічником на основі штучного інтелекту, Xiaoyi інтегрує різні можливості штучного інтелекту з моменту свого народження, наприклад субтитри зі штучним інтелектом і читання вголос Xiaoyi. Команда дослідників і розробників, що стоїть за нею, завжди приділяла увагу розширенню можливостей ШІ та розумних помічників.

Згідно з повідомленнями, минулого року команда помітила, що десятки мільярдів моделей попереднього навчання в поєднанні з технологією підказок уже можуть забезпечити дуже хороше розуміння тексту та можливості створення, і їх можна використовувати в легких розмовах, питаннях і відповідях, а також у завданнях. заснований діалог.

Зі спалахом останніх тенденцій штучного інтелекту RLHF привніс значні покращення у великі моделі, і двері для промислової посадки офіційно відкрилися.

З моменту появи тенденції генеративного штучного інтелекту цього року багато програм обрали доступ до великих можливостей моделей і вбудованих розумних помічників.

Однак, будучи одним із найбільших у світі виробників операційних систем, Huawei вирішила вийти з нижчого рівня та використати велику модель для зміни форми ОС.

Нижчий рівень означає більш ретельний і вичерпний.

Але для досліджень і розробок виклик ще більший.

Для цього потрібна не лише достатньо надійна модельна база, а й оптимізація синтезу на системному рівні, а також висуваються вимоги до розуміння сцени та сприйняття попиту користувача.

Відповідно, Huawei є одним із перших вітчизняних виробників із можливостями великомасштабних моделей; створює повноцінні можливості розробки штучного інтелекту; HarmonyOS охоплює понад 700 мільйонів пристроїв...

Тому неважко зрозуміти, чому Huawei Xiaoyi швидко отримує доступ до можливостей великих моделей, роблячи HarmonyOS 4 першою операційною системою, яка має повний доступ до великих моделей.

Як одна з найбільш стурбованих операційних систем у світі, HarmonyOS є першою, яка охоплює великомасштабні моделі, а також може відкрити нову парадигму, дозволяючи кожному відкривати свої телефони, щоб відчути можливості великомасштабних моделей, що ні більше обмежується уявою.

Наразі Huawei оголосила про план тестування Xiaoyi:

Абсолютно новий Xiaoyi буде запрошено для тестування наприкінці серпня цього року, і пізніше буде оновлено через OTA на деяких моделях, оснащених HarmonyOS 4.0 і вище. Конкретний план оновлення буде оголошено пізніше.

Якщо вас цікавить дитяче взуття, можете прийти і подивитися~

Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
0/400
Немає коментарів
  • Закріпити