Джерело зображення: створено інструментом Unbounded AI
MediaTek співпрацює з Meta Lllama 2 LLM, розробленим для виконання генеративних завдань AI безпосередньо на мобільних пристроях без обробки на основі хмари. У цьому є кілька переваг, але є й відповідні проблеми.
Генеративний штучний інтелект — це одна з найпопулярніших технологій, що розвиваються, що базується на системах чату OpenAI ChatGPT і Google Bard, а також системах генерації зображень, таких як Stable Diffusion і DALL-E. Однак це все ще дещо обмежено, оскільки ці інструменти використовують сотні графічних процесорів у хмарних центрах обробки даних для виконання обчислень, необхідних для кожного запиту.
Але одного дня ми зможемо запускати створені штучним інтелектом завдання безпосередньо на мобільних пристроях. Або в підключеному автомобілі, або у вітальні, спальні та на кухні через розумні динаміки, такі як Amazon Echo, Google Home або Apple HomePod.
MediaTek вважає, що це майбутнє ближче, ніж ми думаємо. Сьогодні тайванська напівпровідникова компанія оголосила, що співпрацює з Meta, щоб об’єднати Lllama 2 LLM соціального гіганта з APU останнього покоління та платформою розробки програмного забезпечення NeuroPilot для виконання генеративних завдань ШІ на пристрої, не покладаючись на зовнішню обробку.
Звичайно, у цьому є проблема: ця комбінація не повністю усуне центри обробки даних. Через розмір наборів даних LLM (кількість параметрів, які вони містять) і необхідну продуктивність системи зберігання, нам все одно потрібен центр обробки даних, хоча й у значно меншому масштабі.
Наприклад, «маленький» набір даних Llama 2 має 7 мільярдів параметрів, приблизно 13 ГБ, і підходить для деяких рудиментарних генеративних функцій ШІ. Однак більша версія з 72 мільярдами параметрів, навіть із передовими методами стиснення даних, потребуватиме пропорційно великого обсягу пам’яті, що перевищує практичні можливості сучасних смартфонів. У найближчі кілька років LLM, що розробляються, легко переростуть у 10-100 разів, ніж Llama 2 або GPT-4, з вимогами до пам’яті в сотні гігабайт або більше.
Це важко зберігати на смартфоні та мати достатньо IOPS для продуктивності бази даних, але це, звичайно, не так для спеціально створеного пристрою кешування з швидкою флеш-пам’яттю та терабайтами оперативної пам’яті. Отже, з Llama 2 тепер можна розмістити пристрій, оптимізований для обслуговування мобільних пристроїв, в одній стійці без важких обчислень. Це не телефон, але все одно вражає!
MediaTek очікує, що додатки на основі штучного інтелекту на основі Llama 2 будуть запущені на смартфонах, які працюють на флагманській системі процесора наступного покоління, яка вийде на ринок до кінця цього року.
Щоб генерувальний штучний інтелект на пристрої міг отримати доступ до цих наборів даних, оператори мобільного зв’язку повинні покладатися на периферійні мережі з низькою затримкою – невеликі центри обробки даних/кімнати з обладнанням, які швидко підключаються до веж 5G. Ці центри обробки даних будуть розташовані безпосередньо в мережі оператора, тому програмі LLM, яка працює на смартфоні, не потрібно буде проходити кілька мережевих «стрибків», перш ніж отримати доступ до даних параметрів.
Окрім виконання робочих навантажень штучного інтелекту на пристроях зі спеціалізованими процесорами, такими як MediaTek, доменно-спеціальні LLM також можна змішувати з цими пристроями кешування в мікроцентрах обробки даних у сценарії «обмеженого краю пристрою».
Отже, які переваги використання генеративного ШІ на пристрої?
Зменшена затримка: оскільки дані обробляються на пристрої, час відповіді значно скорочується, особливо якщо для часто використовуваних частин набору даних параметрів використовуються локалізовані методи кешування.
Покращення конфіденційності даних: Завдяки зберіганню даних на пристрої дані (такі як розмови в чатах або навчання, надане користувачами) не передаються через центр обробки даних, а лише через дані моделі.
Покращена ефективність пропускної здатності: Сьогодні генеративні завдання AI вимагають, щоб усі дані в розмові користувача передавались туди й назад до центру обробки даних. При локалізованій обробці великий обсяг даних буде виконуватися на пристрої.
**Поліпшення операційної стійкості: **Завдяки генеруванню на пристрої система може продовжувати працювати, навіть якщо мережа переривається, особливо якщо пристрій має достатньо великий кеш параметрів.
Енергоефективність: Центри обробки даних не вимагають стільки ресурсів, що потребують інтенсивного обчислення, а також енергії для передачі даних із пристроїв у центр обробки даних.
Однак для реалізації цих переваг може знадобитися розподіл робочих навантажень і використання інших методів балансування навантаження, щоб зменшити обчислювальні витрати та накладні витрати на мережу з централізованих центрів обробки даних.
На додаток до постійної потреби у швидкоз’єднаних периферійних центрах обробки даних (хоча й із значно зниженими обчислювальними й енергетичними вимогами), виникає ще одне питання: наскільки потужний LLM можна запускати на сучасному обладнанні? Хоча дані на пристрої менш занепокоєні тим, що їх перехоплять у мережі, якщо не керувати належним чином, ризик безпеки конфіденційних даних на локальному пристрої також збільшиться, а оновлення даних моделі та збереження даних у великій кількості розподілених пристрої периферійного кешу Узгодженість також є проблемою.
Нарешті, виникає питання вартості: хто буде платити за всі ці невеликі периферійні центри обробки даних? Граничні мережі наразі використовують периферійні постачальники послуг, такі як Equinix, такі сервіси, як Netflix і iTunes від Apple, потребують периферійних мереж, а оператори мобільних мереж, такі як AT&T, T-Mobile або Verizon, традиційно не потребують периферійних мереж. Постачальникам генеративних послуг штучного інтелекту, таким як OpenAI/Microsoft, Google і Meta, потрібно буде вжити подібних заходів.
Генеративний штучний інтелект на пристроях має багато уваги, але очевидно, що технологічні компанії думають про це. Через п’ять років розумний помічник на вашому пристрої може думати самостійно. Готові покласти штучний інтелект у свою кишеню? Це настане, і набагато раніше, ніж більшість очікує.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
MediaTek: Настає ера генеративних завдань штучного інтелекту на мобільних пристроях без використання хмарної обробки
Автор: Джейсон Перлоу
Джерело: Zdnet
Генеративний штучний інтелект — це одна з найпопулярніших технологій, що розвиваються, що базується на системах чату OpenAI ChatGPT і Google Bard, а також системах генерації зображень, таких як Stable Diffusion і DALL-E. Однак це все ще дещо обмежено, оскільки ці інструменти використовують сотні графічних процесорів у хмарних центрах обробки даних для виконання обчислень, необхідних для кожного запиту.
Але одного дня ми зможемо запускати створені штучним інтелектом завдання безпосередньо на мобільних пристроях. Або в підключеному автомобілі, або у вітальні, спальні та на кухні через розумні динаміки, такі як Amazon Echo, Google Home або Apple HomePod.
MediaTek вважає, що це майбутнє ближче, ніж ми думаємо. Сьогодні тайванська напівпровідникова компанія оголосила, що співпрацює з Meta, щоб об’єднати Lllama 2 LLM соціального гіганта з APU останнього покоління та платформою розробки програмного забезпечення NeuroPilot для виконання генеративних завдань ШІ на пристрої, не покладаючись на зовнішню обробку.
Звичайно, у цьому є проблема: ця комбінація не повністю усуне центри обробки даних. Через розмір наборів даних LLM (кількість параметрів, які вони містять) і необхідну продуктивність системи зберігання, нам все одно потрібен центр обробки даних, хоча й у значно меншому масштабі.
Наприклад, «маленький» набір даних Llama 2 має 7 мільярдів параметрів, приблизно 13 ГБ, і підходить для деяких рудиментарних генеративних функцій ШІ. Однак більша версія з 72 мільярдами параметрів, навіть із передовими методами стиснення даних, потребуватиме пропорційно великого обсягу пам’яті, що перевищує практичні можливості сучасних смартфонів. У найближчі кілька років LLM, що розробляються, легко переростуть у 10-100 разів, ніж Llama 2 або GPT-4, з вимогами до пам’яті в сотні гігабайт або більше.
Це важко зберігати на смартфоні та мати достатньо IOPS для продуктивності бази даних, але це, звичайно, не так для спеціально створеного пристрою кешування з швидкою флеш-пам’яттю та терабайтами оперативної пам’яті. Отже, з Llama 2 тепер можна розмістити пристрій, оптимізований для обслуговування мобільних пристроїв, в одній стійці без важких обчислень. Це не телефон, але все одно вражає!
MediaTek очікує, що додатки на основі штучного інтелекту на основі Llama 2 будуть запущені на смартфонах, які працюють на флагманській системі процесора наступного покоління, яка вийде на ринок до кінця цього року.
Щоб генерувальний штучний інтелект на пристрої міг отримати доступ до цих наборів даних, оператори мобільного зв’язку повинні покладатися на периферійні мережі з низькою затримкою – невеликі центри обробки даних/кімнати з обладнанням, які швидко підключаються до веж 5G. Ці центри обробки даних будуть розташовані безпосередньо в мережі оператора, тому програмі LLM, яка працює на смартфоні, не потрібно буде проходити кілька мережевих «стрибків», перш ніж отримати доступ до даних параметрів.
Окрім виконання робочих навантажень штучного інтелекту на пристроях зі спеціалізованими процесорами, такими як MediaTek, доменно-спеціальні LLM також можна змішувати з цими пристроями кешування в мікроцентрах обробки даних у сценарії «обмеженого краю пристрою».
Отже, які переваги використання генеративного ШІ на пристрої?
Однак для реалізації цих переваг може знадобитися розподіл робочих навантажень і використання інших методів балансування навантаження, щоб зменшити обчислювальні витрати та накладні витрати на мережу з централізованих центрів обробки даних.
На додаток до постійної потреби у швидкоз’єднаних периферійних центрах обробки даних (хоча й із значно зниженими обчислювальними й енергетичними вимогами), виникає ще одне питання: наскільки потужний LLM можна запускати на сучасному обладнанні? Хоча дані на пристрої менш занепокоєні тим, що їх перехоплять у мережі, якщо не керувати належним чином, ризик безпеки конфіденційних даних на локальному пристрої також збільшиться, а оновлення даних моделі та збереження даних у великій кількості розподілених пристрої периферійного кешу Узгодженість також є проблемою.
Нарешті, виникає питання вартості: хто буде платити за всі ці невеликі периферійні центри обробки даних? Граничні мережі наразі використовують периферійні постачальники послуг, такі як Equinix, такі сервіси, як Netflix і iTunes від Apple, потребують периферійних мереж, а оператори мобільних мереж, такі як AT&T, T-Mobile або Verizon, традиційно не потребують периферійних мереж. Постачальникам генеративних послуг штучного інтелекту, таким як OpenAI/Microsoft, Google і Meta, потрібно буде вжити подібних заходів.
Генеративний штучний інтелект на пристроях має багато уваги, але очевидно, що технологічні компанії думають про це. Через п’ять років розумний помічник на вашому пристрої може думати самостійно. Готові покласти штучний інтелект у свою кишеню? Це настане, і набагато раніше, ніж більшість очікує.