В то время, когда генеративный ИИ становится все более перспективным и широко востребованным, его более широкое внедрение требует сделать его больше, лучше и сильнее на конечной стороне.
Источник изображения: Создано Unbounded AI
Сегодня прошло почти 10 месяцев с тех пор, как OpenAI выпустила ChatGPT, и вызванная им волна генеративного ИИ заставила обычных людей почувствовать очарование искусственного интеллекта «ближе». Будь то поисковая система в режиме реального времени в стиле чата, основанная на больших моделях, или инструмент для рисования, который генерирует изображения путем ввода текста, генеративный искусственный интеллект медленно вошел и тонко изменил повседневную работу, развлечения и творческие привычки людей.
Наряду с большими моделями и генеративным искусственным интеллектом производители мобильных телефонов и чипов с большой помпой проводят «революцию на стороне устройств». В мае этого года Google выпустила большую языковую модель PaLM 2, включая облегченную версию Gecko, которая может работать на мобильных устройствах. Также в мае Qualcomm опубликовала официальный документ «Гибридный ИИ — будущее ИИ». В августе Xiaomi Lei Jun объявила о полном переходе на большие модели и первоначально успешно обработала на мобильном телефоне большую модель с 1,3 миллиарда параметров.Сяо Ай также получил обновление возможностей больших моделей.
Мы не можем не задаться вопросом: почему крупные производители спешат внедрять большие модели общего и генеративного ИИ в терминалы, особенно в мобильные телефоны? Мы знаем, что интеллектуальные терминалы, такие как смартфоны, ПК, XR и автомобили, наиболее близки обычным людям, особенно мобильные телефоны, и мы тратим на них все больше и больше времени. В апреле 2023 года исследовательская организация Electronics Hub опубликовала отчет, показывающий, что пользователи в некоторых странах смотрят на экраны мобильных телефонов более 7 часов в день. Мобильные телефоны постепенно превращаются в ядро умной жизни, подготавливая «рассадник» для развития генеративного искусственного интеллекта на стороне терминала.
Однако нынешний сдвиг крупных моделей генеративного ИИ в сторону терминалов не произошел в одночасье.
Тенденция использования терминального и облачного генеративного искусственного интеллекта становится все более заметной
Мы знаем, что параметры больших генеративных моделей ИИ часто исчисляются миллиардами, сотнями или даже сотнями миллиардов, что предъявляет чрезвычайно высокие требования к инфраструктуре с точки зрения оптимизации обучения модели и вывода результатов выполнения. Вначале только облако могло обеспечить такую огромную вычислительную мощность ИИ, поэтому производители часто предпочитали развертывать и запускать свои собственные большие модели в облаке.
Если взять в качестве примера ChatGPT, то его обучение и работа требуют большого объема хранилища данных и вычислительных ресурсов, а массивные запросы пользователей влекут за собой высокие затраты вычислительной мощности, что требует мощной платформы облачных сервисов. Пользователи могут получить доступ к ChatGPT и другим продуктам генеративного искусственного интеллекта (например, CodeX) через облачный сервис Microsoft Azure OpenAI. Amazon, еще один крупный поставщик облачных услуг, также запустил аналогичную услугу облачного хостинга с генеративным ИИ. Пользователи могут получить доступ к предварительно обученным базовым моделям таких стартапов, как AI21Labs, Anthropic и Stability AI, через API.
Очевидно, что платформы облачных сервисов ускорили эту волну генеративных технологий искусственного интеллекта, охватившую мир, предоставив крупным производителям моделей вычислительную мощность, необходимую для обучения моделей и вывода. Однако вывод больших моделей облака требует больших затрат, а с ростом числа пользователей и запросов на использование стоимость становится все выше и выше. В результате, в условиях постоянно растущих эксплуатационных расходов производителям приходится искать другой выход за пределы облака.
С течением времени, с одной стороны, технологии сжатия больших моделей (такие как квантование, сокращение сети и дистилляция знаний) становятся все более распространенными и эффективными. С другой стороны, интеллектуальные терминальные устройства, такие как мобильные телефоны, ПК, XR Вычислительные мощности продолжают расти, а технические условия для внедрения генеративного ИИ на терминалах быстро развиваются. Тенденция сочетания терминалов и облаков становится все более очевидной.
Крупные технологические компании внимательно отреагировали на эти изменения и предприняли ряд попыток развернуть большие генеративные модели искусственного интеллекта на смартфонах и других терминалах. Например, запуск версий ChatGPT для iOS и Android позволяет обычным пользователям участвовать в генеративных беседах в чате, просто взяв в руки свой мобильный телефон. В будущем таких важных моментов будет еще больше.
Кроме того, по сравнению с облаком, развертывание и запуск генеративного искусственного интеллекта на стороне терминала также имеет преимущества с точки зрения стоимости, безопасности и конфиденциальности, а также надежности работы.
Во-первых, это ценовое преимущество. Ранее СМИ сообщали, что OpenAI тратила около 700 000 долларов США в день только на поддержание работы ChatGPT, а это означает, что на ChatGPT могло быть потрачено почти 200 миллионов долларов США. Столь высокие затраты слишком высоки, чтобы даже OpenAI смог их выдержать, что затрудняет выход на уровень безубыточности, не говоря уже о получении прибыли. Терминальная сторона отличается.Стоимость значительно снижается.При развертывании сжатой облегченной модели необходимо оплатить только стоимость оборудования, без учета других вопросов, таких как полоса пропускания, энергопотребление и передача по сети.
Во-вторых, запуск генеративного ИИ на стороне терминала может с большей уверенностью защитить частные данные, в отличие от потенциального риска утечки информации в облаке. Это небезосновательно: в апреле этого года выяснилось, что сотрудники полупроводникового отдела при использовании ChatGPT загружали данные в облако, что привело к утечке конфиденциальных данных, после чего объявили о запрете. Работа терминала не требует загрузки текста, изображений, видео и другой информации в облако, что позволяет избежать этого риска и гарантирует отсутствие утечки конфиденциальности и повышение безопасности.
Низкая задержка также является важным преимуществом на стороне терминала. Облаку необходимо передать данные в облако для обработки, прежде чем результаты смогут быть возвращены.Во время этого процесса передача по сети неизбежно приведет к задержкам. Терминальной стороне не требуется загружать информацию на облачный сервер или дата-центр, повышается скорость ответа и сокращается задержка. В то же время локальная работа более надежна и иногда может выполняться в автономном режиме, что в определенной степени снижает зависимость от облачных сервисов и сетевых подключений.
Терминальная сторона также имеет более богатые сценарии приложений и ситуационную информацию, чем облако, что обеспечивает более персонализированное взаимодействие и опыт. Пользователи могут точно настраивать и настраивать параметры и функции модели для разных сценариев применения или разных потребностей в одном сценарии, что дает им полную гибкость.
Благодаря этим преимуществам путь к развертыванию генеративного ИИ на стороне терминала становится все более ясным, и он все чаще занимает не менее важное место, чем облако. Как заявил вице-президент Qualcomm Global Хоу Минджуань на офлайн-пресс-конференции, посвященной официальному документу «Гибридный ИИ — будущее ИИ», «ИИ на стороне терминала — это ключ к реализации гибридной архитектуры ИИ и расширению генеративного ИИ на более широкий спектр задач». мир."
Хоу Минцзюань
Qualcomm так сказала и так и сделала. В этой революции на стороне терминала, связанной с генеративным ИИ, компания Qualcomm взяла на себя инициативу и стала одним из основных пропагандистов революции ИИ на стороне терминала, а также сформировала гибридный маршрут разработки ИИ, в котором облако и терминалы работают вместе в расположение. Этот выбор маршрута еще раз отражает дальновидность и лидерство Qualcomm в области возможностей искусственного интеллекта на стороне терминала и генеративного искусственного интеллекта.
Планируйте генеративный ИИ на стороне терминала на шаг впереди
Так называемый гибридный ИИ в основном работает двумя способами: во-первых, в некоторых сценариях вычисления в основном сосредоточены на терминале и при необходимости переносят задачи в облако. Во-вторых, в сценарии, ориентированном на облако, терминалы, если это возможно, разделяют часть рабочей нагрузки облака, исходя из своих собственных возможностей. Облако и терминал выполняют свои функции и помогают друг другу.
По сравнению с использованием только облака, самым большим преимуществом гибридного ИИ является более эффективное распределение и координация рабочих нагрузок ИИ в различных сценариях и в разное время, повышение эффективности использования ресурсов и снижение эксплуатационных расходов.
В схеме гибридного ИИ Qualcomm, будь то ориентированная на терминалы, основанная на восприятии терминала или совместная обработка терминала и облака, подчеркивается, что возможности ИИ на стороне терминала являются ключом к расширению возможностей гибридного ИИ и позволяют генеративному ИИ достичь расширения в глобальном масштабе. . . В частности, для генеративного ИИ гибридный ИИ означает полное использование вычислительной мощности на стороне терминала для поддержки приложений генеративного ИИ, как ChatGPT на мобильных телефонах.
Однако об успешном развертывании и запуске крупных генеративных моделей ИИ на терминалах легче сказать, чем сделать. Компания Qualcomm, как производитель микросхем, всегда была лидером в области искусственного интеллекта на стороне терминала. Можно добиться ускорения вывода ИИ.
Прежде всего, на уровне аппаратного чипа, от более ранней флагманской платформы Snapdragon 888 и Snapdragon 8 первого поколения до высокопроизводительного Snapdragon 7 второго поколения и флагманского Snapdragon 8 второго поколения, выпущенных в прошлом году, возможности искусственного интеллекта продолжаются. развиваться. Благодаря этому усовершенствованию возможности искусственного интеллекта на стороне терминала будут соответственно улучшены. Среди них важную роль играет постоянно обновляемый процессор Qualcomm AI Engine (в настоящее время восьмого поколения), процессор Hexagon, графический процессор Qualcomm Adreno и процессор Qualcomm Kryo предназначены для эффективного запуска приложений искусственного интеллекта на стороне терминала и оптимизации пользователей искусственного интеллекта на стороне терминала. посредством гетерогенных вычислительных методов.
Ожидается, что вычислительная мощность ИИ процессора Snapdragon 8 третьего поколения, который будет выпущен в октябре этого года, будет еще больше улучшена.
Помимо постоянного аппаратного ускорения, самая большая проблема для ИИ на стороне терминала заключается в программном обеспечении. Программный стек Qualcomm AI помогает разработчикам более эффективно создавать, оптимизировать и развертывать приложения AI на оборудовании, достигая эффекта однократной разработки и многократного развертывания приложений. Как видно на рисунке ниже, этот программный стек повышает эффективность разработки на нескольких уровнях, включая поддерживаемые платформы искусственного интеллекта, комплекты разработки программного обеспечения для вывода, библиотеки и службы для разработчиков, системное программное обеспечение и операционные системы.
Стек программного обеспечения Qualcomm AI
Кроме того, с точки зрения разработки алгоритмов и моделей, компания стремится повысить эффективность без ущерба для точности.В связи с этим существуют алгоритмы, основанные на модели Q-SRNet, решениях квантования INT4 и т. д. Например, Snapdragon 8 Gen2 впервые поддерживает прецизионный формат INT4 AI, что обеспечивает повышение энергоэффективности на 60 % и производительность вывода AI на 90 % по сравнению с INT8.
Qualcomm также продолжает прилагать усилия на экологическом уровне, и ее технические преимущества в мобильных телефонах могут быть распространены на другие терминалы, такие как автомобили, ПК, XR и Интернет вещей. В то же время, основываясь на интеллектуальной собственности и технологиях, распространяемых в различных областях, Qualcomm может осуществлять углубленное сотрудничество в различных экосистемах, таких как сфера ПК и Microsoft, сфера XR и мета-технологии, и быстро достигать крупномасштабного расширения за счет хорошее экологическое сотрудничество.
Можно сказать, что мощные и всеобъемлющие возможности искусственного интеллекта на стороне терминала компании Qualcomm, особенно архитектура аппаратного ускорения искусственного интеллекта и стек программного обеспечения, которые могут справиться с потенциальными изменениями в архитектуре генеративной модели искусственного интеллекта, проложили путь в рассуждениях об искусственном интеллекте на стороне терминала и заложил прочную основу для распространения генеративного ИИ на терминалы.Техническая основа позволяет запускать приложения генеративного ИИ на терминальных устройствах, таких как мобильные телефоны. В то же время Qualcomm смотрит в будущее с точки зрения изучения генеративного искусственного интеллекта.
От ранних исследований метода сжатия генеративных моделей ИИ, использования VAE для создания видео- и голосовых кодеков для управления размером модели ниже 100 миллионов параметров, до использования генеративного ИИ для замены моделей каналов в беспроводной области для повышения эффективности связи мобильных телефонов. Qualcomm всегда стремилась продвигать генеративный искусственный интеллект.
Конечно, результаты тоже очень значительны. генерация изображения модель изображения ControlNet.Подождите. Помимо демонстрации возможностей рисования ИИ на мобильных устройствах, Qualcomm также изучает расширение возможностей генеративного ИИ в других технических направлениях, таких как цифровые люди.
*ControlNet на мобильном телефоне завершает рендеринг за 12 секунд. *
В будущем, основываясь на накопленном Qualcomm опыте эксплуатации мобильных телефонов и дальнейшем улучшении вычислительной мощности чипов SoC, не за горами работа терминалов с большим количеством моделей параметров. Зиад Асгар, старший вице-президент по управлению продуктами и руководитель отдела искусственного интеллекта Qualcomm, заявил в интервью, что в этом году на мобильных телефонах будут работать генеративные модели искусственного интеллекта, способные поддерживать 10 миллиардов параметров. Кроме того, компания будет сотрудничать с Meta для запуска мобильной версии Llama 2 в следующем году. Это делает будущее генеративного искусственного интеллекта более многообещающим.
По нашему мнению, наибольшее значение ИИ на стороне терминала заключается в том, чтобы показать всем большие модели генеративного ИИ, что более выгодно для крупномасштабного расширения и популяризации генеративного ИИ, а также может создать преимущества для бизнеса. Если взять в качестве примера генеративную живопись с использованием ИИ, если она может быть похожа на камеру Miaoya, ставшую популярной в WeChat Moments некоторое время назад, запуск генеративного ИИ на мобильных телефонах приведет к неизмеримому эффекту трафика.
Однако схема генеративного ИИ Qualcomm определенно предназначена не для временного эффекта трафика, а с помощью мобильных телефонов, мобильных ПК, носимых устройств XR, умных домов, автомобилей и других возможных носителей генеративных приложений ИИ таким образом, чтобы это было ближе. пользователям. , что позволит большему количеству людей быстро и удобно ощутить новые возможности искусственного интеллекта. Как написано на обложке официального документа, «сделать ИИ доступным». Qualcomm делает это уже недалеко.
Заключение
Со времени ChatGPT генеративный искусственный интеллект стал непреодолимой тенденцией развития. Учитывая огромное удобство, которое он принесет в нашу жизнь, необходимо ускорить популяризацию генеративного искусственного интеллекта.К счастью, Qualcomm заложила основу. Мы узнали, что компания Qualcomm уже более 15 лет активно участвует в области искусственного интеллекта, особенно в области мобильных вычислений, и сформировала глубокое техническое лидерство. В настоящее время по всему миру существуют миллиарды интеллектуальных терминальных устройств, оснащенных платформами Snapdragon и Qualcomm, что выводит возможности метода проб и ошибок на стороне терминала и потенциал генеративных приложений ИИ на беспрецедентную высоту.
В то же время, расширяя и углубляя возможности ИИ на стороне терминала и распространяя генеративный ИИ на большее количество областей и сценариев, он может не только предоставить обычным пользователям более разнообразный, увлекательный и удобный опыт работы с ИИ, но также может создать больше рыночные возможности для своих партнеров по экосистеме интеллектуальных терминалов и по-настоящему раскрыть их ценность.
Для Qualcomm генеративный искусственный интеллект на стороне терминала имеет далеко идущее значение. На форуме «Тенденции развития цифровой торговли и границы» Китайской ярмарки услуг Мэн Пу, председатель Qualcomm China, выступил с программной речью, подчеркнув тесное сотрудничество с глобальной экосистемой для совместного изучения таких технологий, как 5G, искусственный интеллект и Интернет. of Things. Совершенно новые мобильные приложения и возможности. Поскольку технология генеративного искусственного интеллекта в настоящее время находится на переднем крае, ее сила, количество и сложность во многом будут определять, удастся ли ее успешно реализовать.
Использование генеративного искусственного интеллекта на стороне терминала является обязательным, и экологические компании и компании, предоставляющие пользователям возможности, такие как Qualcomm, также будут выделяться своей силой.
Справочная ссылка:
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Эта революция на стороне терминала, которая ближе к пользователям, является ключом к демократизации генеративного ИИ.
Первоисточник: Сердце машины.
Сегодня прошло почти 10 месяцев с тех пор, как OpenAI выпустила ChatGPT, и вызванная им волна генеративного ИИ заставила обычных людей почувствовать очарование искусственного интеллекта «ближе». Будь то поисковая система в режиме реального времени в стиле чата, основанная на больших моделях, или инструмент для рисования, который генерирует изображения путем ввода текста, генеративный искусственный интеллект медленно вошел и тонко изменил повседневную работу, развлечения и творческие привычки людей.
Наряду с большими моделями и генеративным искусственным интеллектом производители мобильных телефонов и чипов с большой помпой проводят «революцию на стороне устройств». В мае этого года Google выпустила большую языковую модель PaLM 2, включая облегченную версию Gecko, которая может работать на мобильных устройствах. Также в мае Qualcomm опубликовала официальный документ «Гибридный ИИ — будущее ИИ». В августе Xiaomi Lei Jun объявила о полном переходе на большие модели и первоначально успешно обработала на мобильном телефоне большую модель с 1,3 миллиарда параметров.Сяо Ай также получил обновление возможностей больших моделей.
Мы не можем не задаться вопросом: почему крупные производители спешат внедрять большие модели общего и генеративного ИИ в терминалы, особенно в мобильные телефоны? Мы знаем, что интеллектуальные терминалы, такие как смартфоны, ПК, XR и автомобили, наиболее близки обычным людям, особенно мобильные телефоны, и мы тратим на них все больше и больше времени. В апреле 2023 года исследовательская организация Electronics Hub опубликовала отчет, показывающий, что пользователи в некоторых странах смотрят на экраны мобильных телефонов более 7 часов в день. Мобильные телефоны постепенно превращаются в ядро умной жизни, подготавливая «рассадник» для развития генеративного искусственного интеллекта на стороне терминала.
Однако нынешний сдвиг крупных моделей генеративного ИИ в сторону терминалов не произошел в одночасье.
Тенденция использования терминального и облачного генеративного искусственного интеллекта становится все более заметной
Мы знаем, что параметры больших генеративных моделей ИИ часто исчисляются миллиардами, сотнями или даже сотнями миллиардов, что предъявляет чрезвычайно высокие требования к инфраструктуре с точки зрения оптимизации обучения модели и вывода результатов выполнения. Вначале только облако могло обеспечить такую огромную вычислительную мощность ИИ, поэтому производители часто предпочитали развертывать и запускать свои собственные большие модели в облаке.
Если взять в качестве примера ChatGPT, то его обучение и работа требуют большого объема хранилища данных и вычислительных ресурсов, а массивные запросы пользователей влекут за собой высокие затраты вычислительной мощности, что требует мощной платформы облачных сервисов. Пользователи могут получить доступ к ChatGPT и другим продуктам генеративного искусственного интеллекта (например, CodeX) через облачный сервис Microsoft Azure OpenAI. Amazon, еще один крупный поставщик облачных услуг, также запустил аналогичную услугу облачного хостинга с генеративным ИИ. Пользователи могут получить доступ к предварительно обученным базовым моделям таких стартапов, как AI21Labs, Anthropic и Stability AI, через API.
Очевидно, что платформы облачных сервисов ускорили эту волну генеративных технологий искусственного интеллекта, охватившую мир, предоставив крупным производителям моделей вычислительную мощность, необходимую для обучения моделей и вывода. Однако вывод больших моделей облака требует больших затрат, а с ростом числа пользователей и запросов на использование стоимость становится все выше и выше. В результате, в условиях постоянно растущих эксплуатационных расходов производителям приходится искать другой выход за пределы облака.
С течением времени, с одной стороны, технологии сжатия больших моделей (такие как квантование, сокращение сети и дистилляция знаний) становятся все более распространенными и эффективными. С другой стороны, интеллектуальные терминальные устройства, такие как мобильные телефоны, ПК, XR Вычислительные мощности продолжают расти, а технические условия для внедрения генеративного ИИ на терминалах быстро развиваются. Тенденция сочетания терминалов и облаков становится все более очевидной.
Кроме того, по сравнению с облаком, развертывание и запуск генеративного искусственного интеллекта на стороне терминала также имеет преимущества с точки зрения стоимости, безопасности и конфиденциальности, а также надежности работы.
Во-первых, это ценовое преимущество. Ранее СМИ сообщали, что OpenAI тратила около 700 000 долларов США в день только на поддержание работы ChatGPT, а это означает, что на ChatGPT могло быть потрачено почти 200 миллионов долларов США. Столь высокие затраты слишком высоки, чтобы даже OpenAI смог их выдержать, что затрудняет выход на уровень безубыточности, не говоря уже о получении прибыли. Терминальная сторона отличается.Стоимость значительно снижается.При развертывании сжатой облегченной модели необходимо оплатить только стоимость оборудования, без учета других вопросов, таких как полоса пропускания, энергопотребление и передача по сети.
Во-вторых, запуск генеративного ИИ на стороне терминала может с большей уверенностью защитить частные данные, в отличие от потенциального риска утечки информации в облаке. Это небезосновательно: в апреле этого года выяснилось, что сотрудники полупроводникового отдела при использовании ChatGPT загружали данные в облако, что привело к утечке конфиденциальных данных, после чего объявили о запрете. Работа терминала не требует загрузки текста, изображений, видео и другой информации в облако, что позволяет избежать этого риска и гарантирует отсутствие утечки конфиденциальности и повышение безопасности.
Низкая задержка также является важным преимуществом на стороне терминала. Облаку необходимо передать данные в облако для обработки, прежде чем результаты смогут быть возвращены.Во время этого процесса передача по сети неизбежно приведет к задержкам. Терминальной стороне не требуется загружать информацию на облачный сервер или дата-центр, повышается скорость ответа и сокращается задержка. В то же время локальная работа более надежна и иногда может выполняться в автономном режиме, что в определенной степени снижает зависимость от облачных сервисов и сетевых подключений.
Терминальная сторона также имеет более богатые сценарии приложений и ситуационную информацию, чем облако, что обеспечивает более персонализированное взаимодействие и опыт. Пользователи могут точно настраивать и настраивать параметры и функции модели для разных сценариев применения или разных потребностей в одном сценарии, что дает им полную гибкость.
Благодаря этим преимуществам путь к развертыванию генеративного ИИ на стороне терминала становится все более ясным, и он все чаще занимает не менее важное место, чем облако. Как заявил вице-президент Qualcomm Global Хоу Минджуань на офлайн-пресс-конференции, посвященной официальному документу «Гибридный ИИ — будущее ИИ», «ИИ на стороне терминала — это ключ к реализации гибридной архитектуры ИИ и расширению генеративного ИИ на более широкий спектр задач». мир."
Qualcomm так сказала и так и сделала. В этой революции на стороне терминала, связанной с генеративным ИИ, компания Qualcomm взяла на себя инициативу и стала одним из основных пропагандистов революции ИИ на стороне терминала, а также сформировала гибридный маршрут разработки ИИ, в котором облако и терминалы работают вместе в расположение. Этот выбор маршрута еще раз отражает дальновидность и лидерство Qualcomm в области возможностей искусственного интеллекта на стороне терминала и генеративного искусственного интеллекта.
Планируйте генеративный ИИ на стороне терминала на шаг впереди
Так называемый гибридный ИИ в основном работает двумя способами: во-первых, в некоторых сценариях вычисления в основном сосредоточены на терминале и при необходимости переносят задачи в облако. Во-вторых, в сценарии, ориентированном на облако, терминалы, если это возможно, разделяют часть рабочей нагрузки облака, исходя из своих собственных возможностей. Облако и терминал выполняют свои функции и помогают друг другу.
По сравнению с использованием только облака, самым большим преимуществом гибридного ИИ является более эффективное распределение и координация рабочих нагрузок ИИ в различных сценариях и в разное время, повышение эффективности использования ресурсов и снижение эксплуатационных расходов.
В схеме гибридного ИИ Qualcomm, будь то ориентированная на терминалы, основанная на восприятии терминала или совместная обработка терминала и облака, подчеркивается, что возможности ИИ на стороне терминала являются ключом к расширению возможностей гибридного ИИ и позволяют генеративному ИИ достичь расширения в глобальном масштабе. . . В частности, для генеративного ИИ гибридный ИИ означает полное использование вычислительной мощности на стороне терминала для поддержки приложений генеративного ИИ, как ChatGPT на мобильных телефонах.
Однако об успешном развертывании и запуске крупных генеративных моделей ИИ на терминалах легче сказать, чем сделать. Компания Qualcomm, как производитель микросхем, всегда была лидером в области искусственного интеллекта на стороне терминала. Можно добиться ускорения вывода ИИ.
Прежде всего, на уровне аппаратного чипа, от более ранней флагманской платформы Snapdragon 888 и Snapdragon 8 первого поколения до высокопроизводительного Snapdragon 7 второго поколения и флагманского Snapdragon 8 второго поколения, выпущенных в прошлом году, возможности искусственного интеллекта продолжаются. развиваться. Благодаря этому усовершенствованию возможности искусственного интеллекта на стороне терминала будут соответственно улучшены. Среди них важную роль играет постоянно обновляемый процессор Qualcomm AI Engine (в настоящее время восьмого поколения), процессор Hexagon, графический процессор Qualcomm Adreno и процессор Qualcomm Kryo предназначены для эффективного запуска приложений искусственного интеллекта на стороне терминала и оптимизации пользователей искусственного интеллекта на стороне терминала. посредством гетерогенных вычислительных методов.
Ожидается, что вычислительная мощность ИИ процессора Snapdragon 8 третьего поколения, который будет выпущен в октябре этого года, будет еще больше улучшена.
Помимо постоянного аппаратного ускорения, самая большая проблема для ИИ на стороне терминала заключается в программном обеспечении. Программный стек Qualcomm AI помогает разработчикам более эффективно создавать, оптимизировать и развертывать приложения AI на оборудовании, достигая эффекта однократной разработки и многократного развертывания приложений. Как видно на рисунке ниже, этот программный стек повышает эффективность разработки на нескольких уровнях, включая поддерживаемые платформы искусственного интеллекта, комплекты разработки программного обеспечения для вывода, библиотеки и службы для разработчиков, системное программное обеспечение и операционные системы.
Кроме того, с точки зрения разработки алгоритмов и моделей, компания стремится повысить эффективность без ущерба для точности.В связи с этим существуют алгоритмы, основанные на модели Q-SRNet, решениях квантования INT4 и т. д. Например, Snapdragon 8 Gen2 впервые поддерживает прецизионный формат INT4 AI, что обеспечивает повышение энергоэффективности на 60 % и производительность вывода AI на 90 % по сравнению с INT8.
Qualcomm также продолжает прилагать усилия на экологическом уровне, и ее технические преимущества в мобильных телефонах могут быть распространены на другие терминалы, такие как автомобили, ПК, XR и Интернет вещей. В то же время, основываясь на интеллектуальной собственности и технологиях, распространяемых в различных областях, Qualcomm может осуществлять углубленное сотрудничество в различных экосистемах, таких как сфера ПК и Microsoft, сфера XR и мета-технологии, и быстро достигать крупномасштабного расширения за счет хорошее экологическое сотрудничество.
Можно сказать, что мощные и всеобъемлющие возможности искусственного интеллекта на стороне терминала компании Qualcomm, особенно архитектура аппаратного ускорения искусственного интеллекта и стек программного обеспечения, которые могут справиться с потенциальными изменениями в архитектуре генеративной модели искусственного интеллекта, проложили путь в рассуждениях об искусственном интеллекте на стороне терминала и заложил прочную основу для распространения генеративного ИИ на терминалы.Техническая основа позволяет запускать приложения генеративного ИИ на терминальных устройствах, таких как мобильные телефоны. В то же время Qualcomm смотрит в будущее с точки зрения изучения генеративного искусственного интеллекта.
От ранних исследований метода сжатия генеративных моделей ИИ, использования VAE для создания видео- и голосовых кодеков для управления размером модели ниже 100 миллионов параметров, до использования генеративного ИИ для замены моделей каналов в беспроводной области для повышения эффективности связи мобильных телефонов. Qualcomm всегда стремилась продвигать генеративный искусственный интеллект.
Конечно, результаты тоже очень значительны. генерация изображения модель изображения ControlNet.Подождите. Помимо демонстрации возможностей рисования ИИ на мобильных устройствах, Qualcomm также изучает расширение возможностей генеративного ИИ в других технических направлениях, таких как цифровые люди.
В будущем, основываясь на накопленном Qualcomm опыте эксплуатации мобильных телефонов и дальнейшем улучшении вычислительной мощности чипов SoC, не за горами работа терминалов с большим количеством моделей параметров. Зиад Асгар, старший вице-президент по управлению продуктами и руководитель отдела искусственного интеллекта Qualcomm, заявил в интервью, что в этом году на мобильных телефонах будут работать генеративные модели искусственного интеллекта, способные поддерживать 10 миллиардов параметров. Кроме того, компания будет сотрудничать с Meta для запуска мобильной версии Llama 2 в следующем году. Это делает будущее генеративного искусственного интеллекта более многообещающим.
По нашему мнению, наибольшее значение ИИ на стороне терминала заключается в том, чтобы показать всем большие модели генеративного ИИ, что более выгодно для крупномасштабного расширения и популяризации генеративного ИИ, а также может создать преимущества для бизнеса. Если взять в качестве примера генеративную живопись с использованием ИИ, если она может быть похожа на камеру Miaoya, ставшую популярной в WeChat Moments некоторое время назад, запуск генеративного ИИ на мобильных телефонах приведет к неизмеримому эффекту трафика.
Однако схема генеративного ИИ Qualcomm определенно предназначена не для временного эффекта трафика, а с помощью мобильных телефонов, мобильных ПК, носимых устройств XR, умных домов, автомобилей и других возможных носителей генеративных приложений ИИ таким образом, чтобы это было ближе. пользователям. , что позволит большему количеству людей быстро и удобно ощутить новые возможности искусственного интеллекта. Как написано на обложке официального документа, «сделать ИИ доступным». Qualcomm делает это уже недалеко.
Заключение
Со времени ChatGPT генеративный искусственный интеллект стал непреодолимой тенденцией развития. Учитывая огромное удобство, которое он принесет в нашу жизнь, необходимо ускорить популяризацию генеративного искусственного интеллекта.К счастью, Qualcomm заложила основу. Мы узнали, что компания Qualcomm уже более 15 лет активно участвует в области искусственного интеллекта, особенно в области мобильных вычислений, и сформировала глубокое техническое лидерство. В настоящее время по всему миру существуют миллиарды интеллектуальных терминальных устройств, оснащенных платформами Snapdragon и Qualcomm, что выводит возможности метода проб и ошибок на стороне терминала и потенциал генеративных приложений ИИ на беспрецедентную высоту.
В то же время, расширяя и углубляя возможности ИИ на стороне терминала и распространяя генеративный ИИ на большее количество областей и сценариев, он может не только предоставить обычным пользователям более разнообразный, увлекательный и удобный опыт работы с ИИ, но также может создать больше рыночные возможности для своих партнеров по экосистеме интеллектуальных терминалов и по-настоящему раскрыть их ценность.
Для Qualcomm генеративный искусственный интеллект на стороне терминала имеет далеко идущее значение. На форуме «Тенденции развития цифровой торговли и границы» Китайской ярмарки услуг Мэн Пу, председатель Qualcomm China, выступил с программной речью, подчеркнув тесное сотрудничество с глобальной экосистемой для совместного изучения таких технологий, как 5G, искусственный интеллект и Интернет. of Things. Совершенно новые мобильные приложения и возможности. Поскольку технология генеративного искусственного интеллекта в настоящее время находится на переднем крае, ее сила, количество и сложность во многом будут определять, удастся ли ее успешно реализовать.
Использование генеративного искусственного интеллекта на стороне терминала является обязательным, и экологические компании и компании, предоставляющие пользователям возможности, такие как Qualcomm, также будут выделяться своей силой.
Справочная ссылка: