Huawei est le premier à intégrer de grands modèles dans les téléphones mobiles ! Xiaoyi + grand modèle, assistant intelligent QI +++

Source : Xinzhiyuan

Bravo, HUAWEI HarmonyOS Access Large Model, l'assistant intelligent peut-il jouer comme ça ?

Avec une seule commande en chinois, Huawei Xiaoyi écrira un e-mail en anglais :

Vous pouvez utiliser l'IA pour créer vos propres photos dans différents styles :

Vous pouvez également parler une longue liste d'instructions, le laisser créer des scènes complexes par lui-même et vous pouvez le comprendre en langage clair :

Voici le Nouveau Xiaoyi dans HUAWEI HarmonyOS 4.

Il est basé sur le grand modèle de la base Pangu L0 de Huawei, incorporant une grande quantité de données de scène, affinant le modèle et enfin affinant un modèle de dialogue de couche L1.

Il peut gérer des tâches telles que la génération de texte, la recherche de connaissances, le résumé des données, l'arrangement intelligent et la compréhension des intentions floues/complexes.

De plus, divers services APP peuvent également être appelés pour réaliser une expérience intelligente au niveau du système.

Alors, que peut faire le nouveau Huawei Xiaoyi ?

Plus intelligent, plus capable, plus attentionné

Basé sur la capacité des grands modèles, Huawei Xiaoyi a principalement mis à niveau cette fois-ci sur trois aspects :

  • Interaction intelligente
  • Grande productivité
  • Service personnalisé

Les améliorations de capacités spécifiques incluent des dialogues en langage plus naturel, des quiz de connaissances pour jouer à des jeux, la recherche de services de la vie, le contenu de l'écran de reconnaissance des dialogues, la génération d'images récapitulatives de rédaction, etc.

** Tout d'abord, la mise à niveau de l'interaction intelligente rend le dialogue et l'interaction plus naturels et fluides. **

Huawei Xiaoyi peut comprendre le ** vernaculaire **, comprendre les ** intentions floues ** et les ** commandes complexes **.

Si vous ne trouvez pas la dernière fonction de réglage de fond d'écran et que vous ne connaissez pas le nom de la fonction, vous pouvez directement demander :

Comment changer le fond d'écran qui peut changer en temps réel selon la météo ?

Ou une commande complexe avec plusieurs exigences :

Trouvez un restaurant de fruits de mer réputé près du lac Songshan, de préférence avec un menu fixe à prix réduit pour quatre personnes.

Xiaoyi peut également appeler le service pour trouver un restaurant qui répond aux exigences.

Dans le même temps, Xiaoyi dispose également de capacités multimodales, ** peut comprendre le contenu de l'image **. De cette façon, les étapes que les utilisateurs devaient lire puis opérer manuellement peuvent également être confiées à Xiaoyi.

Par exemple, laissez-le regarder une lettre d'invitation et dire :

Naviguez jusqu'à l'adresse sur la carte.

Il peut extraire les informations d'adresse sur la carte et appeler le service de carte pour la navigation.

Ou enregistrez les informations de contact dans l'invitation, et vous pouvez voir qu'il peut très bien comprendre les informations textuelles dans l'image.

En allant un peu plus loin, nous pouvons maintenant effectuer une organisation de tâches complexes via Xiaoyi, nous n'avons donc pas besoin de la définir manuellement à plusieurs reprises.

Par exemple, vous pouvez le laisser définir une scène de course matinale :

Aidez-moi à créer la scène du jogging matinal. Tous les lundis au vendredi à 6h30 du matin, je diffuserai pour moi la météo du jour. Lorsque je mets mes écouteurs Bluetooth, je joue mes chansons préférées et mets mon téléphone en mode silencieux.

Xiaoyi peut comprendre cette longue liste d'exigences, puis appeler différentes fonctions. Et en fonction de l'état du téléphone mobile (si le casque Bluetooth est connecté), il peut juger s'il faut effectuer certaines opérations.

Deuxièmement, grâce à des capacités telles que les grands modèles, Xiaoyi peut désormais fournir des outils de productivité plus efficaces.

Vous aider à voir, lire et écrire.

Par exemple, montrez-lui un article en anglais, puis demandez-lui ce qui est dit dans cet article ?

Xiaoyi peut donner des explications simples et concises en chinois.

Si l'utilisateur lui a demandé de se souvenir de certaines informations dans le passé, il peut également être appelé pour générer le contenu correspondant.

Dans quelques jours, je prendrai rendez-vous avec David pour discuter du projet.En combinant les informations de la dernière réunion, je rédigerai un e-mail de rendez-vous en anglais.

Y compris ce qui a été mentionné au début, Xiaoyi peut également utiliser la capacité visuelle de l'IA pour créer des photos dans différents styles.

** Enfin, en tant qu'assistant intelligent, Xiaoyi prend désormais en charge des services plus personnalisés et peut mieux vous comprendre. **

Il peut être utilisé comme bloc-notes et mémorandum, et certaines petites choses peuvent être enregistrées oralement.

Huawei a déclaré que ** tout le contenu de la mémoire est complété sous l'autorisation de l'utilisateur et protégera pleinement la confidentialité de l'utilisateur. **

De plus, Xiaoyi Suggestion peut désormais percevoir davantage de scènes à haute fréquence d'utilisateurs et peut fournir activement des suggestions de combinaisons intelligentes à guichet unique, ce qui permet d'économiser de nombreux processus de recherche manuelle.

Par exemple, dans le cas d'un voyage à l'étranger, Xiaoyi peut rappeler le dernier taux de change en temps réel avant le départ, échanger des devises étrangères et aider les utilisateurs à obtenir des stratégies de voyage dans la destination en temps réel ; des outils de traduction en temps réel et plus encore.

Selon les rapports, ** La nouvelle scène intelligente Xiaoyi a été multipliée par 3 et le nombre de points d'intérêt a augmenté de 7 fois **, ce qui peut couvrir les principaux magasins de restauration et de shopping, les quartiers d'affaires, les gares ferroviaires à grande vitesse des aéroports et autres scénarios.

Pour résumer, le nouveau Xiaoyi a non seulement obtenu les dernières capacités AIGC, mais a également amélioré certaines lacunes des assistants vocaux pour téléphones mobiles qui ont souvent été critiqués dans le passé.

Tels que manque de mémoire, dialogue terne, incompréhension du vernaculaire, etc...

Tout cela a bien sûr bénéficié de la bénédiction du grand modèle, mais comment Xiaoyi a-t-il fait ?

Xiaoyi embrasse le grand modèle

Le modèle sous-jacent sur lequel Xiaoyi s'appuie est Huawei Pangu Series.

En juillet de cette année, Huawei a officiellement publié Pangu Large Model 3.0 et proposé une architecture de modèle à trois couches.

  • L0 : Grands modèles de base, y compris le langage naturel, la vision, la multimodalité, la prédiction et le calcul scientifique ;
  • L1 : grands modèles d'industries N, telles que les affaires gouvernementales, la finance, la fabrication, l'exploitation minière, la météorologie, etc. ;
  • L2 : un modèle plus détaillé de la scène, fournissant des services de modèle "prêts à l'emploi"

Parmi eux, la plus grande version du grand modèle de base de la couche L0 contient 100 milliards de paramètres, et la pré-formation utilise plus de 3 000 milliards de jetons.

Sur la base du grand modèle de la base Pangu L0 de Huawei, Xiaoyi a construit une grande quantité de données de scène pour les scénarios de consommation finale, affiné le modèle et enfin affiné le modèle de dialogue de couche L1.

En affinant, Xiaoyi a ajouté des types de données grand public couvrant les consommateurs finaux, tels que les conversations, les guides de voyage, le contrôle des équipements, la nourriture, les vêtements, le logement et les transports, etc.

Cela peut bien couvrir la gamme de connaissances des conversations quotidiennes des utilisateurs ordinaires et peut améliorer la factualité, les performances en temps réel, la conformité à la sécurité, etc. dans le processus de dialogue du modèle.

Cependant, comme nous le savons tous, les grands modèles sont très difficiles en termes de ** déploiement et de réponse rapide ** en raison de leurs caractéristiques à grande échelle.

En termes de déploiement, Huawei améliore continuellement la capacité du modèle à grande échelle collaboration appareil-cloud. Le grand modèle côté appareil peut effectuer une couche de prétraitement sur les demandes des utilisateurs et les informations contextuelles, puis envoyer la demande prétraitée. côté nuage.

L'avantage est qu'il peut non seulement tirer parti de la réponse rapide du modèle côté final, mais également améliorer la qualité des questions-réponses et des réponses via le modèle cloud, et protéger davantage les données de confidentialité des utilisateurs.

En termes de réduction du délai d'inférence, Huawei Xiaoyi a effectué une optimisation technique systématique, y compris l'intégralité du lien depuis la puce sous-jacente, le cadre d'inférence, l'opérateur de modèle et la longueur d'entrée et de sortie.

En démontant le délai de chaque module, l'équipe R&D a clarifié les objectifs d'optimisation de chaque pièce et réduit le délai grâce à la fusion d'opérateurs, à l'optimisation de la mémoire et à l'optimisation du pipeline.

Dans le même temps, la longueur et la longueur de sortie affecteront également la vitesse d'inférence des grands modèles.

À cet égard, Huawei a effectué une analyse et une compression mot par mot pour différents scénarios et formats de sortie, et a finalement réalisé un délai de raisonnement divisé par deux.

Du point de vue de l'architecture technique globale, l'intégration de Huawei Xiaoyi et du grand modèle ne consiste pas simplement à améliorer des tâches telles que le chat, l'AIGC et la réponse, mais à effectuer des améliorations au niveau du système avec le grand modèle comme noyau.

**En d'autres termes, laisser le grand modèle devenir le "cerveau" du système. **

Sa logique sous-jacente est la suivante : assignez des tâches utilisateur aux systèmes appropriés, chaque système exécute ses propres tâches et améliore en même temps l'expérience dans des scénarios complexes.

En regardant spécifiquement le processus de dialogue typique de Xiaoyi, il peut être divisé en trois étapes :

La première étape consiste à recevoir les questions des utilisateurs et à analyser comment les traiter en fonction de la compréhension contextuelle/de la capacité de mémorisation de Xiaoyi.

Deuxième étape, appelez différentes fonctionnalités en fonction du type de demande, y compris la récupération de méta-services, la génération d'idées et la récupération de connaissances.

Si la requête initiée par l'utilisateur implique des méta-services, par exemple, s'il demande des restaurants à proximité qui peuvent se rencontrer, cela implique l'appel du service gourmet APP, le système doit générer une API, et enfin le la partie de service donnera une réponse basée sur le mécanisme de recommandation.

Si l'utilisateur pose une question de connaissances, par exemple en demandant combien de paramètres le modèle de Pangu possède. À ce moment, le système appellera le moteur de recherche, la connaissance du domaine correspondant et la connaissance vectorielle pour interroger, puis générera une réponse par fusion.

Si la demande de l'utilisateur est une tâche générative, alors le grand modèle peut donner une réponse par sa propre capacité.

Dans la dernière étape, toutes les réponses générées seront évaluées par le contrôle des risques et renvoyées à l'utilisateur.

En outre, Xiaoyi a davantage contrôlé les détails et effectué une série de développements de bas niveau pour garantir l'effet des questions et réponses et de l'exécution des tâches.

Vous pouvez regarder l'aspect données.

Depuis que Xiaoyi s'est connecté sur HarmonyOS en 2017, il a accumulé un certain nombre d'habitudes de dialogue pour les utilisateurs ordinaires. En plus de cela, Huawei a construit un large corpus de différents types d'expressions pour couvrir autant d'expressions écrites et parlées que possible, afin que le grand modèle puisse maîtriser diverses expressions pendant la phase de pré-formation.

Afin de mieux évaluer et améliorer les capacités de Xiaoyi, Huawei a créé un ensemble complet de données de test.

Cela peut non seulement évaluer les capacités des grands modèles ouverts existants, mais également guider Xiaoyi pour créer des données et des capacités basées sur les résultats de l'évaluation.

Je veux que Xiaoyi maîtrise l'appel de l'outil, ce qui est très difficile.

Le contrôle de l'équipement nécessite un grand modèle pour générer un texte au format complexe avec des centaines de jetons, et il ne doit y avoir aucune erreur de format, sinon le système de contrôle central ne pourra pas analyser et se connecter.

Afin de permettre au grand modèle de répondre à une telle norme de génération, Huawei avait l'habitude de comprendre le "tempérament" du grand modèle d'une part, et en même temps de renforcer la capacité de code du grand modèle, puis d'améliorer le format capacité de conformité du modèle, et a finalement réalisé que le format ** est presque 100% conforme **.

Pour les scénarios complexes, la méthode de Xiaoyi consiste à utiliser la capacité des grands modèles à apprendre et à comprendre pleinement les scénarios d'outils, puis à raisonner.

Il est entendu que l'équipe a optimisé l'effet de contrôle de l'équipement modèle d'être complètement inutilisable à une disponibilité de plus de 80 %.

De plus, HarmonyOS natif permet également d'optimiser l'API existante, et grâce à cette adaptation inverse, les avantages des grands modèles peuvent également être mieux utilisés.

Face à toute la scène, pas limité au terminal mobile

Alors, pourquoi Huawei est-il capable de déployer si rapidement des capacités de modélisation à grande échelle sur des assistants intelligents ?

L'accumulation et la recherche de la recherche fondamentale sous-jacente et du développement sont essentielles, mais il y a encore une chose digne d'attention——

Huawei a choisi de partir de la scène réelle pour déterminer comment combiner le grand modèle avec l'assistant intelligent et même l'ensemble du système d'exploitation.

Selon les propres mots de Huawei :

Parler n'est pas cher. Montrez-moi la démo.

Bon nombre des expériences présentées ci-dessus proviennent également des perceptions quotidiennes des membres de l'équipe de R&D de Huawei.

Par exemple, certaines personnes ont l'habitude de recevoir des nouvelles sur le chemin du travail, et il n'est pas pratique de lire et d'écouter des informations trop longues, de sorte que la fonction de résumé des informations apparaît dans Huawei Xiaoyi.

Certaines personnes trouvent qu'elles sont toujours à court de mots lorsqu'elles écrivent des critiques d'achats et des souhaits d'anniversaire, donc Huawei Xiaoyi fournit une fonction de rédaction.

Et cet accent mis sur l'expérience de la scène est l'avantage naturel d'HarmonyOS.

Depuis sa naissance, HarmonyOS ne s'est pas limité aux téléphones mobiles, mais s'est orienté vers divers terminaux et tous les scénarios.

Maintenant, il a créé une écologie de scénario complet "1 + 8 + N".

Huawei Xiaoyi a également été déployé sur 1+8 appareils À l'avenir, il combinera la forme commerciale d'appareils à scénario complet et déploiera progressivement Xiaoyi avec des capacités de modèle à grande échelle pour l'expérience de scénario complet des consommateurs.

En tant qu'assistant intelligent piloté par l'IA, Xiaoyi intègre diverses capacités d'IA depuis sa naissance, telles que les sous-titres d'IA et la lecture à haute voix de Xiaoyi. L'équipe R&D derrière elle a toujours prêté attention à davantage de possibilités d'IA et d'assistants intelligents.

Selon des rapports, l'année dernière, l'équipe a remarqué que les dizaines de milliards de modèles de pré-formation combinés à la technologie rapide peuvent déjà apporter de très bonnes capacités de compréhension et de génération de texte, et peuvent être utilisés dans les petites discussions, les questions et réponses et les tâches. dialogue basé.

Avec le déclenchement de la dernière série de tendances de l'IA, RLHF a apporté des améliorations significatives aux grands modèles, et la porte de l'atterrissage industriel s'est officiellement ouverte.

Depuis l'émergence de la tendance de l'IA générative cette année, de nombreuses applications ont choisi d'accéder à de grandes capacités de modélisation et à des assistants intelligents intégrés.

Cependant, en tant que l'un des fabricants de systèmes d'exploitation les plus importants au monde, Huawei a choisi d'intervenir à partir d'un niveau inférieur et d'utiliser un grand modèle pour remodeler le système d'exploitation.

Le niveau inférieur signifie plus approfondi et complet.

Mais pour la recherche et le développement, le défi est encore plus grand.

Cela nécessite non seulement une base de modèle suffisamment solide, mais également une optimisation de la fusion au niveau du système, et met également en avant des exigences pour la compréhension de la scène et la perception de la demande des utilisateurs.

En conséquence, Huawei est l'un des premiers fabricants nationaux à disposer de capacités de modélisation à grande échelle ; construit des capacités de développement d'IA complètes ; HarmonyOS couvre plus de 700 millions d'appareils...

Par conséquent, il n'est pas difficile de comprendre pourquoi Huawei Xiaoyi accède rapidement à la capacité des grands modèles, faisant d'HarmonyOS 4 le premier système d'exploitation à accéder pleinement aux grands modèles.

En tant que l'un des systèmes d'exploitation les plus concernés au monde, HarmonyOS prend les devants en adoptant de grands modèles et peut également ouvrir un nouveau paradigme, permettant à chacun d'ouvrir son téléphone pour découvrir les capacités des grands modèles, qui ne se limitent plus à l'imagination.

Actuellement, Huawei a annoncé le plan de test Xiaoyi :

Le tout nouveau Xiaoyi sera invité à tester à la fin du mois d'août de cette année et sera mis à niveau via OTA sur certains modèles équipés d'HarmonyOS 4.0 et supérieur plus tard.Le plan de mise à niveau spécifique sera annoncé ultérieurement.

Si vous êtes intéressé par les chaussures pour enfants, vous pouvez venir jeter un coup d'œil ~

Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
0/400
Aucun commentaire
  • Épingler
Trader les cryptos partout et à tout moment
qrCode
Scan pour télécharger Gate app
Communauté
Français (Afrique)
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)