華為率先把大模型接入手機！小藝+大模型，智慧助手智商+++

來源：新智元

好傢伙，華為HarmonyOS接入大模型，智慧助手可以這麼玩了嗎？

只需一句中文指令，華為小藝就寫出一封英文郵件：

可以把自己的照片用AI做成不同風格：

還能說一長串指令，讓它自己創建複雜場景，大白話就能聽得懂：

這就是華為HarmonyOS 4中的全新小藝。

它是在華為盤古L0基座大模型的基礎上，融入大量場景數據，對模型進行精調，最後煉成的一個L1層對話模型。

能搞定文本生成、知識查找、資料總結、智能編排、模糊/複雜意圖理解等任務。

而且也可以調用各種APP服務，實現系統級的智能化體驗。

所以，全新華為小藝，到底能做哪些事？

更聰明、更能幹、更貼心

基於大模型能力，華為小藝這一次主要在三方面做了升級：

• 智慧交互
• 高效生產力
• 個性化服務

具體能力提升包括更自然語言對話、玩機知識問答、查找生活服務、對話識別屏幕內容、生成摘要文案圖片等。

**首先，智慧交互升級讓對話、交互更自然流暢了。 **

華為小藝可以聽懂大白話，理解模糊意圖和複雜命令。

找不到最新的壁紙設置功能、也不知道功能名稱，可以直接問：

那個可以根據天氣實時變化的壁紙怎麼換？

或者是一個複雜的命令，包含多個要求的那種：

找一家松山湖附近，評分高的海鮮餐廳，最好有適合四個人的優惠套餐。

小藝也能調用服務找到滿足要求的餐廳。

同時小藝也具備多模態能力，能理解圖像內容。這樣原本需要用戶自己看完再手動操作的步驟，也能交給小藝了。

比如讓它看一張邀請函，然後說：

導航去圖上的地址。

它能夠提取出圖上地址信息，並調用地圖服務導航。

或者是把邀請函中的聯繫信息保存，可以看到它能夠很好理解圖像中的文本信息。

更進一步，現在還能通過小藝進行複雜任務編排，不用咱們自己手動反復設置了。

比如可以讓它設置一個晨跑場景：

幫我創建晨跑場景。每週一到週五早上6點半為我播報當天天氣。當我戴上藍牙耳機的時候，就播放收藏的歌曲，並把手機設為靜音模式。

小藝能夠聽懂這一長串要求，再去調用不同功能。並且可以基於手機狀態（是否連接藍牙耳機），來自行判斷是否要執行某些操作。

其次，得益於大模型等能力加持，現在小藝可提供更高效的生產力工具。

幫你看、讀、寫都沒問題。

比如給它看一篇英文文章，然後提問這篇文章中講了什麼？

小藝就能用中文做出通俗簡潔的解釋。

如果用戶過去讓它記住過一些信息，也能調用出來生成相應內容。

過幾天就要約David見面聊項目了，結合上次會議記的信息，寫一份英文會議預約郵件。

包括開頭提到的，小藝也能利用AI視覺能力，將照片創作成多種風格。

**最後，作為智慧助手，小藝現在支持更加個性化服務，也能更懂你。 **

可以當記事本、備忘錄使用，一些小事都能通過口頭完成記錄。

華為表示，**所有記憶內容都是在用戶授權下完成，會充分保護用戶隱私。 **

此外小藝建議如今也可以感知到更多用戶的高頻場景，能主動提供一站式的智慧組合建議，省去很多自己手動查找的過程。

比如在出境旅遊的場景下，出發前小藝能實時提醒最新匯率、兌換外幣、幫助用戶即時獲取目的地遊玩攻略；到達目的地後，還能提醒行李轉盤信息、一鍵開啟境外流量、快速獲取實時翻譯工具等。

據介紹，全新小藝智慧場景增加3倍，POI數量提升了7倍，能夠覆蓋核心餐飲購物門店、商圈、機場高鐵站等場景。

總結來看，全新小藝不僅獲得了最新的AIGC能力，還改善了手機語音助手過去經常被詬病的一些短板。

如沒有記憶力、對話呆板、聽不懂大白話等……

這一切當然得益於大模型的加持，不過小藝具體是怎麼做的？

小藝擁抱大模型

小藝依託的底層模型是華為盤古系列。

今年7月，華為正式發布盤古大模型3.0，並提出3層模型架構。

• L0：基礎大模型，包括自然語言、視覺、多模態、預測、科學計算；
• L1：N個行業大模型，比如政務、金融、製造、礦山、氣象等；
• L2：更細化場景的模型，提供“開箱即用”的模型服務

其中L0層基礎大模型最大版本包含1000億參數，預訓練使用了超3萬億tokens。

小藝正是在華為盤古L0基座大模型的基礎上，針對終端消費者場景構建了大量的場景數據，並對模型進行精調，最後煉成的L1層對話模型。

在精調中，小藝加入了覆蓋終端消費者的主流數據類型，如對話、旅遊攻略、設備操控、吃穿住行等。

這能很好覆蓋普通用戶日常對話的知識範圍，並且可以增強模型對話過程中的事實性、實時性以及安全合規等。

不過眾所周知，大模型因為規模大的特性，在部署和快速響應上都很有挑戰。

部署方面，華為正在不斷增強大模型端雲協同的能力，端側大模型可以先對用戶請求和上下文信息做一層預處理，再將預處理後的request請求到雲側。

這樣做的好處是，既能發揮端側模型響應快的優勢，又能通過雲端模型來提升問答和響應質量，同時也能更進一步保護用戶隱私數據。

而在降低推理時延上，華為小藝做了系統性工程優化，包含從底層芯片、推理框架、模型算子、輸入輸出長度等全鏈路。

通過對各個模塊時延進行拆解，研發團隊明確了各部分優化目標，利用算子融合、顯存優化、pipeline優化等方式降低時延。

同時長度和輸出長度也會影響大模型推理速度。

在這方面，華為針對不同場景的和輸出格式做了逐字分析和壓縮，最終實現推理時延減半。

從整體技術架構來看，華為小藝和大模型的融合，不是簡單對聊天、AIGC、回復等任務進行增強，而是以大模型為核心，進行了系統級增強。

**換言之，就是讓大模型成為系統的“大腦”。 **

其底層邏輯是：將用戶的任務分配給合適的系統，各個系統各司其職，同時在復雜場景上增強體驗。

具體來看小藝的典型對話流程，一共可分為三步：

第一步，接收用戶問題，基於上下文理解/小藝記憶的能力，分析問題該如何處理。

第二步，根據請求類型調用不同能力，包括元服務檢索、創意生成、知識檢索。

如果用戶發起的請求涉及到元服務，比如他詢問附近有哪些可以聚會的餐廳，這就涉及到了美食APP服務的調用，系統需要API生成，最後由服務方基於推薦機制給出響應。

如果用戶詢問的是知識問題，比如問盤古大模型有多少參數。這時系統會調用搜索引擎、對應領域知識、向量知識進行查詢，然後融合生成答案。

如果用戶的請求是生成式任務，那麼大模型自身能力即可給出回复。

最後一步，所有生成的回答會經過風控評估，再返還給用戶。

除此之外，小藝在細節上也做了更進一步的把控，進行了一系列底層開發，以確保問答、執行任務的效果。

可以來看數據方面。

小藝從2017年起在HarmonyOS上線後，對普通用戶的對話習慣已經有了一定積累。在此之上，華為又構建了大量不同類型表達的語料庫，盡可能覆蓋更多文字和口語表達，讓大模型在預訓練階段中就能精通各種表達。

為了能更好評估提升小藝能力，華為構建了一個完整測試數據集。

這不僅能評測現有開放大模型能力，也能基於評測結果指導小藝在數據和能力上的構建。

想讓小藝掌握工具調用，挑戰性也很高。

設備控制需要大模型生成長達數百個token的複雜格式文本，其中不能出現任何格式錯誤，否則中控系統將無法解析和對接。

為了讓大模型能達到如此生成標準，華為一方面用摸清楚大模型的“脾氣”，同時加強大模型的代碼能力，進而增強模型的格式遵從能力，最終實現了格式幾乎百分百遵從。

而針對複雜場景，小藝的方式是先利用大模型能力充分學習和理解工具場景，再進行推理。

據了解，團隊優化模型設備控制效果從完全不可用，提升為可用度超8成。

加之原生HarmonyOS也使得優化現有API成為可能，通過這種反向適配，也能更好發揮大模型特長。

面向全場景、不局限於手機端

所以，為什麼是華為能如此迅速將大模型能力部署到智慧助手上？

在底層基礎研發的積累和攻關必不可少，不過還有一點值得關注——

華為選擇了從實際場景做切入，來確定該如何讓大模型和智慧助手乃至整個操作系統做結合。

用華為自己的話來說就是：

談話是廉價的。給我看看演示。

而以上展示的諸多體驗，也都來自於華為研發團隊成員日常感知到的場景。

比如有人習慣上下班開車路上獲取新聞，對於太長資訊只能看不方便聽，所以在華為小藝中出現了資訊總結的功能。

還有人發現自己在寫購物評論、生日祝福的時候總是詞窮，所以華為小藝提供了文案生成功能。

而這種對場景體驗的關注，是HarmonyOS的天生優勢。

從誕生起，HarmonyOS便沒有局限於手機端，而是面向多種終端、全場景。

如今已經打造出“1+8+N”全場景生態。

華為小藝現在也已部署在了1+8設備上，未來將結合全場景設備的業務形態，逐步把擁有大模型能力的小藝部署到消費者全場景體驗之上。

而小藝作為一個AI驅動的智慧助手，從誕生起也在不斷集成各種AI能力，如AI字幕、小藝朗讀等。其背後研發團隊，也始終關注AI與智慧助手的更多可能。

據透露，去年團隊便留意到百億規模的預訓練模型結合提示技術，已經可以帶來非常不錯的文本理解和生成能力了，並能在閒聊、問答、任務式對話上有應用。

随着最新一轮AI趋势爆发，RLHF给大模型带来显著提升，产业落地的大门正式开启。

今年生成式AI趨勢發生以來，諸多應用都選擇接入大模型能力、內置智慧助手。

但華為作為全球最懂操作系統的廠商之一，選擇從更底層切入，用大模型來重塑OS。

更底層，意味著更徹底、更全面。

但對於研發來說，挑戰也更大。

這不僅需要足夠堅實的模型底座，還需要進行系統級的融合優化，同時也對場景理解、用戶需求感知提出要求。

對應來看：華為是最早具有大模型能力的國內廠商之一；構建全棧AI開發能力；HarmonyOS覆蓋7億+設備……

由此，也就不難理解為什麼華為小藝會快速接入大模型能力，讓HarmonyOS 4成為如今首個全面接入大模型的操作系統。

而作為全球最受關注的操作系統之一，HarmonyOS率先擁抱大模型，或許也會開啟一種新範式，讓人人打開手機就能體驗大模型能力，不再局限於想像之中。

目前，華為已公佈小藝測試計劃：

全新小藝將在今年8月底開放邀請測試，並於晚些時候在搭載HarmonyOS 4.0及以上的部分機型通過OTA升級體驗，具體升級計劃稍晚公佈。

感興趣的童鞋，可以來蹲蹲看~