聯發科：移動端執行生成式AI 任務的時代即將到來，無需倚賴雲處理

撰文：Jason Perlow

來源：Zdnet

圖片來源：由無界AI工俱生成

聯發科正在與Meta 的Lllama 2 LLM 合作，旨在直接在移動設備上運行生成式人工智能任務，無需基於雲的處理。這樣做有幾個好處，但也有相應的問題。

生成式人工智能是最熱門的新興技術之一，OpenAI 的ChatGPT 和谷歌Bard 聊天系統以及Stable Diffusion 和DALL-E 等圖像生成系統都採用了這種技術。不過，它仍有一定的局限性，因為這些工具需要使用雲端數據中心的數百個GPU 來執行每次查詢所需的計算過程。

但總有一天，我們可以直接在移動設備上運行人工智能生成任務。或是聯網汽車，或者在客廳、臥室和廚房裡，通過亞馬遜Echo、谷歌Home 或蘋果HomePod 等智能揚聲器運行。

聯發科相信，這個未來比我們想像的更近。今天，這家總部位於台灣的半導體公司宣布，它正在與Meta 合作，將這家社交巨頭的Lllama 2 LLM 與該公司的最新一代APU 和NeuroPilot 軟件開發平台結合起來，以便在設備上運行生成式AI任務，而無需依賴外部處理。

當然，這也有一個問題：這種結合不會完全消除數據中心。由於LLM 數據集的大小（它們包含的參數數量）和存儲系統所需的性能，我們仍然需要一個數據中心，儘管規模要小得多。

例如，Llama 2 的“小”數據集有70 億個參數，約13 GB，適合一些初級的生成式人工智能功能。然而，更大版本的720 億個參數，即使使用先進的數據壓縮技術，也需要按比例增加大量存儲空間，這超出了當今智能手機的實際能力。未來幾年，正在開發中的LLM 的大小將很容易達到Llama 2 或GPT-4 的10 到100 倍，存儲需求將達到數百GB 甚至更高。

這對於智能手機來說很難存儲，也很難有足夠的IOPS 來滿足數據庫性能的要求，但對於專門設計的具有快速閃存和TB RAM 的緩存設備來說肯定不是這樣。因此，對於Llama 2，現在可以在單個機架單元中託管一個為移動設備服務而優化的設備，而無需進行繁重的計算。這不是一部手機，但無論如何它都令人印象深刻！

聯發科預計，基於Llama 2 的人工智能應用將在採用其下一代旗艦SoC 的智能手機上推出，計劃於今年年底投放市場。

要讓設備上的生成式人工智能訪問這些數據集，移動運營商必須依靠低延遲邊緣網絡-- 與5 G 塔快速連接的小型數據中心/設備機櫃。這些數據中心將直接位於運營商的網絡上，因此在智能手機上運行的LLM 在訪問參數數據之前無需經過多次網絡“跳轉”。

除了在使用聯發科等專用處理器的設備上運行人工智能工作負載外，還可以在“受限設備邊緣”場景中，通過在微型數據中心內與這些緩存設備混合運行的方式，將特定領域的LLM移至更靠近應用工作負載的位置。

那麼，使用設備端生成式人工智能有哪些好處呢？

• **減少延遲：**由於數據是在設備上處理的，因此響應時間大大縮短，尤其是在對參數數據集的頻繁訪問部分使用本地化緩存方法的情況下。
• **提高數據私密性：**將數據保存在設備上，數據（如聊天對話或用戶提交的訓練）就不會通過數據中心傳輸，只會通過模型數據傳輸。
• **提高帶寬效率：**如今，生成式人工智能任務需要將用戶對話中的所有數據來回傳輸到數據中心。而通過本地化處理，大量數據將在設備上完成。
• **提高運行彈性：**通過在設備上生成，即使網絡中斷，系統也能繼續運行，尤其是在設備擁有足夠大的參數緩存的情況下。
• **能源效率：**數據中心不需要那麼多計算密集型資源，也不需要那麼多能源將數據從設備傳輸到數據中心。

不過，要實現這些優勢，可能需要拆分工作負載並使用其他負載均衡技術，以減輕集中式數據中心的計算成本和網絡開銷。

除了對快速連接的邊緣數據中心的持續需求（儘管計算和能源需求大大降低）之外，還有另一個問題：在當今的硬件上到底能運行多強大的LLM？雖然設備上的數據在網絡上被攔截的擔憂較小，但如果管理不當，本地設備上的敏感數據被滲透的安全風險也會增加，而且在大量分佈式邊緣緩存設備上更新模型數據和保持數據一致性也是一個挑戰。

最後是成本問題：誰來為所有這些小型邊緣數據中心買單？目前，邊緣網絡由邊緣服務提供商（如Equinix）採用，Netflix 和蘋果的iTunes 等服務都需要邊緣網絡，而AT&T、T-Mobile 或Verizon 等移動網絡運營商傳統上不需要邊緣網絡。 OpenAI/微軟、谷歌和Meta 等生成式人工智能服務提供商也需要做出類似的安排。

設備端的生成式人工智能需要考慮很多因素，但很明顯科技公司正在考慮這個問題。五年內，你的設備上的智能助手可能會自己思考。準備好將人工智能裝進你的口袋了嗎？它即將到來，而且比大多數人預想的要快得多。