Vào thời điểm AI sáng tạo ngày càng trở nên hứa hẹn và được theo đuổi rộng rãi, việc triển khai rộng rãi hơn đòi hỏi nó phải lớn hơn, tốt hơn và mạnh hơn về mặt thiết bị đầu cuối.
Nguồn hình ảnh: Được tạo bởi AI không giới hạn
Hôm nay, đã gần 10 tháng kể từ khi OpenAI phát hành ChatGPT, làn sóng Generative AI được kích hoạt bởi nó đã giúp người dân bình thường cảm nhận được sức hấp dẫn của trí tuệ nhân tạo “gần gũi hơn”. Cho dù đó là công cụ tìm kiếm thời gian thực kiểu trò chuyện được hỗ trợ bởi các mô hình lớn hay công cụ vẽ tranh tạo ra hình ảnh bằng cách nhập văn bản, AI tổng quát đã dần dần thâm nhập và thay đổi một cách tinh tế thói quen làm việc, giải trí và sáng tạo hàng ngày của con người.
Cùng với các mẫu mã lớn và AI có tính sáng tạo, các nhà sản xuất điện thoại di động và chip đang thực hiện một “cuộc cách mạng phía thiết bị” một cách rầm rộ. Vào tháng 5 năm nay, Google đã phát hành mô hình ngôn ngữ lớn PaLM 2, trong đó có phiên bản Gecko nhẹ có thể chạy trên thiết bị di động. Cũng trong tháng 5, Qualcomm đã phát hành sách trắng “AI lai là tương lai của AI”. Vào tháng 8, Xiaomi Lei Jun đã công bố hoàn toàn sử dụng các mẫu máy lớn và bước đầu đã chạy thành công mẫu máy lớn có 1,3 tỷ thông số trên điện thoại di động. Xiao Ai cũng nhận được bản nâng cấp về khả năng của mẫu máy lớn.
Chúng tôi không thể không đặt câu hỏi, tại sao các nhà sản xuất lớn lại gấp rút đưa các mô hình AI tổng quát và tổng quát lớn vào thiết bị đầu cuối, đặc biệt là điện thoại di động? Chúng tôi biết rằng các sản phẩm thiết bị đầu cuối thông minh như điện thoại thông minh, PC, XR và ô tô gần gũi nhất với người bình thường, đặc biệt là điện thoại di động và chúng tôi ngày càng dành nhiều thời gian hơn cho chúng. Vào tháng 4 năm 2023, tổ chức nghiên cứu thị trường Electronics Hub đã công bố một báo cáo cho thấy người dùng ở một số quốc gia nhìn chằm chằm vào màn hình điện thoại di động hơn 7 giờ mỗi ngày. Điện thoại di động đang dần phát triển thành cốt lõi của cuộc sống thông minh, chuẩn bị một "điểm nóng" cho sự phát triển của AI thế hệ thiết bị đầu cuối.
Tuy nhiên, xu hướng hiện tại của các mô hình lớn AI tổng hợp sang phía thiết bị đầu cuối không xảy ra chỉ sau một đêm.
Xu hướng AI thế hệ dựa trên thiết bị đầu cuối và dựa trên đám mây ngày càng trở nên nổi bật
Chúng tôi biết rằng các tham số của các mô hình AI tổng hợp lớn thường lên tới hàng tỷ, hàng trăm hoặc thậm chí hàng trăm tỷ, điều này đặt ra yêu cầu cực kỳ cao về cơ sở hạ tầng về tối ưu hóa đào tạo mô hình và suy luận thực thi. Thời kỳ đầu, chỉ có đám mây mới có thể cung cấp sức mạnh tính toán AI khổng lồ như vậy nên các nhà sản xuất thường lựa chọn triển khai và chạy các mô hình lớn của riêng mình trên đám mây.
Lấy ChatGPT làm ví dụ, việc đào tạo và vận hành nó đòi hỏi một lượng lớn tài nguyên máy tính và lưu trữ dữ liệu, đồng thời các yêu cầu lớn của người dùng tạo ra chi phí điện năng tính toán cao, đòi hỏi nền tảng dịch vụ đám mây mạnh mẽ. Người dùng có thể truy cập ChatGPT và các sản phẩm AI tổng hợp khác (chẳng hạn như CodeX) thông qua dịch vụ đám mây Microsoft Azure OpenAI. Amazon, một nhà cung cấp dịch vụ đám mây lớn khác, cũng đã ra mắt dịch vụ lưu trữ đám mây AI tổng hợp tương tự, người dùng có thể truy cập các mô hình cơ bản được đào tạo trước từ các công ty khởi nghiệp như AI21Labs, Anthropic và Stability AI thông qua API.
Rõ ràng, các nền tảng dịch vụ đám mây đã đẩy nhanh làn sóng công nghệ AI tổng hợp này đang lan rộng khắp thế giới, cung cấp cho các nhà sản xuất mô hình lớn sự hỗ trợ sức mạnh tính toán cần thiết cho việc đào tạo và suy luận mô hình. Tuy nhiên, suy luận đám mây mô hình lớn đòi hỏi chi phí cao và với số lượng người dùng và yêu cầu sử dụng ngày càng tăng, chi phí cũng ngày càng cao hơn. Kết quả là, trước tình trạng chi phí vận hành liên tục tăng cao, các nhà sản xuất cần tìm ra con đường khác ngoài đám mây.
Theo thời gian, một mặt, các công nghệ nén mô hình lớn (như lượng tử hóa, cắt tỉa mạng và chắt lọc kiến thức) ngày càng trở nên phong phú và hiệu quả, mặt khác, các thiết bị đầu cuối thông minh như điện thoại di động, PC, XR và ô tô có sức mạnh tính toán AI tiếp tục tăng lên, đồng thời các điều kiện kỹ thuật để triển khai AI tổng hợp đến các thiết bị đầu cuối đang nhanh chóng hoàn thiện. Xu hướng thiết bị đầu cuối và đám mây song hành cùng nhau ngày càng trở nên rõ ràng.
Các công ty công nghệ lớn đã nắm bắt sâu sắc những thay đổi này và thực hiện một loạt nỗ lực nhằm triển khai các mô hình AI có tính tổng hợp lớn trên điện thoại thông minh và các thiết bị đầu cuối khác. Ví dụ: việc ra mắt phiên bản ChatGPT iOS và Android cho phép người dùng bình thường trải nghiệm các cuộc trò chuyện trò chuyện tổng quát chỉ bằng cách nhấc điện thoại di động lên. Sẽ có nhiều khoảnh khắc quan trọng như thế này trong tương lai.
Ngoài ra, so với đám mây, việc triển khai và chạy Generative AI ở phía thiết bị đầu cuối cũng có lợi thế về chi phí, bảo mật và quyền riêng tư cũng như hoạt động đáng tin cậy.
Đầu tiên là lợi thế về chi phí. Trước đây, các phương tiện truyền thông đưa tin rằng OpenAI đã đốt khoảng 700.000 USD mỗi ngày chỉ để duy trì hoạt động của ChatGPT, điều đó có nghĩa là gần 200 triệu USD có thể đã được chi cho ChatGPT. Chi phí cao như vậy là quá cao khiến ngay cả OpenAI cũng không thể gánh nổi, khiến việc hòa vốn khó có thể chứ chưa nói đến việc kiếm được lợi nhuận. Phía thiết bị đầu cuối thì khác, chi phí giảm đi rất nhiều, việc triển khai mô hình nén nhẹ chỉ cần trả chi phí phần cứng mà không cần quan tâm đến các vấn đề khác như băng thông, mức tiêu thụ năng lượng và đường truyền mạng.
Thứ hai, chạy AI tổng quát ở phía thiết bị đầu cuối có thể bảo vệ dữ liệu riêng tư với độ tin cậy cao hơn, không giống như nguy cơ rò rỉ thông tin tiềm ẩn trên đám mây. Điều này không phải là không có cơ sở, vào tháng 4 năm nay, người ta tiết lộ rằng các nhân viên trong bộ phận bán dẫn đã tải dữ liệu lên đám mây khi sử dụng ChatGPT, dẫn đến rò rỉ dữ liệu bí mật và sau đó đã ban bố lệnh cấm. Hoạt động của thiết bị đầu cuối không yêu cầu tải văn bản, hình ảnh, video và thông tin khác lên đám mây, điều này tránh được rủi ro này và đảm bảo quyền riêng tư không bị rò rỉ và bảo mật được tăng cường.
Độ trễ thấp cũng là một lợi thế lớn về phía thiết bị đầu cuối. Đám mây cần truyền dữ liệu lên đám mây để xử lý trước khi trả về kết quả, trong quá trình truyền tải mạng chắc chắn sẽ gây ra sự chậm trễ. Phía thiết bị đầu cuối không cần tải thông tin lên máy chủ đám mây hoặc trung tâm dữ liệu, tốc độ phản hồi được cải thiện và độ trễ giảm xuống. Đồng thời, hoạt động cục bộ đáng tin cậy hơn và đôi khi có thể chạy ngoại tuyến, giúp giảm sự phụ thuộc vào dịch vụ đám mây và kết nối mạng ở một mức độ nhất định.
Phía thiết bị đầu cuối cũng có các kịch bản ứng dụng và thông tin tình huống phong phú hơn đám mây, mang lại nhiều trải nghiệm và tương tác được cá nhân hóa hơn. Người dùng có thể tinh chỉnh và tùy chỉnh các tham số và chức năng của mô hình cho các tình huống ứng dụng khác nhau hoặc các nhu cầu khác nhau trong cùng một tình huống, mang lại cho họ sự linh hoạt hoàn toàn.
Với những lợi thế này, con đường triển khai Generative AI ở phía thiết bị đầu cuối ngày càng trở nên rõ ràng và nó ngày càng được đặt ở vị trí quan trọng không kém đám mây. Như Phó Chủ tịch Toàn cầu của Qualcomm, Hou Mingjuan đã phát biểu tại cuộc họp báo ngoại tuyến của sách trắng "AI lai là tương lai của AI", "AI phía thiết bị đầu cuối là chìa khóa để hiện thực hóa kiến trúc AI lai và mở rộng AI tổng quát sang phạm vi rộng hơn thế giới."
Hầu Minh Quyên
Qualcomm đã nói như vậy và đã làm như vậy. Trong cuộc cách mạng phía thiết bị đầu cuối liên quan đến AI tổng hợp này, Qualcomm đã đi đầu trong việc thổi còi và trở thành một trong những nhà thúc đẩy cốt lõi của cuộc cách mạng AI phía thiết bị đầu cuối, đồng thời hình thành lộ trình phát triển AI lai trong đó đám mây và thiết bị đầu cuối hoạt động cùng nhau trong bố cục. Lựa chọn lộ trình này phản ánh thêm tầm nhìn xa và khả năng dẫn đầu của Qualcomm về AI phía thiết bị đầu cuối và khả năng công nghệ AI tổng quát.
Bố trí AI tổng hợp phía thiết bị đầu cuối trước một bước
Cái gọi là AI lai chủ yếu hoạt động theo hai cách: Thứ nhất, trong một số trường hợp, điện toán chủ yếu tập trung vào thiết bị đầu cuối và chuyển các tác vụ lên đám mây khi cần thiết. Thứ hai, trong kịch bản lấy đám mây làm trung tâm, các thiết bị đầu cuối chia sẻ một số khối lượng công việc của đám mây khi có thể dựa trên khả năng của chính chúng. Đám mây và thiết bị đầu cuối đều thực hiện các chức năng riêng và hỗ trợ lẫn nhau.
So với chỉ trên đám mây, lợi ích lớn nhất của AI lai là phân bổ và điều phối khối lượng công việc AI hiệu quả hơn trong các tình huống và thời gian khác nhau, cải thiện hiệu quả sử dụng tài nguyên và giảm chi phí vận hành.
Trong bố cục AI lai của Qualcomm, cho dù tập trung vào thiết bị đầu cuối, dựa trên nhận thức thiết bị đầu cuối hay xử lý cộng tác thiết bị đầu cuối và đám mây, người ta nhấn mạnh rằng khả năng AI phía thiết bị đầu cuối là chìa khóa để hỗ trợ AI lai và cho phép AI tổng hợp đạt được sự mở rộng quy mô toàn cầu. . . Đặc biệt đối với AI tổng quát, AI lai có nghĩa là tận dụng tối đa sức mạnh tính toán phía đầu cuối để hỗ trợ các ứng dụng AI tổng quát, giống như ChatGPT trên điện thoại di động.
Tuy nhiên, việc triển khai và chạy thành công các mô hình AI tổng quát lớn trên thiết bị đầu cuối nói dễ hơn làm, điều kiện tiên quyết để triển khai là khả năng AI mạnh mẽ của thiết bị đầu cuối. Là nhà sản xuất chip thượng nguồn, Qualcomm luôn dẫn đầu về AI phía thiết bị đầu cuối, đã hình thành tối ưu hóa AI toàn diện từ chip, phần mềm đến thuật toán và hệ sinh thái, để cả phần mềm và phần cứng đều không bị cản trở, và phía thiết bị đầu cuối Có thể đạt được khả năng tăng tốc suy luận AI.
Tối ưu hóa AI toàn diện của Qualcomm
Trước hết, ở cấp độ chip phần cứng, từ nền tảng hàng đầu Snapdragon 888 và Snapdragon 8 thế hệ đầu tiên đến Snapdragon 7 thế hệ thứ hai cao cấp và Snapdragon 8 thế hệ thứ hai ra mắt trong năm qua, khả năng AI vẫn tiếp tục để phát triển, Với sự cải tiến, các khả năng AI phía thiết bị đầu cuối sẽ được cải thiện tương ứng. Trong số đó, Qualcomm AI Engine (hiện là thế hệ thứ 8) được nâng cấp liên tục đóng vai trò quan trọng.Bộ xử lý Hexagon, GPU Qualcomm Adreno và CPU Qualcomm Kryo được thiết kế để chạy hiệu quả các ứng dụng AI ở phía thiết bị đầu cuối và tối ưu hóa người dùng AI phía thiết bị đầu cuối. thông qua các phương pháp tính toán không đồng nhất.
Sức mạnh tính toán AI của Snapdragon 8 thế hệ thứ ba, sẽ ra mắt vào tháng 10 năm nay, dự kiến sẽ được cải thiện hơn nữa. Chúng tôi càng vui mừng hơn khi xem nó có thể hỗ trợ loại chức năng AI phía thiết bị đầu cuối nào.
Ngoài việc liên tục tăng tốc phần cứng, thách thức lớn nhất đối với AI phía thiết bị đầu cuối nằm ở phần mềm, nó phải đảm bảo có thể chạy được nhiều mô hình xử lý thần kinh khác nhau và các phép tính phải đủ nhanh và hiệu quả. Ngăn xếp phần mềm AI của Qualcomm giúp các nhà phát triển tạo, tối ưu hóa và triển khai các ứng dụng AI trên phần cứng hiệu quả hơn, đạt được hiệu quả của việc phát triển một lần và triển khai nhiều ứng dụng. Như bạn có thể thấy trong hình bên dưới, ngăn xếp phần mềm này cải thiện hiệu quả phát triển từ nhiều cấp độ, bao gồm các khung AI được hỗ trợ, bộ công cụ phát triển phần mềm suy luận, thư viện và dịch vụ dành cho nhà phát triển, phần mềm hệ thống và hệ điều hành.
Bộ phần mềm AI của Qualcomm
Ngoài ra, về mặt phát triển thuật toán và mô hình, cam kết nâng cao hiệu quả mà không làm giảm độ chính xác, trong đó có các thuật toán dựa trên mô hình Q-SRNet, giải pháp lượng tử hóa INT4, v.v. Ví dụ: Snapdragon 8 Gen2 lần đầu tiên hỗ trợ định dạng chính xác AI INT4, giúp cải thiện 60% hiệu quả sử dụng năng lượng và cải thiện 90% hiệu suất suy luận AI so với INT8.
Qualcomm cũng tiếp tục nỗ lực ở cấp độ sinh thái và lợi thế kỹ thuật của họ trong điện thoại di động có thể được mở rộng sang các thiết bị đầu cuối khác như ô tô, PC, XR và Internet of Things. Đồng thời, dựa trên IP và công nghệ được phân bổ trong nhiều lĩnh vực khác nhau, Qualcomm có thể tiến hành hợp tác chuyên sâu trên nhiều hệ sinh thái, chẳng hạn như lĩnh vực PC và Microsoft, lĩnh vực XR và Meta, đồng thời nhanh chóng đạt được sự mở rộng quy mô lớn thông qua hợp tác sinh thái tốt.
Có thể nói, khả năng AI phía thiết bị đầu cuối mạnh mẽ và toàn diện của Qualcomm, đặc biệt là kiến trúc tăng tốc phần cứng AI và ngăn xếp phần mềm có thể đối phó với những thay đổi tiềm ẩn trong kiến trúc mô hình AI tổng quát, đã dẫn đầu trong việc suy luận và phát triển AI phía thiết bị đầu cuối. đã đặt nền tảng vững chắc cho việc mở rộng Generative AI sang thiết bị đầu cuối. Nền tảng kỹ thuật giúp các ứng dụng Generative AI có thể chạy trên các thiết bị đầu cuối như điện thoại di động. Đồng thời, Qualcomm cũng hướng tới tương lai trong việc khám phá AI có tính sáng tạo.
Từ nghiên cứu ban đầu về phương pháp nén của các mô hình Generative AI, sử dụng VAE để tạo codec video và giọng nói để kiểm soát kích thước mô hình dưới 100 triệu tham số, đến việc sử dụng Generative AI để thay thế các mô hình kênh trong lĩnh vực không dây nhằm cải thiện hiệu quả liên lạc của điện thoại di động, Qualcomm luôn được nhắm đến để thúc đẩy AI sáng tạo.
Tất nhiên, kết quả cũng rất đáng chú ý.Trong sáu tháng qua, tin tức về việc Qualcomm chạy các mô hình AI tổng quát lớn trên điện thoại di động đã gây ra các cuộc thảo luận sôi nổi, bao gồm cả việc chạy mô hình đồ thị Vincent 1 tỷ tham số Stable Diffusion và 1,5 tỷ tham số. tạo hình ảnh mô hình hình ảnh ControlNet.Đợi đã. Ngoài việc chứng minh khả năng vẽ tranh của AI trên thiết bị di động, Qualcomm còn đang khám phá thêm việc mở rộng các khả năng sáng tạo của AI theo các hướng kỹ thuật khác như con người kỹ thuật số.
*ControlNet trên điện thoại di động hoàn tất hiển thị trong vòng 12 giây. *
Trong tương lai, dựa trên kinh nghiệm vận hành điện thoại di động tích lũy của Qualcomm và sự cải tiến hơn nữa về sức mạnh tính toán của chip SoC, hoạt động đầu cuối của nhiều mô hình tham số hơn sẽ sớm xuất hiện. Ziad Asghar, phó chủ tịch cấp cao về quản lý sản phẩm và giám đốc AI của Qualcomm, cho biết trong một cuộc phỏng vấn rằng các mô hình AI tổng quát có thể hỗ trợ 10 tỷ thông số sẽ chạy trên điện thoại di động trong năm nay. Ngoài ra, hãng sẽ hợp tác với Meta để ra mắt phiên bản di động của Llama 2 vào năm tới. Những điều này làm cho tương lai của AI sáng tạo trở nên hứa hẹn hơn.
Theo chúng tôi, tầm quan trọng lớn nhất của AI phía thiết bị đầu cuối là hiển thị các mô hình AI tổng quát lớn trong tay mọi người, điều này có lợi hơn cho việc mở rộng và phổ biến quy mô lớn của AI tổng quát và cũng có thể tạo ra lợi ích kinh doanh. Lấy bức tranh AI tổng quát làm ví dụ, nếu có thể giống như Miaoya Camera đã trở nên phổ biến trên WeChat Moments cách đây một thời gian, việc chạy Generative AI trên điện thoại di động sẽ tạo ra hiệu ứng giao thông vô cùng lớn.
Tuy nhiên, cách bố trí AI tổng hợp của Qualcomm chắc chắn không nhằm mục đích tạo ra hiệu ứng giao thông tạm thời mà với sự trợ giúp của điện thoại di động, PC di động, thiết bị đeo XR, nhà thông minh, ô tô và các nhà cung cấp ứng dụng AI tổng hợp khác, theo cách gần hơn. cho người dùng, cho phép nhiều người hơn được tận hưởng trải nghiệm AI mới một cách nhanh chóng và thuận tiện. Như bìa sách trắng của nó nói, "làm cho AI trong tầm tay". Qualcomm làm cho điều này không còn xa nữa.
Phần kết luận
Kể từ ChatGPT, Generative AI đã trở thành xu hướng phát triển không thể ngăn cản. Trước sự tiện lợi to lớn mà nó sẽ mang lại cho cuộc sống của chúng ta, bắt buộc phải đẩy nhanh quá trình phổ biến AI thế hệ mới. May mắn thay, Qualcomm đã đặt nền móng. Chúng tôi được biết rằng Qualcomm đã tham gia sâu vào lĩnh vực AI trong hơn 15 năm, đặc biệt là trong lĩnh vực điện toán di động và đã hình thành được vai trò lãnh đạo kỹ thuật sâu sắc. Hiện có hàng tỷ thiết bị đầu cuối thông minh được trang bị nền tảng Snapdragon và Qualcomm trên khắp thế giới, đưa khả năng thử và xử lý lỗi AI phía thiết bị đầu cuối cũng như tiềm năng ứng dụng AI tổng hợp lên tầm cao chưa từng có.
Đồng thời, bằng cách trao quyền cho AI phía thiết bị đầu cuối rộng hơn và sâu hơn, đồng thời mở rộng AI tổng quát sang nhiều lĩnh vực và kịch bản hơn, nó không chỉ có thể mang lại cho người dùng thông thường trải nghiệm AI đa dạng, thú vị và thuận tiện hơn mà còn có thể tạo ra nhiều hơn cơ hội thị trường cho các đối tác trong hệ sinh thái thiết bị đầu cuối thông minh và thực sự khai phá giá trị của nó.
Đối với Qualcomm, AI tạo ra ở phía thiết bị đầu cuối có tầm quan trọng sâu rộng. Tại Diễn đàn Xu hướng Phát triển Thương mại Kỹ thuật số và Hội nghị Thượng đỉnh Biên giới của Hội chợ Thương mại Dịch vụ Trung Quốc, Meng Pu, Chủ tịch Qualcomm Trung Quốc, đã có bài phát biểu quan trọng, nhấn mạnh sự hợp tác chặt chẽ với hệ sinh thái toàn cầu để cùng khám phá các công nghệ như 5G, AI và Internet of Things. Các ứng dụng và trải nghiệm di động hoàn toàn mới. Là một công nghệ AI tiên tiến hiện đang đi đầu, sức mạnh, số lượng và độ khó của nó sẽ quyết định phần lớn liệu những điều này có thể được hiện thực hóa thành công hay không.
Hoạt động của AI tổng hợp ở phía thiết bị đầu cuối là bắt buộc và các công ty sinh thái và hỗ trợ người dùng như Qualcomm cũng sẽ nổi bật dựa trên sức mạnh của họ.
Liên kết tham khảo:
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Cuộc cách mạng phía thiết bị đầu cuối này, gần gũi hơn với người dùng, là chìa khóa để dân chủ hóa AI tạo ra.
Nguồn gốc: Trái tim của cỗ máy
Hôm nay, đã gần 10 tháng kể từ khi OpenAI phát hành ChatGPT, làn sóng Generative AI được kích hoạt bởi nó đã giúp người dân bình thường cảm nhận được sức hấp dẫn của trí tuệ nhân tạo “gần gũi hơn”. Cho dù đó là công cụ tìm kiếm thời gian thực kiểu trò chuyện được hỗ trợ bởi các mô hình lớn hay công cụ vẽ tranh tạo ra hình ảnh bằng cách nhập văn bản, AI tổng quát đã dần dần thâm nhập và thay đổi một cách tinh tế thói quen làm việc, giải trí và sáng tạo hàng ngày của con người.
Cùng với các mẫu mã lớn và AI có tính sáng tạo, các nhà sản xuất điện thoại di động và chip đang thực hiện một “cuộc cách mạng phía thiết bị” một cách rầm rộ. Vào tháng 5 năm nay, Google đã phát hành mô hình ngôn ngữ lớn PaLM 2, trong đó có phiên bản Gecko nhẹ có thể chạy trên thiết bị di động. Cũng trong tháng 5, Qualcomm đã phát hành sách trắng “AI lai là tương lai của AI”. Vào tháng 8, Xiaomi Lei Jun đã công bố hoàn toàn sử dụng các mẫu máy lớn và bước đầu đã chạy thành công mẫu máy lớn có 1,3 tỷ thông số trên điện thoại di động. Xiao Ai cũng nhận được bản nâng cấp về khả năng của mẫu máy lớn.
Chúng tôi không thể không đặt câu hỏi, tại sao các nhà sản xuất lớn lại gấp rút đưa các mô hình AI tổng quát và tổng quát lớn vào thiết bị đầu cuối, đặc biệt là điện thoại di động? Chúng tôi biết rằng các sản phẩm thiết bị đầu cuối thông minh như điện thoại thông minh, PC, XR và ô tô gần gũi nhất với người bình thường, đặc biệt là điện thoại di động và chúng tôi ngày càng dành nhiều thời gian hơn cho chúng. Vào tháng 4 năm 2023, tổ chức nghiên cứu thị trường Electronics Hub đã công bố một báo cáo cho thấy người dùng ở một số quốc gia nhìn chằm chằm vào màn hình điện thoại di động hơn 7 giờ mỗi ngày. Điện thoại di động đang dần phát triển thành cốt lõi của cuộc sống thông minh, chuẩn bị một "điểm nóng" cho sự phát triển của AI thế hệ thiết bị đầu cuối.
Tuy nhiên, xu hướng hiện tại của các mô hình lớn AI tổng hợp sang phía thiết bị đầu cuối không xảy ra chỉ sau một đêm.
Xu hướng AI thế hệ dựa trên thiết bị đầu cuối và dựa trên đám mây ngày càng trở nên nổi bật
Chúng tôi biết rằng các tham số của các mô hình AI tổng hợp lớn thường lên tới hàng tỷ, hàng trăm hoặc thậm chí hàng trăm tỷ, điều này đặt ra yêu cầu cực kỳ cao về cơ sở hạ tầng về tối ưu hóa đào tạo mô hình và suy luận thực thi. Thời kỳ đầu, chỉ có đám mây mới có thể cung cấp sức mạnh tính toán AI khổng lồ như vậy nên các nhà sản xuất thường lựa chọn triển khai và chạy các mô hình lớn của riêng mình trên đám mây.
Lấy ChatGPT làm ví dụ, việc đào tạo và vận hành nó đòi hỏi một lượng lớn tài nguyên máy tính và lưu trữ dữ liệu, đồng thời các yêu cầu lớn của người dùng tạo ra chi phí điện năng tính toán cao, đòi hỏi nền tảng dịch vụ đám mây mạnh mẽ. Người dùng có thể truy cập ChatGPT và các sản phẩm AI tổng hợp khác (chẳng hạn như CodeX) thông qua dịch vụ đám mây Microsoft Azure OpenAI. Amazon, một nhà cung cấp dịch vụ đám mây lớn khác, cũng đã ra mắt dịch vụ lưu trữ đám mây AI tổng hợp tương tự, người dùng có thể truy cập các mô hình cơ bản được đào tạo trước từ các công ty khởi nghiệp như AI21Labs, Anthropic và Stability AI thông qua API.
Rõ ràng, các nền tảng dịch vụ đám mây đã đẩy nhanh làn sóng công nghệ AI tổng hợp này đang lan rộng khắp thế giới, cung cấp cho các nhà sản xuất mô hình lớn sự hỗ trợ sức mạnh tính toán cần thiết cho việc đào tạo và suy luận mô hình. Tuy nhiên, suy luận đám mây mô hình lớn đòi hỏi chi phí cao và với số lượng người dùng và yêu cầu sử dụng ngày càng tăng, chi phí cũng ngày càng cao hơn. Kết quả là, trước tình trạng chi phí vận hành liên tục tăng cao, các nhà sản xuất cần tìm ra con đường khác ngoài đám mây.
Theo thời gian, một mặt, các công nghệ nén mô hình lớn (như lượng tử hóa, cắt tỉa mạng và chắt lọc kiến thức) ngày càng trở nên phong phú và hiệu quả, mặt khác, các thiết bị đầu cuối thông minh như điện thoại di động, PC, XR và ô tô có sức mạnh tính toán AI tiếp tục tăng lên, đồng thời các điều kiện kỹ thuật để triển khai AI tổng hợp đến các thiết bị đầu cuối đang nhanh chóng hoàn thiện. Xu hướng thiết bị đầu cuối và đám mây song hành cùng nhau ngày càng trở nên rõ ràng.
Ngoài ra, so với đám mây, việc triển khai và chạy Generative AI ở phía thiết bị đầu cuối cũng có lợi thế về chi phí, bảo mật và quyền riêng tư cũng như hoạt động đáng tin cậy.
Đầu tiên là lợi thế về chi phí. Trước đây, các phương tiện truyền thông đưa tin rằng OpenAI đã đốt khoảng 700.000 USD mỗi ngày chỉ để duy trì hoạt động của ChatGPT, điều đó có nghĩa là gần 200 triệu USD có thể đã được chi cho ChatGPT. Chi phí cao như vậy là quá cao khiến ngay cả OpenAI cũng không thể gánh nổi, khiến việc hòa vốn khó có thể chứ chưa nói đến việc kiếm được lợi nhuận. Phía thiết bị đầu cuối thì khác, chi phí giảm đi rất nhiều, việc triển khai mô hình nén nhẹ chỉ cần trả chi phí phần cứng mà không cần quan tâm đến các vấn đề khác như băng thông, mức tiêu thụ năng lượng và đường truyền mạng.
Thứ hai, chạy AI tổng quát ở phía thiết bị đầu cuối có thể bảo vệ dữ liệu riêng tư với độ tin cậy cao hơn, không giống như nguy cơ rò rỉ thông tin tiềm ẩn trên đám mây. Điều này không phải là không có cơ sở, vào tháng 4 năm nay, người ta tiết lộ rằng các nhân viên trong bộ phận bán dẫn đã tải dữ liệu lên đám mây khi sử dụng ChatGPT, dẫn đến rò rỉ dữ liệu bí mật và sau đó đã ban bố lệnh cấm. Hoạt động của thiết bị đầu cuối không yêu cầu tải văn bản, hình ảnh, video và thông tin khác lên đám mây, điều này tránh được rủi ro này và đảm bảo quyền riêng tư không bị rò rỉ và bảo mật được tăng cường.
Độ trễ thấp cũng là một lợi thế lớn về phía thiết bị đầu cuối. Đám mây cần truyền dữ liệu lên đám mây để xử lý trước khi trả về kết quả, trong quá trình truyền tải mạng chắc chắn sẽ gây ra sự chậm trễ. Phía thiết bị đầu cuối không cần tải thông tin lên máy chủ đám mây hoặc trung tâm dữ liệu, tốc độ phản hồi được cải thiện và độ trễ giảm xuống. Đồng thời, hoạt động cục bộ đáng tin cậy hơn và đôi khi có thể chạy ngoại tuyến, giúp giảm sự phụ thuộc vào dịch vụ đám mây và kết nối mạng ở một mức độ nhất định.
Phía thiết bị đầu cuối cũng có các kịch bản ứng dụng và thông tin tình huống phong phú hơn đám mây, mang lại nhiều trải nghiệm và tương tác được cá nhân hóa hơn. Người dùng có thể tinh chỉnh và tùy chỉnh các tham số và chức năng của mô hình cho các tình huống ứng dụng khác nhau hoặc các nhu cầu khác nhau trong cùng một tình huống, mang lại cho họ sự linh hoạt hoàn toàn.
Với những lợi thế này, con đường triển khai Generative AI ở phía thiết bị đầu cuối ngày càng trở nên rõ ràng và nó ngày càng được đặt ở vị trí quan trọng không kém đám mây. Như Phó Chủ tịch Toàn cầu của Qualcomm, Hou Mingjuan đã phát biểu tại cuộc họp báo ngoại tuyến của sách trắng "AI lai là tương lai của AI", "AI phía thiết bị đầu cuối là chìa khóa để hiện thực hóa kiến trúc AI lai và mở rộng AI tổng quát sang phạm vi rộng hơn thế giới."
Qualcomm đã nói như vậy và đã làm như vậy. Trong cuộc cách mạng phía thiết bị đầu cuối liên quan đến AI tổng hợp này, Qualcomm đã đi đầu trong việc thổi còi và trở thành một trong những nhà thúc đẩy cốt lõi của cuộc cách mạng AI phía thiết bị đầu cuối, đồng thời hình thành lộ trình phát triển AI lai trong đó đám mây và thiết bị đầu cuối hoạt động cùng nhau trong bố cục. Lựa chọn lộ trình này phản ánh thêm tầm nhìn xa và khả năng dẫn đầu của Qualcomm về AI phía thiết bị đầu cuối và khả năng công nghệ AI tổng quát.
Bố trí AI tổng hợp phía thiết bị đầu cuối trước một bước
Cái gọi là AI lai chủ yếu hoạt động theo hai cách: Thứ nhất, trong một số trường hợp, điện toán chủ yếu tập trung vào thiết bị đầu cuối và chuyển các tác vụ lên đám mây khi cần thiết. Thứ hai, trong kịch bản lấy đám mây làm trung tâm, các thiết bị đầu cuối chia sẻ một số khối lượng công việc của đám mây khi có thể dựa trên khả năng của chính chúng. Đám mây và thiết bị đầu cuối đều thực hiện các chức năng riêng và hỗ trợ lẫn nhau.
So với chỉ trên đám mây, lợi ích lớn nhất của AI lai là phân bổ và điều phối khối lượng công việc AI hiệu quả hơn trong các tình huống và thời gian khác nhau, cải thiện hiệu quả sử dụng tài nguyên và giảm chi phí vận hành.
Trong bố cục AI lai của Qualcomm, cho dù tập trung vào thiết bị đầu cuối, dựa trên nhận thức thiết bị đầu cuối hay xử lý cộng tác thiết bị đầu cuối và đám mây, người ta nhấn mạnh rằng khả năng AI phía thiết bị đầu cuối là chìa khóa để hỗ trợ AI lai và cho phép AI tổng hợp đạt được sự mở rộng quy mô toàn cầu. . . Đặc biệt đối với AI tổng quát, AI lai có nghĩa là tận dụng tối đa sức mạnh tính toán phía đầu cuối để hỗ trợ các ứng dụng AI tổng quát, giống như ChatGPT trên điện thoại di động.
Tuy nhiên, việc triển khai và chạy thành công các mô hình AI tổng quát lớn trên thiết bị đầu cuối nói dễ hơn làm, điều kiện tiên quyết để triển khai là khả năng AI mạnh mẽ của thiết bị đầu cuối. Là nhà sản xuất chip thượng nguồn, Qualcomm luôn dẫn đầu về AI phía thiết bị đầu cuối, đã hình thành tối ưu hóa AI toàn diện từ chip, phần mềm đến thuật toán và hệ sinh thái, để cả phần mềm và phần cứng đều không bị cản trở, và phía thiết bị đầu cuối Có thể đạt được khả năng tăng tốc suy luận AI.
Trước hết, ở cấp độ chip phần cứng, từ nền tảng hàng đầu Snapdragon 888 và Snapdragon 8 thế hệ đầu tiên đến Snapdragon 7 thế hệ thứ hai cao cấp và Snapdragon 8 thế hệ thứ hai ra mắt trong năm qua, khả năng AI vẫn tiếp tục để phát triển, Với sự cải tiến, các khả năng AI phía thiết bị đầu cuối sẽ được cải thiện tương ứng. Trong số đó, Qualcomm AI Engine (hiện là thế hệ thứ 8) được nâng cấp liên tục đóng vai trò quan trọng.Bộ xử lý Hexagon, GPU Qualcomm Adreno và CPU Qualcomm Kryo được thiết kế để chạy hiệu quả các ứng dụng AI ở phía thiết bị đầu cuối và tối ưu hóa người dùng AI phía thiết bị đầu cuối. thông qua các phương pháp tính toán không đồng nhất.
Sức mạnh tính toán AI của Snapdragon 8 thế hệ thứ ba, sẽ ra mắt vào tháng 10 năm nay, dự kiến sẽ được cải thiện hơn nữa. Chúng tôi càng vui mừng hơn khi xem nó có thể hỗ trợ loại chức năng AI phía thiết bị đầu cuối nào.
Ngoài việc liên tục tăng tốc phần cứng, thách thức lớn nhất đối với AI phía thiết bị đầu cuối nằm ở phần mềm, nó phải đảm bảo có thể chạy được nhiều mô hình xử lý thần kinh khác nhau và các phép tính phải đủ nhanh và hiệu quả. Ngăn xếp phần mềm AI của Qualcomm giúp các nhà phát triển tạo, tối ưu hóa và triển khai các ứng dụng AI trên phần cứng hiệu quả hơn, đạt được hiệu quả của việc phát triển một lần và triển khai nhiều ứng dụng. Như bạn có thể thấy trong hình bên dưới, ngăn xếp phần mềm này cải thiện hiệu quả phát triển từ nhiều cấp độ, bao gồm các khung AI được hỗ trợ, bộ công cụ phát triển phần mềm suy luận, thư viện và dịch vụ dành cho nhà phát triển, phần mềm hệ thống và hệ điều hành.
Ngoài ra, về mặt phát triển thuật toán và mô hình, cam kết nâng cao hiệu quả mà không làm giảm độ chính xác, trong đó có các thuật toán dựa trên mô hình Q-SRNet, giải pháp lượng tử hóa INT4, v.v. Ví dụ: Snapdragon 8 Gen2 lần đầu tiên hỗ trợ định dạng chính xác AI INT4, giúp cải thiện 60% hiệu quả sử dụng năng lượng và cải thiện 90% hiệu suất suy luận AI so với INT8.
Qualcomm cũng tiếp tục nỗ lực ở cấp độ sinh thái và lợi thế kỹ thuật của họ trong điện thoại di động có thể được mở rộng sang các thiết bị đầu cuối khác như ô tô, PC, XR và Internet of Things. Đồng thời, dựa trên IP và công nghệ được phân bổ trong nhiều lĩnh vực khác nhau, Qualcomm có thể tiến hành hợp tác chuyên sâu trên nhiều hệ sinh thái, chẳng hạn như lĩnh vực PC và Microsoft, lĩnh vực XR và Meta, đồng thời nhanh chóng đạt được sự mở rộng quy mô lớn thông qua hợp tác sinh thái tốt.
Có thể nói, khả năng AI phía thiết bị đầu cuối mạnh mẽ và toàn diện của Qualcomm, đặc biệt là kiến trúc tăng tốc phần cứng AI và ngăn xếp phần mềm có thể đối phó với những thay đổi tiềm ẩn trong kiến trúc mô hình AI tổng quát, đã dẫn đầu trong việc suy luận và phát triển AI phía thiết bị đầu cuối. đã đặt nền tảng vững chắc cho việc mở rộng Generative AI sang thiết bị đầu cuối. Nền tảng kỹ thuật giúp các ứng dụng Generative AI có thể chạy trên các thiết bị đầu cuối như điện thoại di động. Đồng thời, Qualcomm cũng hướng tới tương lai trong việc khám phá AI có tính sáng tạo.
Từ nghiên cứu ban đầu về phương pháp nén của các mô hình Generative AI, sử dụng VAE để tạo codec video và giọng nói để kiểm soát kích thước mô hình dưới 100 triệu tham số, đến việc sử dụng Generative AI để thay thế các mô hình kênh trong lĩnh vực không dây nhằm cải thiện hiệu quả liên lạc của điện thoại di động, Qualcomm luôn được nhắm đến để thúc đẩy AI sáng tạo.
Tất nhiên, kết quả cũng rất đáng chú ý.Trong sáu tháng qua, tin tức về việc Qualcomm chạy các mô hình AI tổng quát lớn trên điện thoại di động đã gây ra các cuộc thảo luận sôi nổi, bao gồm cả việc chạy mô hình đồ thị Vincent 1 tỷ tham số Stable Diffusion và 1,5 tỷ tham số. tạo hình ảnh mô hình hình ảnh ControlNet.Đợi đã. Ngoài việc chứng minh khả năng vẽ tranh của AI trên thiết bị di động, Qualcomm còn đang khám phá thêm việc mở rộng các khả năng sáng tạo của AI theo các hướng kỹ thuật khác như con người kỹ thuật số.
Trong tương lai, dựa trên kinh nghiệm vận hành điện thoại di động tích lũy của Qualcomm và sự cải tiến hơn nữa về sức mạnh tính toán của chip SoC, hoạt động đầu cuối của nhiều mô hình tham số hơn sẽ sớm xuất hiện. Ziad Asghar, phó chủ tịch cấp cao về quản lý sản phẩm và giám đốc AI của Qualcomm, cho biết trong một cuộc phỏng vấn rằng các mô hình AI tổng quát có thể hỗ trợ 10 tỷ thông số sẽ chạy trên điện thoại di động trong năm nay. Ngoài ra, hãng sẽ hợp tác với Meta để ra mắt phiên bản di động của Llama 2 vào năm tới. Những điều này làm cho tương lai của AI sáng tạo trở nên hứa hẹn hơn.
Theo chúng tôi, tầm quan trọng lớn nhất của AI phía thiết bị đầu cuối là hiển thị các mô hình AI tổng quát lớn trong tay mọi người, điều này có lợi hơn cho việc mở rộng và phổ biến quy mô lớn của AI tổng quát và cũng có thể tạo ra lợi ích kinh doanh. Lấy bức tranh AI tổng quát làm ví dụ, nếu có thể giống như Miaoya Camera đã trở nên phổ biến trên WeChat Moments cách đây một thời gian, việc chạy Generative AI trên điện thoại di động sẽ tạo ra hiệu ứng giao thông vô cùng lớn.
Tuy nhiên, cách bố trí AI tổng hợp của Qualcomm chắc chắn không nhằm mục đích tạo ra hiệu ứng giao thông tạm thời mà với sự trợ giúp của điện thoại di động, PC di động, thiết bị đeo XR, nhà thông minh, ô tô và các nhà cung cấp ứng dụng AI tổng hợp khác, theo cách gần hơn. cho người dùng, cho phép nhiều người hơn được tận hưởng trải nghiệm AI mới một cách nhanh chóng và thuận tiện. Như bìa sách trắng của nó nói, "làm cho AI trong tầm tay". Qualcomm làm cho điều này không còn xa nữa.
Phần kết luận
Kể từ ChatGPT, Generative AI đã trở thành xu hướng phát triển không thể ngăn cản. Trước sự tiện lợi to lớn mà nó sẽ mang lại cho cuộc sống của chúng ta, bắt buộc phải đẩy nhanh quá trình phổ biến AI thế hệ mới. May mắn thay, Qualcomm đã đặt nền móng. Chúng tôi được biết rằng Qualcomm đã tham gia sâu vào lĩnh vực AI trong hơn 15 năm, đặc biệt là trong lĩnh vực điện toán di động và đã hình thành được vai trò lãnh đạo kỹ thuật sâu sắc. Hiện có hàng tỷ thiết bị đầu cuối thông minh được trang bị nền tảng Snapdragon và Qualcomm trên khắp thế giới, đưa khả năng thử và xử lý lỗi AI phía thiết bị đầu cuối cũng như tiềm năng ứng dụng AI tổng hợp lên tầm cao chưa từng có.
Đồng thời, bằng cách trao quyền cho AI phía thiết bị đầu cuối rộng hơn và sâu hơn, đồng thời mở rộng AI tổng quát sang nhiều lĩnh vực và kịch bản hơn, nó không chỉ có thể mang lại cho người dùng thông thường trải nghiệm AI đa dạng, thú vị và thuận tiện hơn mà còn có thể tạo ra nhiều hơn cơ hội thị trường cho các đối tác trong hệ sinh thái thiết bị đầu cuối thông minh và thực sự khai phá giá trị của nó.
Đối với Qualcomm, AI tạo ra ở phía thiết bị đầu cuối có tầm quan trọng sâu rộng. Tại Diễn đàn Xu hướng Phát triển Thương mại Kỹ thuật số và Hội nghị Thượng đỉnh Biên giới của Hội chợ Thương mại Dịch vụ Trung Quốc, Meng Pu, Chủ tịch Qualcomm Trung Quốc, đã có bài phát biểu quan trọng, nhấn mạnh sự hợp tác chặt chẽ với hệ sinh thái toàn cầu để cùng khám phá các công nghệ như 5G, AI và Internet of Things. Các ứng dụng và trải nghiệm di động hoàn toàn mới. Là một công nghệ AI tiên tiến hiện đang đi đầu, sức mạnh, số lượng và độ khó của nó sẽ quyết định phần lớn liệu những điều này có thể được hiện thực hóa thành công hay không.
Hoạt động của AI tổng hợp ở phía thiết bị đầu cuối là bắt buộc và các công ty sinh thái và hỗ trợ người dùng như Qualcomm cũng sẽ nổi bật dựa trên sức mạnh của họ.
Liên kết tham khảo: