Pada saat AI generatif menjadi semakin menjanjikan dan banyak diupayakan, implementasinya yang lebih luas memerlukan upaya untuk menjadikannya lebih besar, lebih baik, dan lebih kuat di sisi terminal.
Sumber gambar: Dihasilkan oleh AI Tanpa Batas
Saat ini, sudah hampir 10 bulan sejak OpenAI merilis ChatGPT. Gelombang AI generatif yang dipicunya telah membuat masyarakat awam merasakan pesona kecerdasan buatan "lebih dekat". Baik itu mesin pencari real-time bergaya obrolan yang didukung oleh model besar, atau alat melukis yang menghasilkan gambar dengan memasukkan teks, AI generatif perlahan-lahan masuk dan secara halus mengubah pekerjaan sehari-hari, hiburan, dan kebiasaan kreatif masyarakat.
Seiring dengan model besar dan AI generatif, produsen ponsel dan chip melakukan "revolusi sisi perangkat" dengan meriah. Pada bulan Mei tahun ini, Google merilis model bahasa besar PaLM 2, termasuk Gecko versi ringan yang dapat dijalankan di perangkat seluler. Pada bulan Mei juga, Qualcomm merilis buku putih "AI Hibrid adalah Masa Depan AI". Pada bulan Agustus, Xiaomi Lei Jun mengumumkan penerapan penuh model besar dan berhasil menjalankan model besar dengan parameter 1,3 miliar pada ponselnya.Xiao Ai juga menerima peningkatan dalam kemampuan model besar.
Mau tidak mau kita bertanya, mengapa pabrikan besar terburu-buru memasukkan model AI umum dan generatif yang besar ke dalam terminal, terutama ponsel? Kita tahu bahwa produk terminal pintar seperti ponsel pintar, PC, XR, dan mobil paling dekat dengan masyarakat awam, terutama ponsel, dan kita menghabiskan lebih banyak waktu untuk menggunakannya. Pada bulan April 2023, organisasi riset pasar Electronics Hub merilis laporan yang menunjukkan bahwa pengguna di beberapa negara menatap layar ponsel selama lebih dari 7 jam sehari. Ponsel secara bertahap berkembang menjadi inti kehidupan cerdas, mempersiapkan “sarang” bagi pengembangan AI generatif di sisi terminal.
Namun, pergeseran model besar AI generatif ke sisi terminal tidak terjadi dalam semalam. Metode penerapannya sedang mengalami transformasi dari kolaborasi cloud menjadi kolaborasi terminal-cloud.
Tren terminal dan AI generatif berbasis cloud yang berjalan beriringan menjadi semakin menonjol
Kita tahu bahwa parameter model AI generatif besar sering kali berjumlah miliaran, ratusan, atau bahkan ratusan miliar, sehingga memerlukan infrastruktur yang sangat tinggi dalam hal optimalisasi pelatihan model dan inferensi eksekusi. Pada awalnya, hanya cloud yang dapat memberikan kekuatan komputasi AI sebesar itu, sehingga produsen sering kali memilih untuk menerapkan dan menjalankan model besar mereka sendiri di cloud.
Ambil contoh ChatGPT, pelatihan dan pengoperasiannya memerlukan penyimpanan data dan sumber daya komputasi dalam jumlah besar, dan permintaan pengguna yang besar menghasilkan biaya daya komputasi yang tinggi, sehingga memerlukan platform layanan cloud yang kuat. Pengguna dapat mengakses ChatGPT dan produk AI generatif lainnya (seperti CodeX) melalui layanan cloud Microsoft Azure OpenAI. Amazon, penyedia layanan cloud besar lainnya, juga telah meluncurkan layanan hosting cloud AI generatif serupa.Pengguna dapat mengakses model dasar terlatih dari startup seperti AI21Labs, Anthropic, dan Stability AI melalui API.
Jelas sekali, platform layanan cloud telah mempercepat gelombang teknologi AI generatif yang melanda dunia, memberikan dukungan daya komputasi kepada produsen model besar yang diperlukan untuk pelatihan model dan inferensi. Namun, inferensi cloud model besar memerlukan biaya tinggi, dan dengan meningkatnya jumlah pengguna dan permintaan penggunaan, biayanya semakin tinggi. Akibatnya, dalam menghadapi biaya operasional yang terus meningkat, produsen perlu mencari cara lain di luar cloud.
Seiring berjalannya waktu, di satu sisi, teknologi kompresi model besar (seperti kuantisasi, pemangkasan jaringan, dan penyulingan pengetahuan) menjadi semakin melimpah dan efektif. Di sisi lain, perangkat terminal pintar seperti ponsel, PC, XR , dan mobil memiliki AI. Kekuatan komputasi terus meningkat, dan kondisi teknis untuk menerapkan AI generatif ke terminal semakin matang. Tren terminal dan cloud yang berjalan beriringan menjadi semakin nyata.
Perusahaan-perusahaan teknologi besar sangat memperhatikan perubahan ini, dan telah melakukan serangkaian upaya untuk menerapkan model AI generatif yang besar pada ponsel pintar dan terminal lainnya. Misalnya saja peluncuran ChatGPT versi iOS dan Android yang memungkinkan pengguna awam merasakan percakapan chat generatif hanya dengan mengangkat ponselnya. Akan ada lebih banyak momen penting seperti ini di masa depan.
Selain itu, dibandingkan dengan cloud, penerapan dan pengoperasian AI generatif di sisi terminal juga memiliki keunggulan dalam hal biaya, keamanan dan privasi, serta pengoperasian yang andal.
Yang pertama adalah keunggulan biaya. Sebelumnya, media melaporkan bahwa OpenAI menghabiskan sekitar US$700.000 sehari hanya untuk menjaga ChatGPT tetap berjalan, yang berarti hampir US$200 juta mungkin telah dihabiskan untuk ChatGPT. Biaya sebesar itu terlalu tinggi bahkan untuk ditanggung oleh OpenAI, sehingga sulit untuk mencapai titik impas, apalagi menghasilkan keuntungan. Sisi terminalnya berbeda, biayanya sangat berkurang, penerapan model ringan terkompresi hanya perlu membayar biaya perangkat keras, tanpa mempertimbangkan masalah lain seperti bandwidth, konsumsi energi, dan transmisi jaringan.
Kedua, menjalankan AI generatif di sisi terminal dapat melindungi data pribadi dengan lebih percaya diri, tidak seperti potensi risiko kebocoran informasi di cloud. Hal ini bukannya tidak berdasar. Pada bulan April tahun ini, terungkap bahwa karyawan di departemen semikonduktor mengunggah data ke cloud saat menggunakan ChatGPT, mengakibatkan kebocoran data rahasia, dan kemudian mengumumkan larangan. Pengoperasian terminal tidak memerlukan pengunggahan teks, gambar, video, dan informasi lainnya ke cloud, sehingga menghindari risiko ini dan memastikan privasi tidak bocor dan keamanan ditingkatkan.
Latensi rendah juga merupakan keuntungan besar di sisi terminal. Cloud perlu mengirimkan data ke cloud untuk diproses sebelum hasilnya dapat dikembalikan.Selama proses tersebut, transmisi jaringan pasti akan menyebabkan penundaan. Sisi terminal tidak perlu mengunggah informasi ke server cloud atau pusat data, kecepatan respons ditingkatkan dan penundaan berkurang. Pada saat yang sama, operasi lokal lebih andal dan terkadang dapat dijalankan secara offline, sehingga mengurangi ketergantungan pada layanan cloud dan koneksi jaringan sampai batas tertentu.
Sisi terminal juga memiliki skenario aplikasi dan informasi situasional yang lebih kaya dibandingkan cloud, sehingga menghadirkan interaksi dan pengalaman yang lebih personal. Pengguna dapat menyempurnakan dan menyesuaikan parameter dan fungsi model untuk skenario aplikasi berbeda atau kebutuhan berbeda dalam skenario yang sama, sehingga memberikan mereka fleksibilitas penuh.
Dengan keunggulan-keunggulan ini, jalur penerapan AI generatif di sisi terminal menjadi semakin jelas, dan posisi AI generatif semakin sama pentingnya dengan cloud. Seperti yang dikatakan oleh Wakil Presiden Global Qualcomm, Hou Mingjuan, pada konferensi pers offline mengenai buku putih "AI Hibrida adalah Masa Depan AI", "AI sisi terminal adalah kunci untuk mewujudkan arsitektur AI hibrid dan memperluas AI generatif ke jangkauan yang lebih luas. dunia."
Hou Mingjuan
Qualcomm mengatakan demikian dan melakukannya. Dalam revolusi sisi terminal yang berkaitan dengan AI generatif, Qualcomm memimpin dalam hal ini dan menjadi salah satu promotor inti revolusi AI sisi terminal, dan membentuk jalur pengembangan AI hibrid di mana cloud dan terminal bekerja sama dalam tata letaknya. Pilihan rute ini semakin mencerminkan pandangan ke depan dan kepemimpinan Qualcomm dalam kemampuan teknologi AI sisi terminal dan AI generatif.
Menyusun AI generatif sisi terminal selangkah lebih maju
Apa yang disebut AI hybrid pada dasarnya beroperasi dalam dua cara: Pertama, dalam beberapa skenario, komputasi sebagian besar dipusatkan pada terminal dan memindahkan tugas ke cloud bila diperlukan. Kedua, dalam skenario cloud-centric, terminal berbagi sebagian beban kerja cloud bila memungkinkan berdasarkan kemampuan mereka sendiri. Cloud dan terminal masing-masing menjalankan fungsinya sendiri dan saling membantu.
Dibandingkan dengan hanya di cloud, manfaat terbesar AI hibrid adalah mengalokasikan dan mengoordinasikan beban kerja AI secara lebih efisien dalam berbagai skenario dan waktu, meningkatkan efisiensi pemanfaatan sumber daya, dan mengurangi biaya pengoperasian.
Dalam tata letak AI hybrid Qualcomm, baik yang berpusat pada terminal, berdasarkan persepsi terminal, atau pemrosesan kolaboratif terminal dan cloud, ditekankan bahwa kemampuan AI sisi terminal adalah kunci untuk memberdayakan AI hybrid dan memungkinkan AI generatif untuk mencapai ekspansi skala global. . . Khusus untuk AI generatif, AI hybrid berarti memanfaatkan sepenuhnya daya komputasi sisi terminal untuk mendukung aplikasi AI generatif, seperti halnya ChatGPT di ponsel.
Namun, keberhasilan menerapkan dan menjalankan model AI generatif yang besar pada terminal tidaklah mudah, karena prasyarat penerapannya adalah kemampuan AI di sisi terminal yang kuat. Sebagai produsen chip hulu, Qualcomm selalu menjadi pemimpin dalam AI sisi terminal. Qualcomm telah membentuk optimalisasi AI full-stack mulai dari chip, perangkat lunak, hingga algoritme dan ekosistem, sehingga tidak ada perangkat lunak maupun perangkat keras yang terhambat, dan sisi terminal Akselerasi inferensi AI dapat dicapai.
Pengoptimalan AI tumpukan penuh Qualcomm
Pertama-tama, pada level chip perangkat keras, mulai dari platform andalan sebelumnya Snapdragon 888 dan Snapdragon 8 generasi pertama hingga Snapdragon 7 generasi kedua kelas atas dan Snapdragon 8 andalan generasi kedua yang diluncurkan pada tahun lalu, kemampuan AI terus berlanjut. untuk berkembang, Dengan peningkatan tersebut, kemampuan AI di sisi terminal juga akan ditingkatkan. Diantaranya, Qualcomm AI Engine yang terus ditingkatkan (saat ini generasi kedelapan) memainkan peran penting. Prosesor Hexagon, GPU Qualcomm Adreno, dan CPU Qualcomm Kryo dirancang untuk menjalankan aplikasi AI di sisi terminal secara efisien, dan mengoptimalkan pengguna AI di sisi terminal. melalui metode komputasi heterogen.pengalaman.
Kekuatan komputasi AI pada Snapdragon 8 generasi ketiga yang akan diluncurkan pada bulan Oktober tahun ini diperkirakan akan semakin ditingkatkan, dan kami semakin bersemangat untuk melihat fungsi AI di sisi terminal seperti apa yang dapat didukungnya.
Selain akselerasi perangkat keras yang berkelanjutan, tantangan terbesar bagi AI sisi terminal terletak pada perangkat lunak, yang harus memastikan bahwa berbagai model pemrosesan saraf dapat dijalankan, dan penghitungannya harus cukup cepat dan efisien. Tumpukan perangkat lunak Qualcomm AI membantu pengembang membuat, mengoptimalkan, dan menerapkan aplikasi AI pada perangkat keras dengan lebih efisien, sehingga mencapai efek pengembangan satu kali dan multi-penerapan aplikasi. Seperti yang Anda lihat dari gambar di bawah, tumpukan perangkat lunak ini meningkatkan efisiensi pengembangan dari berbagai tingkat termasuk kerangka kerja AI yang didukung, kit pengembangan perangkat lunak inferensi, perpustakaan dan layanan pengembang, perangkat lunak sistem, dan sistem operasi.
Tumpukan perangkat lunak Qualcomm AI
Selain itu, dalam hal pengembangan algoritma dan model, berkomitmen untuk meningkatkan efisiensi tanpa mengorbankan akurasi.Dalam hal ini, terdapat algoritma berdasarkan model Q-SRNet, solusi kuantisasi INT4, dll. Misalnya, Snapdragon 8 Gen2 mendukung format presisi AI INT4 untuk pertama kalinya, yang menghadirkan peningkatan efisiensi energi sebesar 60% dan peningkatan kinerja inferensi AI sebesar 90% dibandingkan dengan INT8.
Qualcomm juga terus melakukan upaya di tingkat ekologis, dan keunggulan teknisnya pada ponsel dapat diperluas ke terminal lain seperti mobil, PC, XR, dan Internet of Things. Pada saat yang sama, berdasarkan IP dan teknologi yang didistribusikan di berbagai bidang, Qualcomm mampu melakukan kerja sama mendalam di berbagai ekosistem, seperti bidang PC dan Microsoft, bidang XR dan Meta, dan dengan cepat mencapai ekspansi skala besar melalui kerjasama ekologi yang baik.
Dapat dikatakan bahwa kemampuan AI sisi terminal Qualcomm yang kuat dan komprehensif, terutama arsitektur akselerasi perangkat keras AI dan tumpukan perangkat lunak yang dapat mengatasi potensi perubahan dalam arsitektur model AI generatif, telah memimpin dalam penalaran dan penalaran AI sisi terminal. meletakkan dasar yang kuat untuk perluasan AI generatif ke terminal. Landasan teknis memungkinkan aplikasi AI generatif berjalan di perangkat terminal seperti ponsel. Pada saat yang sama, Qualcomm juga memiliki pandangan ke depan dalam mengeksplorasi AI generatif.
Dari penelitian awal tentang metode kompresi model AI generatif, penggunaan VAE untuk membuat codec video dan suara untuk mengontrol ukuran model di bawah 100 juta parameter, hingga penggunaan AI generatif untuk menggantikan model saluran di bidang nirkabel guna meningkatkan efisiensi komunikasi telepon seluler, Qualcomm selalu ditargetkan untuk memajukan AI generatif.
Tentu saja, hasilnya juga sangat signifikan. Dalam enam bulan terakhir, berita tentang Qualcomm yang menjalankan model AI generatif besar di ponsel telah memicu diskusi hangat, termasuk menjalankan model grafik Vincent Stable Diffusion dengan 1 miliar parameter dan model grafik Vincent dengan 1,5 miliar parameter. pembuatan gambar model gambar ControlNet.Tunggu. Selain mendemonstrasikan kemampuan AI painting pada perangkat seluler, Qualcomm juga menjajaki lebih lanjut perluasan kemampuan AI generatif di bidang teknis lainnya seperti manusia digital.
*ControlNet di ponsel menyelesaikan rendering dalam 12 detik. *
Di masa depan, berdasarkan akumulasi pengalaman pengoperasian ponsel Qualcomm dan peningkatan lebih lanjut pada daya komputasi chip SoC, pengoperasian terminal model parameter yang lebih banyak akan segera dilakukan. Ziad Asghar, wakil presiden senior manajemen produk dan kepala AI di Qualcomm, mengatakan dalam sebuah wawancara bahwa model AI generatif yang dapat mendukung 10 miliar parameter akan dijalankan di ponsel tahun ini. Selain itu, pihaknya akan bekerja sama dengan Meta untuk meluncurkan Llama 2 versi mobile pada tahun depan. Hal ini membuat masa depan AI generatif lebih menjanjikan.
Menurut pendapat kami, arti terbesar dari AI sisi terminal adalah untuk menampilkan model AI generatif yang besar di tangan semua orang, yang lebih bermanfaat bagi ekspansi skala besar dan mempopulerkan AI generatif dan juga dapat menciptakan keuntungan bisnis. Mengambil contoh lukisan AI generatif, jika bisa seperti Kamera Miaoya yang populer di WeChat Moments beberapa waktu lalu, menjalankan AI generatif di ponsel akan menghasilkan efek lalu lintas yang beragam.
Namun, tata letak AI generatif Qualcomm jelas bukan untuk efek lalu lintas sementara, tetapi dengan bantuan ponsel, PC seluler, perangkat wearable XR, rumah pintar, mobil, dan kemungkinan operator aplikasi AI generatif lainnya, dengan cara yang lebih dekat. kepada pengguna. , memungkinkan lebih banyak orang menikmati pengalaman AI baru dengan cepat dan nyaman. Seperti yang tertulis di sampul kertas putihnya, "menjadikan AI dalam jangkauan." Qualcomm membuat hal ini tidak lagi jauh.
Kesimpulan
Sejak ChatGPT, AI generatif telah menjadi tren perkembangan yang tidak dapat dihentikan. Mengingat betapa besarnya kemudahan yang akan dibawanya ke dalam kehidupan kita, percepatan pemasyarakatan AI generatif sangatlah penting. Untungnya, Qualcomm telah meletakkan fondasinya. Kami mengetahui bahwa Qualcomm telah terlibat secara mendalam di bidang AI selama lebih dari 15 tahun, khususnya di bidang komputasi seluler, dan telah membentuk kepemimpinan teknis yang mendalam. Saat ini terdapat miliaran perangkat terminal pintar yang dilengkapi dengan platform Snapdragon dan Qualcomm di seluruh dunia, yang membawa kemampuan uji coba AI sisi terminal dan potensi aplikasi AI generatif ke tingkat yang tak tertandingi.
Pada saat yang sama, dengan memperluas dan memperdalam pemberdayaan AI sisi terminal, serta memperluas AI generatif ke lebih banyak bidang dan skenario, hal ini tidak hanya dapat memberikan pengalaman AI yang lebih beragam, menyenangkan, dan nyaman bagi pengguna biasa, namun juga dapat menciptakan lebih banyak pengalaman AI yang lebih beragam, menyenangkan, dan nyaman bagi pengguna awam. peluang pasar bagi mitra ekosistem terminal cerdasnya dan benar-benar membuka nilainya.
Bagi Qualcomm, AI generatif di sisi terminal mempunyai arti yang luas. Pada Digital Trade Development Trends and Frontier Summit Forum di China Service Trade Fair, Meng Pu, Chairman Qualcomm China, menyampaikan pidato utama, menekankan kerja sama yang erat dengan ekosistem global untuk bersama-sama mengeksplorasi teknologi seperti 5G, AI, dan Internet of Things. Aplikasi dan pengalaman seluler baru. Sebagai teknologi AI generatif yang saat ini menjadi yang terdepan, kekuatan, kuantitas, dan kesulitannya akan sangat menentukan apakah hal ini dapat berhasil direalisasikan.
Pengoperasian AI generatif di sisi terminal sangatlah penting, dan perusahaan-perusahaan yang ramah lingkungan dan mendukung pengguna seperti Qualcomm juga akan menonjol berdasarkan kekuatan mereka.
Tautan referensi:
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Revolusi sisi terminal yang lebih dekat dengan pengguna adalah kunci demokratisasi AI generatif.
Sumber asli: Jantung Mesin
Saat ini, sudah hampir 10 bulan sejak OpenAI merilis ChatGPT. Gelombang AI generatif yang dipicunya telah membuat masyarakat awam merasakan pesona kecerdasan buatan "lebih dekat". Baik itu mesin pencari real-time bergaya obrolan yang didukung oleh model besar, atau alat melukis yang menghasilkan gambar dengan memasukkan teks, AI generatif perlahan-lahan masuk dan secara halus mengubah pekerjaan sehari-hari, hiburan, dan kebiasaan kreatif masyarakat.
Seiring dengan model besar dan AI generatif, produsen ponsel dan chip melakukan "revolusi sisi perangkat" dengan meriah. Pada bulan Mei tahun ini, Google merilis model bahasa besar PaLM 2, termasuk Gecko versi ringan yang dapat dijalankan di perangkat seluler. Pada bulan Mei juga, Qualcomm merilis buku putih "AI Hibrid adalah Masa Depan AI". Pada bulan Agustus, Xiaomi Lei Jun mengumumkan penerapan penuh model besar dan berhasil menjalankan model besar dengan parameter 1,3 miliar pada ponselnya.Xiao Ai juga menerima peningkatan dalam kemampuan model besar.
Mau tidak mau kita bertanya, mengapa pabrikan besar terburu-buru memasukkan model AI umum dan generatif yang besar ke dalam terminal, terutama ponsel? Kita tahu bahwa produk terminal pintar seperti ponsel pintar, PC, XR, dan mobil paling dekat dengan masyarakat awam, terutama ponsel, dan kita menghabiskan lebih banyak waktu untuk menggunakannya. Pada bulan April 2023, organisasi riset pasar Electronics Hub merilis laporan yang menunjukkan bahwa pengguna di beberapa negara menatap layar ponsel selama lebih dari 7 jam sehari. Ponsel secara bertahap berkembang menjadi inti kehidupan cerdas, mempersiapkan “sarang” bagi pengembangan AI generatif di sisi terminal.
Namun, pergeseran model besar AI generatif ke sisi terminal tidak terjadi dalam semalam. Metode penerapannya sedang mengalami transformasi dari kolaborasi cloud menjadi kolaborasi terminal-cloud.
Tren terminal dan AI generatif berbasis cloud yang berjalan beriringan menjadi semakin menonjol
Kita tahu bahwa parameter model AI generatif besar sering kali berjumlah miliaran, ratusan, atau bahkan ratusan miliar, sehingga memerlukan infrastruktur yang sangat tinggi dalam hal optimalisasi pelatihan model dan inferensi eksekusi. Pada awalnya, hanya cloud yang dapat memberikan kekuatan komputasi AI sebesar itu, sehingga produsen sering kali memilih untuk menerapkan dan menjalankan model besar mereka sendiri di cloud.
Ambil contoh ChatGPT, pelatihan dan pengoperasiannya memerlukan penyimpanan data dan sumber daya komputasi dalam jumlah besar, dan permintaan pengguna yang besar menghasilkan biaya daya komputasi yang tinggi, sehingga memerlukan platform layanan cloud yang kuat. Pengguna dapat mengakses ChatGPT dan produk AI generatif lainnya (seperti CodeX) melalui layanan cloud Microsoft Azure OpenAI. Amazon, penyedia layanan cloud besar lainnya, juga telah meluncurkan layanan hosting cloud AI generatif serupa.Pengguna dapat mengakses model dasar terlatih dari startup seperti AI21Labs, Anthropic, dan Stability AI melalui API.
Jelas sekali, platform layanan cloud telah mempercepat gelombang teknologi AI generatif yang melanda dunia, memberikan dukungan daya komputasi kepada produsen model besar yang diperlukan untuk pelatihan model dan inferensi. Namun, inferensi cloud model besar memerlukan biaya tinggi, dan dengan meningkatnya jumlah pengguna dan permintaan penggunaan, biayanya semakin tinggi. Akibatnya, dalam menghadapi biaya operasional yang terus meningkat, produsen perlu mencari cara lain di luar cloud.
Seiring berjalannya waktu, di satu sisi, teknologi kompresi model besar (seperti kuantisasi, pemangkasan jaringan, dan penyulingan pengetahuan) menjadi semakin melimpah dan efektif. Di sisi lain, perangkat terminal pintar seperti ponsel, PC, XR , dan mobil memiliki AI. Kekuatan komputasi terus meningkat, dan kondisi teknis untuk menerapkan AI generatif ke terminal semakin matang. Tren terminal dan cloud yang berjalan beriringan menjadi semakin nyata.
Selain itu, dibandingkan dengan cloud, penerapan dan pengoperasian AI generatif di sisi terminal juga memiliki keunggulan dalam hal biaya, keamanan dan privasi, serta pengoperasian yang andal.
Yang pertama adalah keunggulan biaya. Sebelumnya, media melaporkan bahwa OpenAI menghabiskan sekitar US$700.000 sehari hanya untuk menjaga ChatGPT tetap berjalan, yang berarti hampir US$200 juta mungkin telah dihabiskan untuk ChatGPT. Biaya sebesar itu terlalu tinggi bahkan untuk ditanggung oleh OpenAI, sehingga sulit untuk mencapai titik impas, apalagi menghasilkan keuntungan. Sisi terminalnya berbeda, biayanya sangat berkurang, penerapan model ringan terkompresi hanya perlu membayar biaya perangkat keras, tanpa mempertimbangkan masalah lain seperti bandwidth, konsumsi energi, dan transmisi jaringan.
Kedua, menjalankan AI generatif di sisi terminal dapat melindungi data pribadi dengan lebih percaya diri, tidak seperti potensi risiko kebocoran informasi di cloud. Hal ini bukannya tidak berdasar. Pada bulan April tahun ini, terungkap bahwa karyawan di departemen semikonduktor mengunggah data ke cloud saat menggunakan ChatGPT, mengakibatkan kebocoran data rahasia, dan kemudian mengumumkan larangan. Pengoperasian terminal tidak memerlukan pengunggahan teks, gambar, video, dan informasi lainnya ke cloud, sehingga menghindari risiko ini dan memastikan privasi tidak bocor dan keamanan ditingkatkan.
Latensi rendah juga merupakan keuntungan besar di sisi terminal. Cloud perlu mengirimkan data ke cloud untuk diproses sebelum hasilnya dapat dikembalikan.Selama proses tersebut, transmisi jaringan pasti akan menyebabkan penundaan. Sisi terminal tidak perlu mengunggah informasi ke server cloud atau pusat data, kecepatan respons ditingkatkan dan penundaan berkurang. Pada saat yang sama, operasi lokal lebih andal dan terkadang dapat dijalankan secara offline, sehingga mengurangi ketergantungan pada layanan cloud dan koneksi jaringan sampai batas tertentu.
Sisi terminal juga memiliki skenario aplikasi dan informasi situasional yang lebih kaya dibandingkan cloud, sehingga menghadirkan interaksi dan pengalaman yang lebih personal. Pengguna dapat menyempurnakan dan menyesuaikan parameter dan fungsi model untuk skenario aplikasi berbeda atau kebutuhan berbeda dalam skenario yang sama, sehingga memberikan mereka fleksibilitas penuh.
Dengan keunggulan-keunggulan ini, jalur penerapan AI generatif di sisi terminal menjadi semakin jelas, dan posisi AI generatif semakin sama pentingnya dengan cloud. Seperti yang dikatakan oleh Wakil Presiden Global Qualcomm, Hou Mingjuan, pada konferensi pers offline mengenai buku putih "AI Hibrida adalah Masa Depan AI", "AI sisi terminal adalah kunci untuk mewujudkan arsitektur AI hibrid dan memperluas AI generatif ke jangkauan yang lebih luas. dunia."
Qualcomm mengatakan demikian dan melakukannya. Dalam revolusi sisi terminal yang berkaitan dengan AI generatif, Qualcomm memimpin dalam hal ini dan menjadi salah satu promotor inti revolusi AI sisi terminal, dan membentuk jalur pengembangan AI hibrid di mana cloud dan terminal bekerja sama dalam tata letaknya. Pilihan rute ini semakin mencerminkan pandangan ke depan dan kepemimpinan Qualcomm dalam kemampuan teknologi AI sisi terminal dan AI generatif.
Menyusun AI generatif sisi terminal selangkah lebih maju
Apa yang disebut AI hybrid pada dasarnya beroperasi dalam dua cara: Pertama, dalam beberapa skenario, komputasi sebagian besar dipusatkan pada terminal dan memindahkan tugas ke cloud bila diperlukan. Kedua, dalam skenario cloud-centric, terminal berbagi sebagian beban kerja cloud bila memungkinkan berdasarkan kemampuan mereka sendiri. Cloud dan terminal masing-masing menjalankan fungsinya sendiri dan saling membantu.
Dibandingkan dengan hanya di cloud, manfaat terbesar AI hibrid adalah mengalokasikan dan mengoordinasikan beban kerja AI secara lebih efisien dalam berbagai skenario dan waktu, meningkatkan efisiensi pemanfaatan sumber daya, dan mengurangi biaya pengoperasian.
Dalam tata letak AI hybrid Qualcomm, baik yang berpusat pada terminal, berdasarkan persepsi terminal, atau pemrosesan kolaboratif terminal dan cloud, ditekankan bahwa kemampuan AI sisi terminal adalah kunci untuk memberdayakan AI hybrid dan memungkinkan AI generatif untuk mencapai ekspansi skala global. . . Khusus untuk AI generatif, AI hybrid berarti memanfaatkan sepenuhnya daya komputasi sisi terminal untuk mendukung aplikasi AI generatif, seperti halnya ChatGPT di ponsel.
Namun, keberhasilan menerapkan dan menjalankan model AI generatif yang besar pada terminal tidaklah mudah, karena prasyarat penerapannya adalah kemampuan AI di sisi terminal yang kuat. Sebagai produsen chip hulu, Qualcomm selalu menjadi pemimpin dalam AI sisi terminal. Qualcomm telah membentuk optimalisasi AI full-stack mulai dari chip, perangkat lunak, hingga algoritme dan ekosistem, sehingga tidak ada perangkat lunak maupun perangkat keras yang terhambat, dan sisi terminal Akselerasi inferensi AI dapat dicapai.
Pertama-tama, pada level chip perangkat keras, mulai dari platform andalan sebelumnya Snapdragon 888 dan Snapdragon 8 generasi pertama hingga Snapdragon 7 generasi kedua kelas atas dan Snapdragon 8 andalan generasi kedua yang diluncurkan pada tahun lalu, kemampuan AI terus berlanjut. untuk berkembang, Dengan peningkatan tersebut, kemampuan AI di sisi terminal juga akan ditingkatkan. Diantaranya, Qualcomm AI Engine yang terus ditingkatkan (saat ini generasi kedelapan) memainkan peran penting. Prosesor Hexagon, GPU Qualcomm Adreno, dan CPU Qualcomm Kryo dirancang untuk menjalankan aplikasi AI di sisi terminal secara efisien, dan mengoptimalkan pengguna AI di sisi terminal. melalui metode komputasi heterogen.pengalaman.
Kekuatan komputasi AI pada Snapdragon 8 generasi ketiga yang akan diluncurkan pada bulan Oktober tahun ini diperkirakan akan semakin ditingkatkan, dan kami semakin bersemangat untuk melihat fungsi AI di sisi terminal seperti apa yang dapat didukungnya.
Selain akselerasi perangkat keras yang berkelanjutan, tantangan terbesar bagi AI sisi terminal terletak pada perangkat lunak, yang harus memastikan bahwa berbagai model pemrosesan saraf dapat dijalankan, dan penghitungannya harus cukup cepat dan efisien. Tumpukan perangkat lunak Qualcomm AI membantu pengembang membuat, mengoptimalkan, dan menerapkan aplikasi AI pada perangkat keras dengan lebih efisien, sehingga mencapai efek pengembangan satu kali dan multi-penerapan aplikasi. Seperti yang Anda lihat dari gambar di bawah, tumpukan perangkat lunak ini meningkatkan efisiensi pengembangan dari berbagai tingkat termasuk kerangka kerja AI yang didukung, kit pengembangan perangkat lunak inferensi, perpustakaan dan layanan pengembang, perangkat lunak sistem, dan sistem operasi.
Selain itu, dalam hal pengembangan algoritma dan model, berkomitmen untuk meningkatkan efisiensi tanpa mengorbankan akurasi.Dalam hal ini, terdapat algoritma berdasarkan model Q-SRNet, solusi kuantisasi INT4, dll. Misalnya, Snapdragon 8 Gen2 mendukung format presisi AI INT4 untuk pertama kalinya, yang menghadirkan peningkatan efisiensi energi sebesar 60% dan peningkatan kinerja inferensi AI sebesar 90% dibandingkan dengan INT8.
Qualcomm juga terus melakukan upaya di tingkat ekologis, dan keunggulan teknisnya pada ponsel dapat diperluas ke terminal lain seperti mobil, PC, XR, dan Internet of Things. Pada saat yang sama, berdasarkan IP dan teknologi yang didistribusikan di berbagai bidang, Qualcomm mampu melakukan kerja sama mendalam di berbagai ekosistem, seperti bidang PC dan Microsoft, bidang XR dan Meta, dan dengan cepat mencapai ekspansi skala besar melalui kerjasama ekologi yang baik.
Dapat dikatakan bahwa kemampuan AI sisi terminal Qualcomm yang kuat dan komprehensif, terutama arsitektur akselerasi perangkat keras AI dan tumpukan perangkat lunak yang dapat mengatasi potensi perubahan dalam arsitektur model AI generatif, telah memimpin dalam penalaran dan penalaran AI sisi terminal. meletakkan dasar yang kuat untuk perluasan AI generatif ke terminal. Landasan teknis memungkinkan aplikasi AI generatif berjalan di perangkat terminal seperti ponsel. Pada saat yang sama, Qualcomm juga memiliki pandangan ke depan dalam mengeksplorasi AI generatif.
Dari penelitian awal tentang metode kompresi model AI generatif, penggunaan VAE untuk membuat codec video dan suara untuk mengontrol ukuran model di bawah 100 juta parameter, hingga penggunaan AI generatif untuk menggantikan model saluran di bidang nirkabel guna meningkatkan efisiensi komunikasi telepon seluler, Qualcomm selalu ditargetkan untuk memajukan AI generatif.
Tentu saja, hasilnya juga sangat signifikan. Dalam enam bulan terakhir, berita tentang Qualcomm yang menjalankan model AI generatif besar di ponsel telah memicu diskusi hangat, termasuk menjalankan model grafik Vincent Stable Diffusion dengan 1 miliar parameter dan model grafik Vincent dengan 1,5 miliar parameter. pembuatan gambar model gambar ControlNet.Tunggu. Selain mendemonstrasikan kemampuan AI painting pada perangkat seluler, Qualcomm juga menjajaki lebih lanjut perluasan kemampuan AI generatif di bidang teknis lainnya seperti manusia digital.
Di masa depan, berdasarkan akumulasi pengalaman pengoperasian ponsel Qualcomm dan peningkatan lebih lanjut pada daya komputasi chip SoC, pengoperasian terminal model parameter yang lebih banyak akan segera dilakukan. Ziad Asghar, wakil presiden senior manajemen produk dan kepala AI di Qualcomm, mengatakan dalam sebuah wawancara bahwa model AI generatif yang dapat mendukung 10 miliar parameter akan dijalankan di ponsel tahun ini. Selain itu, pihaknya akan bekerja sama dengan Meta untuk meluncurkan Llama 2 versi mobile pada tahun depan. Hal ini membuat masa depan AI generatif lebih menjanjikan.
Menurut pendapat kami, arti terbesar dari AI sisi terminal adalah untuk menampilkan model AI generatif yang besar di tangan semua orang, yang lebih bermanfaat bagi ekspansi skala besar dan mempopulerkan AI generatif dan juga dapat menciptakan keuntungan bisnis. Mengambil contoh lukisan AI generatif, jika bisa seperti Kamera Miaoya yang populer di WeChat Moments beberapa waktu lalu, menjalankan AI generatif di ponsel akan menghasilkan efek lalu lintas yang beragam.
Namun, tata letak AI generatif Qualcomm jelas bukan untuk efek lalu lintas sementara, tetapi dengan bantuan ponsel, PC seluler, perangkat wearable XR, rumah pintar, mobil, dan kemungkinan operator aplikasi AI generatif lainnya, dengan cara yang lebih dekat. kepada pengguna. , memungkinkan lebih banyak orang menikmati pengalaman AI baru dengan cepat dan nyaman. Seperti yang tertulis di sampul kertas putihnya, "menjadikan AI dalam jangkauan." Qualcomm membuat hal ini tidak lagi jauh.
Kesimpulan
Sejak ChatGPT, AI generatif telah menjadi tren perkembangan yang tidak dapat dihentikan. Mengingat betapa besarnya kemudahan yang akan dibawanya ke dalam kehidupan kita, percepatan pemasyarakatan AI generatif sangatlah penting. Untungnya, Qualcomm telah meletakkan fondasinya. Kami mengetahui bahwa Qualcomm telah terlibat secara mendalam di bidang AI selama lebih dari 15 tahun, khususnya di bidang komputasi seluler, dan telah membentuk kepemimpinan teknis yang mendalam. Saat ini terdapat miliaran perangkat terminal pintar yang dilengkapi dengan platform Snapdragon dan Qualcomm di seluruh dunia, yang membawa kemampuan uji coba AI sisi terminal dan potensi aplikasi AI generatif ke tingkat yang tak tertandingi.
Pada saat yang sama, dengan memperluas dan memperdalam pemberdayaan AI sisi terminal, serta memperluas AI generatif ke lebih banyak bidang dan skenario, hal ini tidak hanya dapat memberikan pengalaman AI yang lebih beragam, menyenangkan, dan nyaman bagi pengguna biasa, namun juga dapat menciptakan lebih banyak pengalaman AI yang lebih beragam, menyenangkan, dan nyaman bagi pengguna awam. peluang pasar bagi mitra ekosistem terminal cerdasnya dan benar-benar membuka nilainya.
Bagi Qualcomm, AI generatif di sisi terminal mempunyai arti yang luas. Pada Digital Trade Development Trends and Frontier Summit Forum di China Service Trade Fair, Meng Pu, Chairman Qualcomm China, menyampaikan pidato utama, menekankan kerja sama yang erat dengan ekosistem global untuk bersama-sama mengeksplorasi teknologi seperti 5G, AI, dan Internet of Things. Aplikasi dan pengalaman seluler baru. Sebagai teknologi AI generatif yang saat ini menjadi yang terdepan, kekuatan, kuantitas, dan kesulitannya akan sangat menentukan apakah hal ini dapat berhasil direalisasikan.
Pengoperasian AI generatif di sisi terminal sangatlah penting, dan perusahaan-perusahaan yang ramah lingkungan dan mendukung pengguna seperti Qualcomm juga akan menonjol berdasarkan kekuatan mereka.
Tautan referensi: