Sobat, HUAWEI HarmonyOS Access Large Model, dapatkah asisten pintar bermain seperti ini?
Hanya dengan satu perintah berbahasa Mandarin, Huawei Xiaoyi akan menulis email berbahasa Inggris:
Anda dapat menggunakan AI untuk membuat foto Anda sendiri menjadi gaya yang berbeda:
Anda juga dapat mengucapkan daftar instruksi yang panjang, membiarkannya membuat adegan yang rumit dengan sendirinya, dan Anda dapat memahaminya dalam bahasa sederhana:
Inilah Baru Xiaoyi di HUAWEI HarmonyOS 4.
Ini didasarkan pada model besar basis Pangu L0 Huawei, menggabungkan data adegan dalam jumlah besar, menyempurnakan model, dan akhirnya menyempurnakan ** model dialog lapisan L1 **.
Itu dapat menangani tugas-tugas seperti pembuatan teks, pencarian pengetahuan, ringkasan data, pengaturan cerdas, dan pemahaman maksud yang kabur/kompleks.
Selain itu, berbagai layanan APP juga dapat dipanggil untuk mewujudkan pengalaman cerdas tingkat sistem.
Jadi, apa yang bisa dilakukan Huawei Xiaoyi baru?
Lebih pintar, lebih cakap, lebih peduli
Berdasarkan kemampuan model besar, Huawei Xiaoyi kali ini terutama ditingkatkan dalam tiga aspek:
Interaksi cerdas
Produktivitas tinggi
Layanan yang dipersonalisasi
Peningkatan kemampuan khusus termasuk dialog bahasa yang lebih alami, kuis pengetahuan tentang mesin game, pencarian layanan seumur hidup, pengenalan dialog konten layar, pembuatan gambar ringkasan copywriting, dll.
** Pertama-tama, peningkatan interaksi cerdas membuat dialog dan interaksi lebih alami dan lancar. **
Huawei Xiaoyi dapat memahami bahasa sehari-hari, memahami niat kabur dan perintah kompleks.
Jika Anda tidak menemukan fungsi pengaturan wallpaper terbaru, dan tidak tahu nama fungsinya, Anda bisa langsung bertanya:
Bagaimana cara mengganti wallpaper yang bisa berubah secara real time sesuai cuaca?
Atau perintah kompleks dengan banyak persyaratan:
Temukan restoran hidangan laut terbaik di dekat Danau Songshan, sebaiknya dengan menu diskon untuk empat orang.
Xiaoyi juga dapat menghubungi layanan tersebut untuk mencari restoran yang memenuhi persyaratan.
Pada saat yang sama, Xiaoyi juga memiliki kemampuan multi-modal, dapat memahami konten gambar. Dengan cara ini, langkah-langkah yang harus dibaca pengguna dan kemudian dioperasikan secara manual juga dapat diserahkan ke Xiaoyi.
Misalnya, lihat surat undangan dan katakan:
Arahkan ke alamat di peta.
Itu dapat mengekstrak informasi alamat di peta dan memanggil layanan peta untuk navigasi.
Atau simpan informasi kontak dalam undangan, dan Anda dapat melihat bahwa ia dapat memahami informasi teks dalam gambar dengan sangat baik.
Melangkah lebih jauh, kita sekarang dapat melakukan pengaturan tugas kompleks melalui Xiaoyi, jadi kita tidak perlu mengaturnya berulang kali secara manual.
Misalnya, Anda dapat membiarkannya mengatur adegan lari pagi:
Bantu saya membuat adegan lari pagi. Setiap Senin sampai Jumat pukul 6:30 pagi, saya akan menyiarkan cuaca hari itu untuk saya. Saat saya memakai headphone bluetooth, saya memutar lagu favorit dan menyetel ponsel ke mode senyap.
Xiaoyi dapat memahami daftar persyaratan yang panjang ini, dan kemudian memanggil fungsi yang berbeda. Dan berdasarkan status ponsel (apakah headset Bluetooth terhubung), dapat menilai apakah akan melakukan operasi tertentu.
Kedua, berkat kemampuan seperti model besar, Xiaoyi kini dapat menyediakan alat produktivitas yang lebih efisien.
Membantu Anda melihat, membaca dan menulis.
Misalnya, tunjukkan artikel bahasa Inggris, lalu tanyakan apa yang dikatakan dalam artikel ini?
Xiaoyi dapat memberikan penjelasan yang sederhana dan ringkas dalam bahasa Mandarin.
Jika pengguna telah memintanya untuk mengingat beberapa informasi di masa lalu, itu juga dapat dipanggil untuk menghasilkan konten yang sesuai.
Dalam beberapa hari, saya akan membuat janji temu dengan David untuk membahas proyek Menggabungkan informasi dari rapat terakhir, saya akan menulis email janji temu rapat dalam bahasa Inggris.
Termasuk yang sudah disebutkan di awal, Xiaoyi juga bisa menggunakan kemampuan visual AI untuk mengkreasikan foto menjadi berbagai gaya.
**Akhirnya, sebagai asisten cerdas, Xiaoyi kini mendukung layanan yang lebih personal dan dapat memahami Anda dengan lebih baik. **
Ini dapat digunakan sebagai buku catatan dan memorandum, dan beberapa hal kecil dapat direkam secara lisan.
Huawei menyatakan bahwa ** semua konten memori diselesaikan di bawah otorisasi pengguna dan akan sepenuhnya melindungi privasi pengguna. **
Selain itu, Saran Xiaoyi sekarang dapat melihat lebih banyak skenario frekuensi tinggi pengguna, dan dapat secara aktif memberikan saran kombinasi cerdas satu atap, menghemat banyak proses pencarian manual.
Misalnya, dalam skenario perjalanan keluar, Xiaoyi dapat mengingatkan nilai tukar terbaru secara real time sebelum keberangkatan, menukar mata uang asing, dan membantu pengguna mendapatkan strategi perjalanan di tempat tujuan secara real time; Alat terjemahan waktu nyata dan banyak lagi.
Menurut laporan, Adegan pintar Xiaoyi baru telah meningkat 3 kali lipat, dan jumlah POI telah meningkat 7 kali lipat, yang dapat mencakup toko katering dan perbelanjaan inti, kawasan bisnis, stasiun kereta api berkecepatan tinggi bandara, dan lainnya skenario.
Singkatnya, Xiaoyi baru tidak hanya memperoleh kemampuan AIGC terbaru, tetapi juga memperbaiki beberapa kekurangan asisten suara ponsel yang sering dikritik di masa lalu.
Seperti kurangnya ingatan, dialog yang membosankan, ketidakpahaman bahasa sehari-hari, dll...
Semua ini tentu saja mendapat berkah dari model besar, tetapi bagaimana Xiaoyi melakukannya?
Xiaoyi merangkul model besar
Model dasar yang diandalkan Xiaoyi adalah Huawei Pangu Series.
Pada Juli tahun ini, Huawei secara resmi merilis Pangu Large Model 3.0, dan mengusulkan arsitektur model tiga lapis.
L0: Model besar dasar, termasuk bahasa alami, visi, multimodalitas, prediksi, dan komputasi ilmiah;
L1: Model besar industri N, seperti urusan pemerintahan, keuangan, manufaktur, pertambangan, meteorologi, dll.;
L2: Model adegan yang lebih detail, menyediakan layanan model "out-of-the-box".
Di antara mereka, versi terbesar dari model besar dasar lapisan L0 berisi 100 miliar parameter, dan pra-pelatihan menggunakan lebih dari 3 triliun token.
Berdasarkan model besar basis Pangu L0 Huawei, Xiaoyi membangun data adegan dalam jumlah besar untuk skenario konsumen akhir, menyempurnakan model, dan akhirnya menyempurnakan model dialog lapisan L1.
Dalam penyempurnaan, Xiaoyi telah menambahkan tipe data utama yang mencakup konsumen akhir, seperti percakapan, panduan perjalanan, kontrol peralatan, makanan, pakaian, perumahan dan transportasi, dll.
Ini juga dapat mencakup rentang pengetahuan percakapan sehari-hari pengguna biasa, dan dapat meningkatkan faktualitas, kinerja waktu nyata, kepatuhan keamanan, dll. Dalam proses dialog model.
Namun, seperti yang kita semua tahu, model besar sangat menantang dalam penerapan dan respons cepat karena karakteristik berskala besar.
Dalam hal penerapan, Huawei terus meningkatkan kemampuan model skala besar kolaborasi cloud-perangkat. Model besar sisi perangkat dapat melakukan lapisan pra-pemrosesan pada permintaan pengguna dan informasi konteks, lalu mengirimkan permintaan yang telah diproses sebelumnya ke sisi awan.
Keuntungannya adalah tidak hanya dapat memanfaatkan respons cepat model sisi akhir, tetapi juga meningkatkan kualitas Tanya Jawab dan respons melalui model cloud, serta melindungi data privasi pengguna lebih lanjut.
Dalam hal mengurangi penundaan inferensi, Huawei Xiaoyi telah melakukan optimasi rekayasa sistematis, termasuk seluruh tautan dari chip yang mendasarinya, kerangka kerja inferensi, operator model, serta panjang input dan output.
Dengan membongkar penundaan waktu setiap modul, tim R&D mengklarifikasi tujuan pengoptimalan setiap bagian, dan mengurangi penundaan waktu melalui penggabungan operator, pengoptimalan memori, dan pengoptimalan jalur pipa.
Pada saat yang sama, panjang dan panjang keluaran juga akan memengaruhi kecepatan inferensi model besar.
Dalam hal ini, Huawei telah melakukan analisis dan kompresi kata demi kata untuk berbagai skenario dan format keluaran, dan akhirnya menyadari penundaan penalaran dibelah dua.
Dari perspektif arsitektur teknis keseluruhan, integrasi Huawei Xiaoyi dan model besar tidak hanya untuk meningkatkan tugas-tugas seperti obrolan, AIGC, dan membalas, tetapi untuk melakukan peningkatan tingkat sistem dengan model besar sebagai intinya.
**Dengan kata lain, biarkan model besar menjadi "otak" dari sistem. **
Logika dasarnya adalah: menetapkan tugas pengguna ke sistem yang sesuai, setiap sistem melakukan tugasnya sendiri, dan pada saat yang sama meningkatkan pengalaman dalam skenario yang kompleks.
Melihat secara khusus pada proses dialog khas Xiaoyi, ini dapat dibagi menjadi tiga langkah:
Langkah pertama adalah menerima pertanyaan pengguna dan menganalisis cara menanganinya berdasarkan pemahaman kontekstual/kemampuan mengingat Xiaoyi.
Langkah kedua, aktifkan berbagai kemampuan sesuai dengan jenis permintaan, termasuk pengambilan layanan meta, pembuatan ide, dan pengambilan pengetahuan.
Jika permintaan yang diprakarsai oleh pengguna melibatkan layanan meta, misalnya, jika dia bertanya tentang restoran terdekat yang dapat digunakan untuk pertemuan, ini melibatkan panggilan layanan APP gourmet. Sistem perlu membuat API, dan terakhir pihak jasa akan memberikan respon berdasarkan mekanisme rekomendasi.
Jika pengguna mengajukan pertanyaan pengetahuan, seperti menanyakan berapa banyak parameter yang dimiliki model Pangu. Pada saat ini, sistem akan memanggil mesin pencari, pengetahuan domain terkait, dan pengetahuan vektor ke kueri, lalu menghasilkan jawaban melalui fusi.
Jika permintaan pengguna adalah tugas generatif, maka model besar dapat memberikan balasan dengan kemampuannya sendiri.
Pada langkah terakhir, semua jawaban yang dihasilkan akan dievaluasi oleh pengendalian risiko dan dikembalikan ke pengguna.
Selain itu, Xiaoyi telah mengontrol detail lebih lanjut dan melakukan serangkaian pengembangan tingkat rendah untuk memastikan efek tanya jawab dan pelaksanaan tugas.
Anda dapat melihat aspek data.
Sejak Xiaoyi online di HarmonyOS pada tahun 2017, dia telah mengumpulkan sejumlah kebiasaan dialog untuk pengguna biasa. Selain itu, Huawei telah membuat korpus besar dari berbagai jenis ekspresi untuk mencakup sebanyak mungkin ekspresi tertulis dan lisan, sehingga model besar dapat mahir dalam berbagai ekspresi selama tahap pra-pelatihan.
Untuk mengevaluasi dan meningkatkan kemampuan Xiaoyi dengan lebih baik, Huawei telah membuat kumpulan data pengujian yang lengkap.
Ini tidak hanya dapat mengevaluasi kemampuan model besar terbuka yang ada, tetapi juga memandu Xiaoyi untuk membangun data dan kemampuan berdasarkan hasil evaluasi.
Saya ingin Xiaoyi menguasai panggilan alat, yang sangat menantang.
Kontrol peralatan memerlukan model besar untuk menghasilkan teks format kompleks dengan ratusan token, dan tidak boleh ada kesalahan format, jika tidak, sistem kontrol pusat tidak akan dapat mengurai dan menghubungkan.
Untuk memungkinkan model besar memenuhi standar generasi seperti itu, Huawei biasanya memahami "temperamen" model besar di satu sisi, dan pada saat yang sama memperkuat kemampuan kode model besar, dan kemudian menyempurnakan formatnya. kemampuan kepatuhan model, dan akhirnya menyadari bahwa ** formatnya hampir 100% sesuai **.
Untuk skenario yang kompleks, metode Xiaoyi adalah menggunakan kemampuan model besar untuk sepenuhnya mempelajari dan memahami skenario alat, lalu bernalar.
Dapat dipahami bahwa tim mengoptimalkan efek kontrol peralatan model dari tidak dapat digunakan sama sekali hingga ketersediaan lebih dari 80%.
Selain itu, Native HarmonyOS juga memungkinkan untuk mengoptimalkan API yang ada, dan melalui adaptasi terbalik ini, keunggulan model besar juga dapat dimanfaatkan dengan lebih baik.
Menghadap ke seluruh pemandangan, tidak terbatas pada terminal seluler
Jadi, mengapa Huawei dapat menerapkan kemampuan model berskala besar ke asisten pintar dengan begitu cepat?
Akumulasi dan penelitian dari penelitian dan pengembangan dasar yang mendasarinya sangat penting, tetapi ada satu hal lagi yang patut diperhatikan——
Huawei memilih untuk memulai dari adegan sebenarnya untuk menentukan cara menggabungkan model besar dengan asisten cerdas dan bahkan seluruh sistem operasi.
Dalam kata-kata Huawei sendiri:
Bicara murah. Tunjukkan Demonya.
Banyak pengalaman yang ditunjukkan di atas juga berasal dari persepsi sehari-hari anggota tim R&D Huawei.
Misalnya, beberapa orang terbiasa mendapatkan berita dalam perjalanan ke dan dari pekerjaan, dan tidak nyaman untuk membaca dan mendengarkan informasi yang terlalu lama, sehingga fungsi ringkasan informasi muncul di Huawei Xiaoyi.
Beberapa orang menemukan bahwa mereka selalu kehabisan kata-kata saat menulis ulasan belanja dan ucapan selamat ulang tahun, sehingga Huawei Xiaoyi menyediakan fungsi copywriting.
Dan fokus pada pengalaman pemandangan ini adalah keuntungan alami dari HarmonyOS.
Sejak kelahirannya, HarmonyOS tidak terbatas pada ponsel, tetapi berorientasi pada berbagai terminal dan semua skenario.
Sekarang telah menciptakan ekologi skenario penuh "1+8+N".
Huawei Xiaoyi juga telah diterapkan pada 1+8 perangkat. Di masa mendatang, ini akan menggabungkan bentuk bisnis dari perangkat dengan skenario penuh dan secara bertahap menerapkan Xiaoyi dengan kemampuan model skala besar untuk pengalaman skenario penuh konsumen.
Sebagai asisten pintar yang digerakkan oleh AI, Xiaoyi telah mengintegrasikan berbagai kemampuan AI sejak kelahirannya, seperti subjudul AI dan membaca dengan keras oleh Xiaoyi. Tim R&D di belakangnya selalu memperhatikan lebih banyak kemungkinan AI dan asisten cerdas.
Menurut laporan, tahun lalu, tim memperhatikan bahwa puluhan miliar model pra-pelatihan yang dikombinasikan dengan teknologi cepat sudah dapat memberikan pemahaman teks dan kemampuan pembuatan yang sangat baik, dan dapat digunakan dalam obrolan ringan, tanya jawab, dan tugas- dialog berbasis
Dengan pecahnya putaran terbaru tren AI, RLHF telah membawa peningkatan signifikan pada model besar, dan pintu pendaratan industri telah dibuka secara resmi.
Sejak kemunculan tren AI generatif tahun ini, banyak aplikasi telah memilih untuk mengakses kemampuan model besar dan asisten pintar bawaan.
Namun, sebagai salah satu produsen sistem operasi terbanyak di dunia, Huawei memilih memotong dari level yang lebih rendah dan menggunakan model besar untuk membentuk ulang OS.
Level yang lebih rendah berarti lebih menyeluruh dan komprehensif.
Namun untuk penelitian dan pengembangan, tantangannya bahkan lebih besar.
Ini tidak hanya membutuhkan basis model yang cukup solid, tetapi juga membutuhkan pengoptimalan fusi tingkat sistem, dan juga mengedepankan persyaratan untuk pemahaman adegan dan persepsi permintaan pengguna.
Sejalan dengan itu, Huawei adalah salah satu pabrikan domestik paling awal dengan kemampuan model skala besar; membangun kemampuan pengembangan AI full-stack; HarmonyOS mencakup 700 juta+ perangkat...
Oleh karena itu, tidak sulit untuk memahami mengapa Huawei Xiaoyi dengan cepat mengakses kemampuan model besar, menjadikan HarmonyOS 4 sebagai sistem operasi pertama yang mengakses sepenuhnya model besar.
Sebagai salah satu sistem operasi yang paling diperhatikan di dunia, HarmonyOS memimpin dalam merangkul model besar, dan mungkin juga membuka paradigma baru, memungkinkan setiap orang membuka ponsel mereka untuk merasakan kemampuan model besar, tidak lagi terbatas pada imajinasi.
Saat ini, Huawei telah mengumumkan rencana pengujian Xiaoyi:
Xiaoyi anyar akan diundang untuk menguji pada akhir Agustus tahun ini, dan akan ditingkatkan melalui OTA pada beberapa model yang dilengkapi dengan HarmonyOS 4.0 ke atas nanti.Rencana peningkatan khusus akan diumumkan kemudian.
Jika Anda tertarik dengan sepatu anak-anak, Anda bisa datang dan melihat-lihat~
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Huawei adalah yang pertama mengintegrasikan model besar ke dalam ponsel! Xiaoyi + model besar, asisten pintar IQ +++
Sumber: Xinzhiyuan
Sobat, HUAWEI HarmonyOS Access Large Model, dapatkah asisten pintar bermain seperti ini?
Hanya dengan satu perintah berbahasa Mandarin, Huawei Xiaoyi akan menulis email berbahasa Inggris:
Ini didasarkan pada model besar basis Pangu L0 Huawei, menggabungkan data adegan dalam jumlah besar, menyempurnakan model, dan akhirnya menyempurnakan ** model dialog lapisan L1 **.
Itu dapat menangani tugas-tugas seperti pembuatan teks, pencarian pengetahuan, ringkasan data, pengaturan cerdas, dan pemahaman maksud yang kabur/kompleks.
Selain itu, berbagai layanan APP juga dapat dipanggil untuk mewujudkan pengalaman cerdas tingkat sistem.
Jadi, apa yang bisa dilakukan Huawei Xiaoyi baru?
Lebih pintar, lebih cakap, lebih peduli
Berdasarkan kemampuan model besar, Huawei Xiaoyi kali ini terutama ditingkatkan dalam tiga aspek:
Peningkatan kemampuan khusus termasuk dialog bahasa yang lebih alami, kuis pengetahuan tentang mesin game, pencarian layanan seumur hidup, pengenalan dialog konten layar, pembuatan gambar ringkasan copywriting, dll.
** Pertama-tama, peningkatan interaksi cerdas membuat dialog dan interaksi lebih alami dan lancar. **
Huawei Xiaoyi dapat memahami bahasa sehari-hari, memahami niat kabur dan perintah kompleks.
Jika Anda tidak menemukan fungsi pengaturan wallpaper terbaru, dan tidak tahu nama fungsinya, Anda bisa langsung bertanya:
Xiaoyi juga dapat menghubungi layanan tersebut untuk mencari restoran yang memenuhi persyaratan.
Misalnya, lihat surat undangan dan katakan:
Itu dapat mengekstrak informasi alamat di peta dan memanggil layanan peta untuk navigasi.
Misalnya, Anda dapat membiarkannya mengatur adegan lari pagi:
Xiaoyi dapat memahami daftar persyaratan yang panjang ini, dan kemudian memanggil fungsi yang berbeda. Dan berdasarkan status ponsel (apakah headset Bluetooth terhubung), dapat menilai apakah akan melakukan operasi tertentu.
Membantu Anda melihat, membaca dan menulis.
Misalnya, tunjukkan artikel bahasa Inggris, lalu tanyakan apa yang dikatakan dalam artikel ini?
Xiaoyi dapat memberikan penjelasan yang sederhana dan ringkas dalam bahasa Mandarin.
**Akhirnya, sebagai asisten cerdas, Xiaoyi kini mendukung layanan yang lebih personal dan dapat memahami Anda dengan lebih baik. **
Ini dapat digunakan sebagai buku catatan dan memorandum, dan beberapa hal kecil dapat direkam secara lisan.
Selain itu, Saran Xiaoyi sekarang dapat melihat lebih banyak skenario frekuensi tinggi pengguna, dan dapat secara aktif memberikan saran kombinasi cerdas satu atap, menghemat banyak proses pencarian manual.
Misalnya, dalam skenario perjalanan keluar, Xiaoyi dapat mengingatkan nilai tukar terbaru secara real time sebelum keberangkatan, menukar mata uang asing, dan membantu pengguna mendapatkan strategi perjalanan di tempat tujuan secara real time; Alat terjemahan waktu nyata dan banyak lagi.
Menurut laporan, Adegan pintar Xiaoyi baru telah meningkat 3 kali lipat, dan jumlah POI telah meningkat 7 kali lipat, yang dapat mencakup toko katering dan perbelanjaan inti, kawasan bisnis, stasiun kereta api berkecepatan tinggi bandara, dan lainnya skenario.
Seperti kurangnya ingatan, dialog yang membosankan, ketidakpahaman bahasa sehari-hari, dll...
Semua ini tentu saja mendapat berkah dari model besar, tetapi bagaimana Xiaoyi melakukannya?
Xiaoyi merangkul model besar
Model dasar yang diandalkan Xiaoyi adalah Huawei Pangu Series.
Pada Juli tahun ini, Huawei secara resmi merilis Pangu Large Model 3.0, dan mengusulkan arsitektur model tiga lapis.
Di antara mereka, versi terbesar dari model besar dasar lapisan L0 berisi 100 miliar parameter, dan pra-pelatihan menggunakan lebih dari 3 triliun token.
Berdasarkan model besar basis Pangu L0 Huawei, Xiaoyi membangun data adegan dalam jumlah besar untuk skenario konsumen akhir, menyempurnakan model, dan akhirnya menyempurnakan model dialog lapisan L1.
Ini juga dapat mencakup rentang pengetahuan percakapan sehari-hari pengguna biasa, dan dapat meningkatkan faktualitas, kinerja waktu nyata, kepatuhan keamanan, dll. Dalam proses dialog model.
Namun, seperti yang kita semua tahu, model besar sangat menantang dalam penerapan dan respons cepat karena karakteristik berskala besar.
Dalam hal penerapan, Huawei terus meningkatkan kemampuan model skala besar kolaborasi cloud-perangkat. Model besar sisi perangkat dapat melakukan lapisan pra-pemrosesan pada permintaan pengguna dan informasi konteks, lalu mengirimkan permintaan yang telah diproses sebelumnya ke sisi awan.
Keuntungannya adalah tidak hanya dapat memanfaatkan respons cepat model sisi akhir, tetapi juga meningkatkan kualitas Tanya Jawab dan respons melalui model cloud, serta melindungi data privasi pengguna lebih lanjut.
Dalam hal mengurangi penundaan inferensi, Huawei Xiaoyi telah melakukan optimasi rekayasa sistematis, termasuk seluruh tautan dari chip yang mendasarinya, kerangka kerja inferensi, operator model, serta panjang input dan output.
Dengan membongkar penundaan waktu setiap modul, tim R&D mengklarifikasi tujuan pengoptimalan setiap bagian, dan mengurangi penundaan waktu melalui penggabungan operator, pengoptimalan memori, dan pengoptimalan jalur pipa.
Pada saat yang sama, panjang dan panjang keluaran juga akan memengaruhi kecepatan inferensi model besar.
Dalam hal ini, Huawei telah melakukan analisis dan kompresi kata demi kata untuk berbagai skenario dan format keluaran, dan akhirnya menyadari penundaan penalaran dibelah dua.
**Dengan kata lain, biarkan model besar menjadi "otak" dari sistem. **
Logika dasarnya adalah: menetapkan tugas pengguna ke sistem yang sesuai, setiap sistem melakukan tugasnya sendiri, dan pada saat yang sama meningkatkan pengalaman dalam skenario yang kompleks.
Melihat secara khusus pada proses dialog khas Xiaoyi, ini dapat dibagi menjadi tiga langkah:
Langkah pertama adalah menerima pertanyaan pengguna dan menganalisis cara menanganinya berdasarkan pemahaman kontekstual/kemampuan mengingat Xiaoyi.
Langkah kedua, aktifkan berbagai kemampuan sesuai dengan jenis permintaan, termasuk pengambilan layanan meta, pembuatan ide, dan pengambilan pengetahuan.
Jika permintaan yang diprakarsai oleh pengguna melibatkan layanan meta, misalnya, jika dia bertanya tentang restoran terdekat yang dapat digunakan untuk pertemuan, ini melibatkan panggilan layanan APP gourmet. Sistem perlu membuat API, dan terakhir pihak jasa akan memberikan respon berdasarkan mekanisme rekomendasi.
Jika pengguna mengajukan pertanyaan pengetahuan, seperti menanyakan berapa banyak parameter yang dimiliki model Pangu. Pada saat ini, sistem akan memanggil mesin pencari, pengetahuan domain terkait, dan pengetahuan vektor ke kueri, lalu menghasilkan jawaban melalui fusi.
Jika permintaan pengguna adalah tugas generatif, maka model besar dapat memberikan balasan dengan kemampuannya sendiri.
Pada langkah terakhir, semua jawaban yang dihasilkan akan dievaluasi oleh pengendalian risiko dan dikembalikan ke pengguna.
Anda dapat melihat aspek data.
Sejak Xiaoyi online di HarmonyOS pada tahun 2017, dia telah mengumpulkan sejumlah kebiasaan dialog untuk pengguna biasa. Selain itu, Huawei telah membuat korpus besar dari berbagai jenis ekspresi untuk mencakup sebanyak mungkin ekspresi tertulis dan lisan, sehingga model besar dapat mahir dalam berbagai ekspresi selama tahap pra-pelatihan.
Untuk mengevaluasi dan meningkatkan kemampuan Xiaoyi dengan lebih baik, Huawei telah membuat kumpulan data pengujian yang lengkap.
Ini tidak hanya dapat mengevaluasi kemampuan model besar terbuka yang ada, tetapi juga memandu Xiaoyi untuk membangun data dan kemampuan berdasarkan hasil evaluasi.
Saya ingin Xiaoyi menguasai panggilan alat, yang sangat menantang.
Kontrol peralatan memerlukan model besar untuk menghasilkan teks format kompleks dengan ratusan token, dan tidak boleh ada kesalahan format, jika tidak, sistem kontrol pusat tidak akan dapat mengurai dan menghubungkan.
Untuk memungkinkan model besar memenuhi standar generasi seperti itu, Huawei biasanya memahami "temperamen" model besar di satu sisi, dan pada saat yang sama memperkuat kemampuan kode model besar, dan kemudian menyempurnakan formatnya. kemampuan kepatuhan model, dan akhirnya menyadari bahwa ** formatnya hampir 100% sesuai **.
Untuk skenario yang kompleks, metode Xiaoyi adalah menggunakan kemampuan model besar untuk sepenuhnya mempelajari dan memahami skenario alat, lalu bernalar.
Dapat dipahami bahwa tim mengoptimalkan efek kontrol peralatan model dari tidak dapat digunakan sama sekali hingga ketersediaan lebih dari 80%.
Selain itu, Native HarmonyOS juga memungkinkan untuk mengoptimalkan API yang ada, dan melalui adaptasi terbalik ini, keunggulan model besar juga dapat dimanfaatkan dengan lebih baik.
Menghadap ke seluruh pemandangan, tidak terbatas pada terminal seluler
Jadi, mengapa Huawei dapat menerapkan kemampuan model berskala besar ke asisten pintar dengan begitu cepat?
Akumulasi dan penelitian dari penelitian dan pengembangan dasar yang mendasarinya sangat penting, tetapi ada satu hal lagi yang patut diperhatikan——
Huawei memilih untuk memulai dari adegan sebenarnya untuk menentukan cara menggabungkan model besar dengan asisten cerdas dan bahkan seluruh sistem operasi.
Dalam kata-kata Huawei sendiri:
Misalnya, beberapa orang terbiasa mendapatkan berita dalam perjalanan ke dan dari pekerjaan, dan tidak nyaman untuk membaca dan mendengarkan informasi yang terlalu lama, sehingga fungsi ringkasan informasi muncul di Huawei Xiaoyi.
Beberapa orang menemukan bahwa mereka selalu kehabisan kata-kata saat menulis ulasan belanja dan ucapan selamat ulang tahun, sehingga Huawei Xiaoyi menyediakan fungsi copywriting.
Dan fokus pada pengalaman pemandangan ini adalah keuntungan alami dari HarmonyOS.
Sejak kelahirannya, HarmonyOS tidak terbatas pada ponsel, tetapi berorientasi pada berbagai terminal dan semua skenario.
Sekarang telah menciptakan ekologi skenario penuh "1+8+N".
Huawei Xiaoyi juga telah diterapkan pada 1+8 perangkat. Di masa mendatang, ini akan menggabungkan bentuk bisnis dari perangkat dengan skenario penuh dan secara bertahap menerapkan Xiaoyi dengan kemampuan model skala besar untuk pengalaman skenario penuh konsumen.
Menurut laporan, tahun lalu, tim memperhatikan bahwa puluhan miliar model pra-pelatihan yang dikombinasikan dengan teknologi cepat sudah dapat memberikan pemahaman teks dan kemampuan pembuatan yang sangat baik, dan dapat digunakan dalam obrolan ringan, tanya jawab, dan tugas- dialog berbasis
Dengan pecahnya putaran terbaru tren AI, RLHF telah membawa peningkatan signifikan pada model besar, dan pintu pendaratan industri telah dibuka secara resmi.
Sejak kemunculan tren AI generatif tahun ini, banyak aplikasi telah memilih untuk mengakses kemampuan model besar dan asisten pintar bawaan.
Namun, sebagai salah satu produsen sistem operasi terbanyak di dunia, Huawei memilih memotong dari level yang lebih rendah dan menggunakan model besar untuk membentuk ulang OS.
Level yang lebih rendah berarti lebih menyeluruh dan komprehensif.
Namun untuk penelitian dan pengembangan, tantangannya bahkan lebih besar.
Ini tidak hanya membutuhkan basis model yang cukup solid, tetapi juga membutuhkan pengoptimalan fusi tingkat sistem, dan juga mengedepankan persyaratan untuk pemahaman adegan dan persepsi permintaan pengguna.
Sejalan dengan itu, Huawei adalah salah satu pabrikan domestik paling awal dengan kemampuan model skala besar; membangun kemampuan pengembangan AI full-stack; HarmonyOS mencakup 700 juta+ perangkat...
Oleh karena itu, tidak sulit untuk memahami mengapa Huawei Xiaoyi dengan cepat mengakses kemampuan model besar, menjadikan HarmonyOS 4 sebagai sistem operasi pertama yang mengakses sepenuhnya model besar.
Sebagai salah satu sistem operasi yang paling diperhatikan di dunia, HarmonyOS memimpin dalam merangkul model besar, dan mungkin juga membuka paradigma baru, memungkinkan setiap orang membuka ponsel mereka untuk merasakan kemampuan model besar, tidak lagi terbatas pada imajinasi.
Xiaoyi anyar akan diundang untuk menguji pada akhir Agustus tahun ini, dan akan ditingkatkan melalui OTA pada beberapa model yang dilengkapi dengan HarmonyOS 4.0 ke atas nanti.Rencana peningkatan khusus akan diumumkan kemudian.
Jika Anda tertarik dengan sepatu anak-anak, Anda bisa datang dan melihat-lihat~