Pada tanggal 31 Juli, komunitas Llama Tionghoa memimpin penyelesaian model besar Llama2-13B versi Tiongkok pertama di Tiongkok, yang secara signifikan mengoptimalkan dan meningkatkan kemampuan Llama2 Tiongkok dari bagian bawah model. Tidak ada keraguan bahwa Llama2 versi Cina akan membuka era baru model besar dalam negeri setelah dirilis!
| Yang terkuat di dunia, tapi lemah di Tiongkok
Llama2 saat ini merupakan model besar open source yang paling kuat di dunia, namun kemampuannya di Tiongkok perlu segera ditingkatkan.
Sebagai model besar sumber terbuka yang paling kuat di bidang AI, Llama2 telah dilatih sebelumnya berdasarkan 2 triliun data token dan disempurnakan pada 1 juta data berlabel manusia untuk mendapatkan model dialog. Dalam banyak pengujian benchmark termasuk pengujian penalaran, pemrograman, dialog, dan pengetahuan, kinerjanya jauh lebih baik daripada model bahasa besar sumber terbuka seperti MPT, Falcon, dan LLaMA generasi pertama. Ini juga sebanding dengan GPT-3.5 komersial untuk pertama kalinya. , di antara banyak model sumber terbuka. Jadilah unik.
Meskipun data pra-pelatihan Llama2 meningkat dua kali lipat dibandingkan generasi pertama, proporsi data pra-pelatihan bahasa Mandarin masih sangat kecil, hanya 0,13%, yang juga menyebabkan lemahnya kemampuan bahasa Mandarin pada Llama2 asli.
Kami mengajukan beberapa pertanyaan berbahasa Mandarin dan menemukan bahwa dalam banyak kasus, Llama2 tidak dapat menjawab dalam bahasa Mandarin, atau menjawab pertanyaan dalam bentuk campuran bahasa Mandarin dan Inggris. Oleh karena itu, Llama2 perlu dioptimalkan berdasarkan data China skala besar agar Llama2 memiliki kemampuan China yang lebih baik.
Oleh karena itu, tim doktor model skala besar dari universitas ternama di Tiongkok mendirikan komunitas Tionghoa Llama dan memulai perjalanan pelatihan model skala besar Llama2 Tiongkok.
| Komunitas Tionghoa Llama terkemuka
Komunitas Tionghoa Llama adalah komunitas Tionghoa model besar sumber terbuka terkemuka di Tiongkok, dengan Github mencapai 4,7 ribu bintang. Komunitas ini dipimpin oleh tim doktoral dari Universitas Tsinghua, Universitas Jiaotong, dan Universitas Zhejiang, serta menyatukan 60+ insinyur senior di bidang AI bidang dan 2000+ talenta terbaik di berbagai industri.
Tautan komunitas:
Sejarah Komunitas:
| Model Llama2 Tiongkok terlatih pertama!
Bukan perubahan! Sebaliknya, ia dilatih dari awal berdasarkan 200 miliar korpus Tiongkok!
Komunitas Tionghoa Llama adalah yang pertama di Tiongkok yang menyelesaikan model Llama2 13B versi Tiongkok sebenarnya: Llama2-Tiongkok-13B, yang telah sangat mengoptimalkan dan meningkatkan kemampuan Llama2 Tiongkok dari dasar model.
Budaya Tionghoa Llama2 dapat mengadopsi kira-kira dua jalur:
Berdasarkan kumpulan data instruksi bahasa Mandarin yang ada, sempurnakan instruksi model yang telah dilatih sebelumnya sehingga model dasar dapat selaras dengan kemampuan tanya jawab bahasa Mandarin. Keuntungan dari rute ini adalah biaya rendah, sejumlah kecil instruksi untuk menyempurnakan data, lebih sedikit sumber daya komputasi yang dibutuhkan, dan kemampuan untuk mengimplementasikan prototipe Llama Cina dengan cepat.
Namun kekurangannya juga jelas. Penyempurnaan hanya dapat menstimulasi kemampuan bahasa Mandarin yang ada pada model dasar. Namun, karena Llama2 memiliki data pelatihan bahasa Mandarin yang lebih sedikit, kemampuan yang dapat distimulasi juga terbatas. Ini mengatasi gejalanya tetapi tidak mengatasi akarnya. penyebabnya, dan secara mendasar meningkatkan kemampuan bahasa Mandarin model Llama2. Masih perlu memulai dengan pra-pelatihan.
Pra-pelatihan berdasarkan korpus Tiongkok skala besar. Kerugian dari rute ini adalah biayanya yang mahal! Hal ini tidak hanya membutuhkan data Tiongkok berkualitas tinggi dalam skala besar, tetapi juga memerlukan sumber daya komputasi berskala besar. Namun kelebihannya juga jelas, yaitu dapat mengoptimalkan kemampuan Tiongkok dari lapisan bawah model, dan benar-benar mencapai efek menyembuhkan akar permasalahan, menyuntikkan kemampuan Tiongkok yang kuat ke dalam model besar dari intinya!
Untuk mengimplementasikan model besar China yang lengkap dari kernel, kami memilih rute kedua! Kami telah mengumpulkan kumpulan data korpus Tiongkok berkualitas tinggi dan mengoptimalkan model besar Llama2 mulai dari pra-pelatihan. Beberapa data pra pelatihan adalah sebagai berikut:
Data pra-pelatihan model Llama2-China-13B pertama berisi 200 miliar token. Di masa mendatang, kami akan terus memperbarui Llama2-China secara berulang dan secara bertahap meningkatkan data pra-pelatihan menjadi 1T token. Selain itu, kami akan secara bertahap membuka model 70B versi pra-pelatihan Tiongkok, jadi pantau terus!
Kami menanyakan model besar dari berbagai aspek seperti pengetahuan umum, pemahaman bahasa, kemampuan kreatif, penalaran logis, pemrograman kode, keterampilan kerja, dll, dan mendapatkan hasil yang memuaskan!
Sebagian efeknya ditunjukkan di bawah ini:
pengetahuan umum
pemahaman bahasa
Kemampuan kreatif
Penalaran Logis
pemrograman kode
kemampuan bekerja
🏅Rencana Percontohan Komunitas Tionghoa Llama🏅
Berfokus pada pengembangan jangka panjang dan iterasi yang cepat dari komunitas, di satu sisi, hal ini memberikan layanan teknis profesional kepada setiap penggemar AI yang antusias dan ambisius untuk berinvestasi dalam gelombang model besar; di sisi lain, hal ini memungkinkan setiap peserta komunitas dengan cepat Untuk memimpin era pembangunan AI, dan untuk mendapatkan sumber daya dari semua aspek, kami akan meluncurkan tahap pertama Rencana Percontohan Komunitas Tionghoa Llama untuk waktu yang terbatas! Setiap anggota program Espier akan menerima manfaat "7TOP" berikut:
Model ATAS
Bergabunglah untuk mendapatkan hak menggunakan model Llama2-Chinese-13B versi Tiongkok terlatih pertama di Tiongkok (versi yang tidak disempurnakan). Di masa mendatang, kami akan terus meningkatkan kemampuan inti model Tiongkok berdasarkan data berskala lebih besar, dan juga akan memberikan prioritas kepada Setiap anggota program Percontohan menyediakan versi model yang canggih.
Teknologi TERATAS
Dipimpin oleh tim doktoral dari universitas ternama dalam negeri, ini adalah tim teknologi model besar paling profesional. Baik itu masalah teknis paling mutakhir atau analisis teoretis mendalam, kami akan memberi Anda solusi paling mutakhir.
Pelayanan terbaik
Dalam Rencana Percontohan, Anda akan menerima panduan 1V1 yang dipersonalisasi. Kapan pun dan di mana pun Anda memiliki pertanyaan, kami akan segera menjawabnya. Kami berkomitmen untuk memberikan dukungan menyeluruh untuk membantu Anda mengimplementasikan aplikasi model besar Llama2 dengan cepat dan memastikan bahwa Anda berhasil mencapai terobosan teknologi. Jika perusahaan Anda menghadapi masalah terkait model besar, kami juga akan membantu Anda menganalisis dan menyelesaikannya.
Mengajar Atas
Mode pengajaran yang menggabungkan teori dan praktik akan mengarahkan Anda untuk mengapresiasi misteri model besar. Dari analisis teknis model besar hingga penjelasan algoritma dan makalah utama, membangun model besar yang diprivatisasi dari awal, dan pelatihan model industri besar, kami akan mengajari Anda langkah demi langkah untuk mencapai kemajuan teknologi. Garis besar kursusnya adalah sebagai berikut:
gambar
Sumber daya teratas
Kami memiliki komunitas Tionghoa Llama terbesar di Tiongkok, dengan Github menjangkau 4,7 ribu bintang dan mengumpulkan 2.000+ talenta terbaik. Di sini, Anda akan berinteraksi dengan investor AI, CEO wirausaha, dan pemimpin di berbagai industri, serta mencari layanan terpadu seperti kerja sama, investasi, promosi, dan rekrutmen. Cari pekerjaan/mitra/investasikan/jual produk, kami dapat memenuhi kebutuhan Anda. Ini adalah platform emas bagi talenta teknis untuk bertukar pengetahuan dan keterampilan. Anda dapat menemukan pakar terbaik dari semua lapisan masyarakat untuk berkomunikasi dan berdiskusi bersama.
Aktivitas ATAS
Kami tidak hanya mengadakan acara online secara rutin, tetapi juga memberikan presentasi teknis dan pertukaran di acara offline, yang bertujuan untuk memberdayakan berbagai industri berdasarkan model Llama2. Memberi Anda kesempatan untuk berinteraksi langsung dengan para pakar terkemuka, memungkinkan Anda untuk maju berdampingan dengan para pemimpin industri. Apakah Anda seorang pemula teknis atau ahli berpengalaman, kami akan memberi Anda peluang bagus untuk menjelajahi masa depan dengan talenta teknis terbaik dunia!
Kekuatan komputasi tertinggi
Komunitas memberi siswa saluran sumber daya komputasi, memungkinkan mereka untuk menggunakannya dengan harga lebih rendah dari harga pasar. Kami memahami pentingnya daya komputasi bagi perkembangan teknologi dan memberi Anda dukungan daya komputasi yang efisien dan stabil untuk membantu Anda menunjukkan bakat Anda di bidang teknis.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Mengungkap model Llama2 Cina tercanggih di Tiongkok
Penulis: FlagAlpha
Sumber: Komunitas Tionghoa Llama
Perkenalan
| Yang terkuat di dunia, tapi lemah di Tiongkok
Llama2 saat ini merupakan model besar open source yang paling kuat di dunia, namun kemampuannya di Tiongkok perlu segera ditingkatkan.
Sebagai model besar sumber terbuka yang paling kuat di bidang AI, Llama2 telah dilatih sebelumnya berdasarkan 2 triliun data token dan disempurnakan pada 1 juta data berlabel manusia untuk mendapatkan model dialog. Dalam banyak pengujian benchmark termasuk pengujian penalaran, pemrograman, dialog, dan pengetahuan, kinerjanya jauh lebih baik daripada model bahasa besar sumber terbuka seperti MPT, Falcon, dan LLaMA generasi pertama. Ini juga sebanding dengan GPT-3.5 komersial untuk pertama kalinya. , di antara banyak model sumber terbuka. Jadilah unik.
Kami mengajukan beberapa pertanyaan berbahasa Mandarin dan menemukan bahwa dalam banyak kasus, Llama2 tidak dapat menjawab dalam bahasa Mandarin, atau menjawab pertanyaan dalam bentuk campuran bahasa Mandarin dan Inggris. Oleh karena itu, Llama2 perlu dioptimalkan berdasarkan data China skala besar agar Llama2 memiliki kemampuan China yang lebih baik.
| Komunitas Tionghoa Llama terkemuka
Komunitas Tionghoa Llama adalah komunitas Tionghoa model besar sumber terbuka terkemuka di Tiongkok, dengan Github mencapai 4,7 ribu bintang. Komunitas ini dipimpin oleh tim doktoral dari Universitas Tsinghua, Universitas Jiaotong, dan Universitas Zhejiang, serta menyatukan 60+ insinyur senior di bidang AI bidang dan 2000+ talenta terbaik di berbagai industri.
| Model Llama2 Tiongkok terlatih pertama!
Bukan perubahan! Sebaliknya, ia dilatih dari awal berdasarkan 200 miliar korpus Tiongkok!
Komunitas Tionghoa Llama adalah yang pertama di Tiongkok yang menyelesaikan model Llama2 13B versi Tiongkok sebenarnya: Llama2-Tiongkok-13B, yang telah sangat mengoptimalkan dan meningkatkan kemampuan Llama2 Tiongkok dari dasar model.
Budaya Tionghoa Llama2 dapat mengadopsi kira-kira dua jalur:
Namun kekurangannya juga jelas. Penyempurnaan hanya dapat menstimulasi kemampuan bahasa Mandarin yang ada pada model dasar. Namun, karena Llama2 memiliki data pelatihan bahasa Mandarin yang lebih sedikit, kemampuan yang dapat distimulasi juga terbatas. Ini mengatasi gejalanya tetapi tidak mengatasi akarnya. penyebabnya, dan secara mendasar meningkatkan kemampuan bahasa Mandarin model Llama2. Masih perlu memulai dengan pra-pelatihan.
Untuk mengimplementasikan model besar China yang lengkap dari kernel, kami memilih rute kedua! Kami telah mengumpulkan kumpulan data korpus Tiongkok berkualitas tinggi dan mengoptimalkan model besar Llama2 mulai dari pra-pelatihan. Beberapa data pra pelatihan adalah sebagai berikut:
Sebagian efeknya ditunjukkan di bawah ini:
pengetahuan umum
🏅Rencana Percontohan Komunitas Tionghoa Llama🏅
Berfokus pada pengembangan jangka panjang dan iterasi yang cepat dari komunitas, di satu sisi, hal ini memberikan layanan teknis profesional kepada setiap penggemar AI yang antusias dan ambisius untuk berinvestasi dalam gelombang model besar; di sisi lain, hal ini memungkinkan setiap peserta komunitas dengan cepat Untuk memimpin era pembangunan AI, dan untuk mendapatkan sumber daya dari semua aspek, kami akan meluncurkan tahap pertama Rencana Percontohan Komunitas Tionghoa Llama untuk waktu yang terbatas! Setiap anggota program Espier akan menerima manfaat "7TOP" berikut:
Bergabunglah untuk mendapatkan hak menggunakan model Llama2-Chinese-13B versi Tiongkok terlatih pertama di Tiongkok (versi yang tidak disempurnakan). Di masa mendatang, kami akan terus meningkatkan kemampuan inti model Tiongkok berdasarkan data berskala lebih besar, dan juga akan memberikan prioritas kepada Setiap anggota program Percontohan menyediakan versi model yang canggih.
Dipimpin oleh tim doktoral dari universitas ternama dalam negeri, ini adalah tim teknologi model besar paling profesional. Baik itu masalah teknis paling mutakhir atau analisis teoretis mendalam, kami akan memberi Anda solusi paling mutakhir.
Dalam Rencana Percontohan, Anda akan menerima panduan 1V1 yang dipersonalisasi. Kapan pun dan di mana pun Anda memiliki pertanyaan, kami akan segera menjawabnya. Kami berkomitmen untuk memberikan dukungan menyeluruh untuk membantu Anda mengimplementasikan aplikasi model besar Llama2 dengan cepat dan memastikan bahwa Anda berhasil mencapai terobosan teknologi. Jika perusahaan Anda menghadapi masalah terkait model besar, kami juga akan membantu Anda menganalisis dan menyelesaikannya.
Mode pengajaran yang menggabungkan teori dan praktik akan mengarahkan Anda untuk mengapresiasi misteri model besar. Dari analisis teknis model besar hingga penjelasan algoritma dan makalah utama, membangun model besar yang diprivatisasi dari awal, dan pelatihan model industri besar, kami akan mengajari Anda langkah demi langkah untuk mencapai kemajuan teknologi. Garis besar kursusnya adalah sebagai berikut:
gambar
Kami memiliki komunitas Tionghoa Llama terbesar di Tiongkok, dengan Github menjangkau 4,7 ribu bintang dan mengumpulkan 2.000+ talenta terbaik. Di sini, Anda akan berinteraksi dengan investor AI, CEO wirausaha, dan pemimpin di berbagai industri, serta mencari layanan terpadu seperti kerja sama, investasi, promosi, dan rekrutmen. Cari pekerjaan/mitra/investasikan/jual produk, kami dapat memenuhi kebutuhan Anda. Ini adalah platform emas bagi talenta teknis untuk bertukar pengetahuan dan keterampilan. Anda dapat menemukan pakar terbaik dari semua lapisan masyarakat untuk berkomunikasi dan berdiskusi bersama.
Kami tidak hanya mengadakan acara online secara rutin, tetapi juga memberikan presentasi teknis dan pertukaran di acara offline, yang bertujuan untuk memberdayakan berbagai industri berdasarkan model Llama2. Memberi Anda kesempatan untuk berinteraksi langsung dengan para pakar terkemuka, memungkinkan Anda untuk maju berdampingan dengan para pemimpin industri. Apakah Anda seorang pemula teknis atau ahli berpengalaman, kami akan memberi Anda peluang bagus untuk menjelajahi masa depan dengan talenta teknis terbaik dunia!
Komunitas memberi siswa saluran sumber daya komputasi, memungkinkan mereka untuk menggunakannya dengan harga lebih rendah dari harga pasar. Kami memahami pentingnya daya komputasi bagi perkembangan teknologi dan memberi Anda dukungan daya komputasi yang efisien dan stabil untuk membantu Anda menunjukkan bakat Anda di bidang teknis.