Resim kaynağı: Sınırsız Yapay Zeka tarafından oluşturulmuştur
giriiş
31 Temmuz'da Çin Llama topluluğu, Llama2-13B'nin Çin versiyonunun yerel anlamda ilk büyük modelini tamamlamada liderliği ele geçirdi; bu, modelin temelinden itibaren Llama2'nin Çince yeteneğini büyük ölçüde optimize etti ve geliştirdi. Llama2'nin Çin versiyonunun piyasaya sürülmesiyle yerli büyük modellerde yeni bir çağ açacağına şüphe yok!
| Dünyanın en güçlüsü ama Çince'de zayıf
Llama2 şu anda dünyadaki en güçlü açık kaynaklı büyük model, ancak Çin yeteneğinin acilen geliştirilmesi gerekiyor
Yapay zeka alanındaki en güçlü açık kaynaklı büyük model olan Llama2, bir diyalog modeli elde etmek için 2 trilyon token verisine dayalı olarak önceden eğitilmiş ve 1 milyon insan etiketli veriye ince ayar yapılmıştır. Muhakeme, programlama, diyalog ve bilgi testi de dahil olmak üzere birçok kıyaslama testinde performans, MPT, Falcon ve birinci nesil LLaMA gibi açık kaynaklı büyük dil modellerinden önemli ölçüde daha iyidir ve aynı zamanda ilk kez ticari GPT-3.5 ile karşılaştırılabilir. Birçok açık kaynaklı model arasında benzersizdir.
Her ne kadar Llama2'nin eğitim öncesi verileri ilk nesle kıyasla iki katına çıkmış olsa da, Çin'in eğitim öncesi verilerinin oranı hala çok küçük, yalnızca %0,13'e tekabül ediyor ve bu da orijinal Llama2'nin Çince yeteneğinin zayıf olmasına yol açıyor.
Bazı soruları Çince sorduk ve çoğu durumda Llama2'nin soruları Çince yanıtlayamadığını veya soruları Çince ve İngilizce karışık biçimde yanıtladığını gördük. Bu nedenle, Llama2'nin daha iyi Çince yeteneklerine sahip olması için Llama2'nin büyük ölçekli Çin verilerine göre optimize edilmesi gerekiyor.
Bu nedenle Çin'deki en iyi üniversitelerin büyük ölçekli model doktora ekibi, Llama Çin topluluğunu kurdu ve Llama2 Çin büyük ölçekli modelinin eğitim yolculuğuna başladı.
| Lama'nın önde gelen Çin topluluğu
Llama Çin topluluğu, Github'un 4,7 bin yıldıza ulaşmasıyla Çin'deki önde gelen açık kaynaklı büyük model Çin topluluğudur. Tsinghua Üniversitesi, Jiaotong Üniversitesi ve Zhejiang Üniversitesi'nden doktora ekipleri tarafından yönetilmektedir ve yapay zeka alanında 60'tan fazla kıdemli mühendisi bir araya getirmektedir. saha ve çeşitli sektörlerde 2000'den fazla üst düzey yetenek.
Topluluk bağlantısı:
Topluluk Tarihi:
| İlk önceden eğitilmiş Çin Llama2 büyük modeli!
Dönücü değil! Bunun yerine, 200B Çin külliyatı temel alınarak sıfırdan eğitilmiştir!
Llama Çin topluluğu, Çin'de 13B Llama2 modelinin gerçek Çince versiyonunu tamamlayan ilk topluluktur: Llama2-Chinese-13B, Llama2'nin Çince yeteneklerini modelin alt kısmından büyük ölçüde optimize etmiş ve geliştirmiştir.
Llama2'nin Çin kültürü kabaca iki yolu izleyebilir:
Mevcut Çince talimat veri setine dayanarak, önceden eğitilmiş modelin talimatlarında ince ayar yapın, böylece temel model Çince soru ve cevap yetenekleriyle uyumlu hale getirilebilir. Bu rotanın avantajları arasında düşük maliyet, verilerin ince ayarının az miktarda yapılması, daha az bilgi işlem gücü kaynağının gerekli olması ve Çin Laması prototipinin hızlı bir şekilde hayata geçirilebilmesi yer alıyor.
Ancak eksiklikler de açıktır. İnce ayar, yalnızca temel modelin mevcut Çince yeteneğini teşvik edebilir, ancak Llama2'nin kendisi daha az Çince eğitim verisine sahip olduğundan, uyarılma yeteneği de sınırlıdır. Yine de ön eğitimle başlamanız gerekir. .
Büyük ölçekli Çin külliyatına dayanan ön eğitim. Bu rotanın dezavantajı yüksek maliyettir! Yalnızca büyük ölçekli, yüksek kaliteli Çin verilerine ihtiyaç duymakla kalmıyor, aynı zamanda büyük ölçekli bilgi işlem kaynaklarına da ihtiyaç duyuyor. Ancak avantajları da açıktır; yani, Çin yeteneğini modelin alt katmanından optimize edebilir ve güçlü Çin yeteneğini çekirdekten büyük modele enjekte ederek temel nedeni iyileştirme etkisine gerçekten ulaşabilir!
Çekirdekten kapsamlı bir Çin büyük modeli gerçekleştirmek için ikinci yolu seçtik! Bir dizi yüksek kaliteli Çin derlem veri seti topladık ve Llama2 büyük modelini eğitim öncesinden başlayarak optimize ettik. Eğitim öncesi verilerden bazıları şöyle:
İlk Llama2-Chinese-13B modelinin eğitim öncesi verileri 200B token içeriyor. Gelecekte, Llama2-Chinese'i yinelemeli olarak güncellemeye devam edeceğiz ve ön eğitim verilerini kademeli olarak 1T token'a çıkaracağız. Ayrıca 70B modelinin Çince eğitim öncesi versiyonunu da kademeli olarak açacağız, bizi takip etmeye devam edin!
Büyük modeli genel bilgi, dil anlayışı, yaratıcı yetenek, mantıksal akıl yürütme, kod programlama, iş becerileri vb. gibi farklı yönlerden sorguladık ve tatmin edici sonuçlar aldık!
Bazı efektler aşağıda gösterilmektedir:
Genel Bilgi
dili anlama
Yaratıcı yetenek
Mantıksal akıl yürütme
Kod Programlama
çalışma yeteneği
🏅Llama Çin Topluluğu Pilot Planı🏅
Topluluğun uzun vadeli gelişimine ve hızlı bir şekilde yinelenmesine odaklanarak, bir yandan büyük modeller dalgasına yatırım yapma konusunda hevesli ve hırslı olan her AI meraklısına profesyonel teknik hizmetler sağlar; diğer yandan her topluluk katılımcısının hızla Gelişen yapay zeka çağında liderliği ele geçirmek ve her açıdan kaynak elde etmek için, sınırlı bir süre için Lama Çin topluluğu pilot planının ilk aşamasını başlatıyoruz! Pilot Planın her üyesi aşağıdaki “7TOP” avantajlarından yararlanacaktır:
Model ÜST
Katılarak, Llama2-Chinese-13B modelinin Çin'deki ilk önceden eğitilmiş Çince versiyonunu (ince ayarlanmamış versiyon) kullanma hakkını elde edebilirsiniz ve gelecekte Çin'in Çin yeteneğini geliştirmeye devam edeceğiz. model çekirdeği daha büyük ölçekli verilere dayalı olacak ve ayrıca öncelik verilecek. Pilot Programın her üyesi modelin en gelişmiş versiyonunu sağlıyor.
Teknoloji ÜST
En profesyonel büyük ölçekli model teknik ekibi, en iyi yerli üniversitelerden bir doktora ekibi tarafından yönetilmektedir. İster en ileri teknik konular, isterse derinlemesine teorik analiz olsun, size en ileri çözümleri sunacağız.
Hizmet ÜST
Espier programında kişiselleştirilmiş 1V1 rehberliği alacaksınız, ne zaman ve nerede olursanız olun, sorularınız olduğu sürece zamanında yanıtlayacağız. Llama2 büyük modellerinin uygulamasını hızlı bir şekilde gerçekleştirmenize ve teknolojik atılımları sorunsuz bir şekilde gerçekleştirmenize yardımcı olmak için çok yönlü destek sağlamaya kararlıyız. Firmanız büyük modellerle ilgili sorunlarla karşılaşırsa bunları analiz etmenize ve çözmenize de yardımcı olacağız.
TOP'u öğretmek
Teori ve pratiği birleştiren öğretim modu, büyük modellerin gizemlerini anlamanızı sağlayacaktır. Büyük modellerin teknik analizinden anahtar algoritmaların ve belgelerin açıklamalarına, özelleştirilmiş büyük modellerin sıfırdan oluşturulmasına ve büyük endüstri modelleri üzerine eğitime kadar, size teknolojik ilerlemeyi nasıl başaracağınızı adım adım öğreteceğiz. Dersin ana hatları aşağıdaki gibidir:
resim
Kaynak ÜST
Github'un 4,7 bin yıldıza ulaşması ve 2.000'den fazla üst düzey yeteneği bir araya getirmesiyle Çin'deki en büyük Lama Çinli topluluğuna sahibiz. Burada işbirliği, yatırım, tanıtım ve işe alım gibi tek elden hizmetler aramak için yapay zeka yatırımcıları, girişimci CEO'lar ve sektör liderleriyle iletişim kuracaksınız. İş bulun/ortak olun/yatırım yapın/ürün satın, ihtiyaçlarınızı karşılayabiliriz. Burası teknik yeteneklerin bilgi ve beceri alışverişinde bulunabileceği altın bir platformdur. Birlikte iletişim kurmak ve tartışmak için hayatın her kesiminden en iyi uzmanları bulabilirsiniz.
Etkinlik ÜST
Yalnızca düzenli çevrimiçi etkinlikler düzenlemekle kalmıyoruz, aynı zamanda Llama2 modeline dayalı olarak çeşitli sektörleri güçlendirmeyi amaçlayan çevrimdışı etkinliklerde teknik sunumlar ve fikir alışverişleri de sağlıyoruz. Size üst düzey uzmanlarla doğrudan etkileşim kurma fırsatı sunarak sektör liderleriyle yan yana ilerlemenize olanak tanır. İster teknik açıdan çaylak ister deneyimli bir uzman olun, dünyanın en iyi teknik yetenekleriyle geleceği keşfetmeniz için size mükemmel bir fırsat sunacağız!
En yüksek bilgi işlem gücü
Topluluk, öğrencilere bilgi işlem kaynağı kanalları sağlayarak bunları piyasa fiyatlarından daha düşük fiyatlarla kullanmanıza olanak tanır. Bilgi işlem gücünün teknolojik gelişim açısından önemini anlıyor ve teknik alanda yeteneklerinizi göstermenize yardımcı olmak için size verimli ve istikrarlı bilgi işlem gücü desteği sağlıyoruz.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Çin'deki en gelişmiş Llama2 Çin modelini tanıtıyoruz
Yazar: FlagAlpha
Kaynak: Lama Çin Topluluğu
giriiş
| Dünyanın en güçlüsü ama Çince'de zayıf
Llama2 şu anda dünyadaki en güçlü açık kaynaklı büyük model, ancak Çin yeteneğinin acilen geliştirilmesi gerekiyor
Yapay zeka alanındaki en güçlü açık kaynaklı büyük model olan Llama2, bir diyalog modeli elde etmek için 2 trilyon token verisine dayalı olarak önceden eğitilmiş ve 1 milyon insan etiketli veriye ince ayar yapılmıştır. Muhakeme, programlama, diyalog ve bilgi testi de dahil olmak üzere birçok kıyaslama testinde performans, MPT, Falcon ve birinci nesil LLaMA gibi açık kaynaklı büyük dil modellerinden önemli ölçüde daha iyidir ve aynı zamanda ilk kez ticari GPT-3.5 ile karşılaştırılabilir. Birçok açık kaynaklı model arasında benzersizdir.
Bazı soruları Çince sorduk ve çoğu durumda Llama2'nin soruları Çince yanıtlayamadığını veya soruları Çince ve İngilizce karışık biçimde yanıtladığını gördük. Bu nedenle, Llama2'nin daha iyi Çince yeteneklerine sahip olması için Llama2'nin büyük ölçekli Çin verilerine göre optimize edilmesi gerekiyor.
| Lama'nın önde gelen Çin topluluğu
Llama Çin topluluğu, Github'un 4,7 bin yıldıza ulaşmasıyla Çin'deki önde gelen açık kaynaklı büyük model Çin topluluğudur. Tsinghua Üniversitesi, Jiaotong Üniversitesi ve Zhejiang Üniversitesi'nden doktora ekipleri tarafından yönetilmektedir ve yapay zeka alanında 60'tan fazla kıdemli mühendisi bir araya getirmektedir. saha ve çeşitli sektörlerde 2000'den fazla üst düzey yetenek.
| İlk önceden eğitilmiş Çin Llama2 büyük modeli!
Dönücü değil! Bunun yerine, 200B Çin külliyatı temel alınarak sıfırdan eğitilmiştir!
Llama Çin topluluğu, Çin'de 13B Llama2 modelinin gerçek Çince versiyonunu tamamlayan ilk topluluktur: Llama2-Chinese-13B, Llama2'nin Çince yeteneklerini modelin alt kısmından büyük ölçüde optimize etmiş ve geliştirmiştir.
Llama2'nin Çin kültürü kabaca iki yolu izleyebilir:
Ancak eksiklikler de açıktır. İnce ayar, yalnızca temel modelin mevcut Çince yeteneğini teşvik edebilir, ancak Llama2'nin kendisi daha az Çince eğitim verisine sahip olduğundan, uyarılma yeteneği de sınırlıdır. Yine de ön eğitimle başlamanız gerekir. .
Çekirdekten kapsamlı bir Çin büyük modeli gerçekleştirmek için ikinci yolu seçtik! Bir dizi yüksek kaliteli Çin derlem veri seti topladık ve Llama2 büyük modelini eğitim öncesinden başlayarak optimize ettik. Eğitim öncesi verilerden bazıları şöyle:
Bazı efektler aşağıda gösterilmektedir:
Genel Bilgi
🏅Llama Çin Topluluğu Pilot Planı🏅
Topluluğun uzun vadeli gelişimine ve hızlı bir şekilde yinelenmesine odaklanarak, bir yandan büyük modeller dalgasına yatırım yapma konusunda hevesli ve hırslı olan her AI meraklısına profesyonel teknik hizmetler sağlar; diğer yandan her topluluk katılımcısının hızla Gelişen yapay zeka çağında liderliği ele geçirmek ve her açıdan kaynak elde etmek için, sınırlı bir süre için Lama Çin topluluğu pilot planının ilk aşamasını başlatıyoruz! Pilot Planın her üyesi aşağıdaki “7TOP” avantajlarından yararlanacaktır:
Katılarak, Llama2-Chinese-13B modelinin Çin'deki ilk önceden eğitilmiş Çince versiyonunu (ince ayarlanmamış versiyon) kullanma hakkını elde edebilirsiniz ve gelecekte Çin'in Çin yeteneğini geliştirmeye devam edeceğiz. model çekirdeği daha büyük ölçekli verilere dayalı olacak ve ayrıca öncelik verilecek. Pilot Programın her üyesi modelin en gelişmiş versiyonunu sağlıyor.
En profesyonel büyük ölçekli model teknik ekibi, en iyi yerli üniversitelerden bir doktora ekibi tarafından yönetilmektedir. İster en ileri teknik konular, isterse derinlemesine teorik analiz olsun, size en ileri çözümleri sunacağız.
Espier programında kişiselleştirilmiş 1V1 rehberliği alacaksınız, ne zaman ve nerede olursanız olun, sorularınız olduğu sürece zamanında yanıtlayacağız. Llama2 büyük modellerinin uygulamasını hızlı bir şekilde gerçekleştirmenize ve teknolojik atılımları sorunsuz bir şekilde gerçekleştirmenize yardımcı olmak için çok yönlü destek sağlamaya kararlıyız. Firmanız büyük modellerle ilgili sorunlarla karşılaşırsa bunları analiz etmenize ve çözmenize de yardımcı olacağız.
Teori ve pratiği birleştiren öğretim modu, büyük modellerin gizemlerini anlamanızı sağlayacaktır. Büyük modellerin teknik analizinden anahtar algoritmaların ve belgelerin açıklamalarına, özelleştirilmiş büyük modellerin sıfırdan oluşturulmasına ve büyük endüstri modelleri üzerine eğitime kadar, size teknolojik ilerlemeyi nasıl başaracağınızı adım adım öğreteceğiz. Dersin ana hatları aşağıdaki gibidir:
resim
Github'un 4,7 bin yıldıza ulaşması ve 2.000'den fazla üst düzey yeteneği bir araya getirmesiyle Çin'deki en büyük Lama Çinli topluluğuna sahibiz. Burada işbirliği, yatırım, tanıtım ve işe alım gibi tek elden hizmetler aramak için yapay zeka yatırımcıları, girişimci CEO'lar ve sektör liderleriyle iletişim kuracaksınız. İş bulun/ortak olun/yatırım yapın/ürün satın, ihtiyaçlarınızı karşılayabiliriz. Burası teknik yeteneklerin bilgi ve beceri alışverişinde bulunabileceği altın bir platformdur. Birlikte iletişim kurmak ve tartışmak için hayatın her kesiminden en iyi uzmanları bulabilirsiniz.
Yalnızca düzenli çevrimiçi etkinlikler düzenlemekle kalmıyoruz, aynı zamanda Llama2 modeline dayalı olarak çeşitli sektörleri güçlendirmeyi amaçlayan çevrimdışı etkinliklerde teknik sunumlar ve fikir alışverişleri de sağlıyoruz. Size üst düzey uzmanlarla doğrudan etkileşim kurma fırsatı sunarak sektör liderleriyle yan yana ilerlemenize olanak tanır. İster teknik açıdan çaylak ister deneyimli bir uzman olun, dünyanın en iyi teknik yetenekleriyle geleceği keşfetmeniz için size mükemmel bir fırsat sunacağız!
Topluluk, öğrencilere bilgi işlem kaynağı kanalları sağlayarak bunları piyasa fiyatlarından daha düşük fiyatlarla kullanmanıza olanak tanır. Bilgi işlem gücünün teknolojik gelişim açısından önemini anlıyor ve teknik alanda yeteneklerinizi göstermenize yardımcı olmak için size verimli ve istikrarlı bilgi işlem gücü desteği sağlıyoruz.