في 31 يوليو، أخذ مجتمع اللاما الصيني زمام المبادرة في استكمال أول نموذج كبير من النسخة الصينية من Llama2-13B بالمعنى المحلي، مما أدى إلى تحسين وتحسين قدرة Llama2 الصينية بشكل كبير من أسفل النموذج. مما لا شك فيه أنه بمجرد إصدار النسخة الصينية من Llama2، فإنها ستفتح حقبة جديدة من النماذج واسعة النطاق في الصين!
| الأقوى في العالم لكن الصيني قصير
يعد Llama2 حاليًا أقوى نموذج كبير مفتوح المصدر في العالم، لكن قدرته الصينية تحتاج إلى تحسين بشكل عاجل
باعتباره أقوى نموذج كبير مفتوح المصدر في مجال الذكاء الاصطناعي، تم تدريب Llama2 مسبقًا استنادًا إلى 2 تريليون بيانات رمزية وتم ضبطه بدقة على مليون بيانات مصنفة بشريًا للحصول على نموذج حوار. في العديد من الاختبارات المعيارية بما في ذلك اختبار التفكير والبرمجة والحوار والمعرفة، يكون الأداء أفضل بكثير من نماذج اللغات الكبيرة مفتوحة المصدر مثل MPT وFalcon والجيل الأول من LLaMA، كما أنه يمكن مقارنته بـ GPT-3.5 التجاري لأول مرة. ، من بين العديد من النماذج مفتوحة المصدر. كن فريدًا.
على الرغم من أن بيانات ما قبل التدريب لـ Llama2 قد تضاعفت مقارنة بالجيل الأول، إلا أن نسبة بيانات ما قبل التدريب الصينية لا تزال صغيرة جدًا، حيث تمثل 0.13% فقط، مما يؤدي أيضًا إلى ضعف القدرة الصينية لـ Llama2 الأصلي.
لقد طرحنا بعض الأسئلة باللغة الصينية ووجدنا أنه في معظم الحالات لم يتمكن Llama2 من الإجابة باللغة الصينية، أو الإجابة على الأسئلة في شكل مختلط من اللغتين الصينية والإنجليزية. لذلك، من الضروري تحسين Llama2 استنادًا إلى البيانات الصينية واسعة النطاق، بحيث يتمتع Llama2 بقدرة صينية أفضل.
ولهذا السبب، قام فريق الدكتوراه النموذجي واسع النطاق من أفضل الجامعات في الصين بتأسيس مجتمع اللاما الصيني وبدأ رحلة التدريب على نموذج Llama2 الصيني واسع النطاق.
| مجتمع اللاما الصيني الرائد
مجتمع اللاما الصيني هو المجتمع الصيني النموذجي الكبير والمفتوح المصدر الرائد في الصين، حيث يصل عدد نجوم Github إلى 4.7 ألف نجم، وتقوده فرق دكتوراه من جامعة تسينغهوا، وجامعة جياوتونغ، وجامعة تشجيانغ، ويجمع أكثر من 60 من كبار المهندسين في الذكاء الاصطناعي المجال وأكثر من 2000+ من أفضل المواهب في مختلف الصناعات.
روابط المجتمع:
تاريخ المجتمع:
| أول نموذج Llama2 صيني كبير تم تدريبه مسبقًا!
ليس قرص! بدلاً من ذلك، تم تدريبه من الصفر بناءً على 200 مليار نسخة صينية!
مجتمع اللاما الصيني هو الأول في الصين الذي أكمل النسخة الصينية الحقيقية من نموذج 13B Llama2: Llama2-Chinese-13B، والذي يعمل بشكل كبير على تحسين وتحسين قدرة Llama2 الصينية من أسفل النموذج.
يمكن لثقافة Llama2 الصينية أن تتبنى طريقين تقريبًا:
استنادًا إلى مجموعة بيانات التعليمات الصينية الحالية، قم بضبط تعليمات نموذج ما قبل التدريب، بحيث يمكن للنموذج الأساسي أن يتماشى مع قدرة الأسئلة والأجوبة الصينية. تتمثل ميزة هذا المسار في أن التكلفة منخفضة، وكمية بيانات الضبط الدقيق للتعليمات صغيرة، وموارد الطاقة الحاسوبية المطلوبة صغيرة، ويمكنه تحقيق النموذج الأولي لللاما الصينية بسرعة.
لكن أوجه القصور واضحة أيضًا. فالضبط الدقيق لا يمكن إلا أن يحفز القدرة الصينية الحالية للنموذج الأساسي. ومع ذلك، نظرًا لأن Llama2 لديه بيانات تدريب صينية أقل، فإن القدرة التي يمكن تحفيزها محدودة أيضًا. فهو يعالج الأعراض ولكن ليس الجذر. السبب، ويعزز بشكل أساسي القدرة الصينية لنموذج Llama2. لا تزال هناك حاجة للبدء بالتدريب المسبق.
التدريب المسبق على أساس مجموعة صينية واسعة النطاق. عيب هذا الطريق هو التكلفة العالية! فهي لا تتطلب بيانات صينية عالية الجودة وواسعة النطاق فحسب، بل تتطلب أيضًا موارد حوسبة واسعة النطاق. لكن الميزة واضحة أيضًا، وهي أنه يمكنها تحسين القدرات الصينية من أسفل النموذج، وتحقيق السبب الجذري للمشكلة حقًا، وحقن القدرات الصينية القوية في النماذج الكبيرة من القلب!
ولتنفيذ نموذج صيني كبير كامل من النواة اخترنا الطريق الثاني! لقد قمنا بتجميع مجموعة من مجموعات البيانات الصينية عالية الجودة وقمنا بتحسين نموذج Llama2 الكبير بدءًا من التدريب المسبق. بعض بيانات ما قبل التدريب هي كما يلي:
تحتوي بيانات ما قبل التدريب لنموذج Llama2-Chinese-13B الأول على 200B من الرموز المميزة، وفي المستقبل، سنستمر في تحديث Llama2-Chinese بشكل متكرر وزيادة بيانات ما قبل التدريب تدريجيًا إلى 1T من الرموز المميزة. بالإضافة إلى ذلك، سنفتح تدريجيًا النسخة الصينية قبل التدريب من طراز 70B، لذا ترقبوا ذلك!
لقد شككنا في النموذج الكبير من جوانب مختلفة مثل المعرفة العامة، وفهم اللغة، والقدرة الإبداعية، والتفكير المنطقي، وبرمجة التعليمات البرمجية، ومهارات العمل، وما إلى ذلك، وحصلنا على نتائج مرضية!
جزء من التأثيرات موضحة أدناه:
معرفة عامة
** فهم اللغة **
** القدرة الإبداعية **
التفكير المنطقي
برمجة الكود
القدرة على العمل
🏅الخطة التجريبية لمجتمع اللاما الصيني🏅
من خلال التركيز على التطوير طويل المدى والتكرار السريع للمجتمع، من ناحية، فإنه يوفر خدمات تقنية احترافية لكل متحمس للذكاء الاصطناعي متحمس وطموح للاستثمار في موجة النماذج الكبيرة؛ من ناحية أخرى، فهو يسمح لكل شخص مشارك مجتمعي سريعًا لأخذ زمام المبادرة في عصر الذكاء الاصطناعي المتطور والحصول على الموارد من جميع الجوانب، نطلق المرحلة الأولى من الخطة التجريبية لمجتمع اللاما الصيني لفترة محدودة! سيحصل كل عضو في الخطة التجريبية على مزايا "7TOP" التالية:
موديل توب
انضم للحصول على حق استخدام أول نسخة صينية مدربة مسبقًا من طراز Llama2-Chinese-13B في الصين (نسخة غير مضبوطة). في المستقبل، سنواصل تعزيز القدرات الصينية لنواة النموذج استنادًا إلى بيانات واسعة النطاق، كما ستعطي الأولوية لكل عضو في البرنامج التجريبي الذي يوفر الإصدار الأكثر تقدمًا من النماذج.
التكنولوجيا أعلى
بقيادة فريق دكتوراه من أفضل الجامعات المحلية، فهو فريق تكنولوجيا النماذج الكبيرة الأكثر احترافًا. سواء كان الأمر يتعلق بأحدث المشكلات التقنية أو التحليل النظري المتعمق، فسوف نقدم لك أحدث الحلول.
أعلى خدمة
في الخطة التجريبية، ستتلقى إرشادات شخصية 1V1. كلما وأينما كانت لديك أسئلة، سنجيب عليها على الفور. نحن ملتزمون بتقديم الدعم الشامل لمساعدتك في تنفيذ تطبيقات النماذج الكبيرة Llama2 بسرعة والتأكد من نجاحك في تحقيق الاختراقات التكنولوجية. إذا واجهت شركتك مشكلات تتعلق بالنماذج الكبيرة، فسنساعدك أيضًا على تحليلها وحلها.
تعليم القمة
سيقودك وضع التدريس الذي يجمع بين النظرية والقتال الفعلي إلى تقدير أسرار النماذج الكبيرة. بدءًا من التحليل الفني للنماذج الكبيرة وحتى شرح الخوارزميات والأوراق الرئيسية، وبناء نماذج كبيرة مخصخصة من الصفر، والتدريب على نماذج الصناعة الكبيرة، سنعلمك خطوة بخطوة لتحقيق التقدم التكنولوجي. مخطط الدورة هو كما يلي:
صورة
أعلى الموارد
لدينا أكبر مجتمع للاما الصينية في الصين، حيث يصل عدد نجوم Github إلى 4.7 ألف نجم ويجمع أكثر من 2000 من أفضل المواهب. هنا، سوف تتواصل مع مستثمري الذكاء الاصطناعي والمديرين التنفيذيين لرجال الأعمال وقادة الصناعة للحصول على خدمات شاملة مثل التعاون والاستثمار والترويج والتوظيف. ابحث عن وظيفة/شريك/استثمر/بيع المنتجات، يمكننا تلبية احتياجاتك. هذه منصة ذهبية للمواهب التقنية لتبادل المعرفة والمهارات، حيث يمكنك العثور على أفضل الخبراء من جميع مناحي الحياة للتواصل والمناقشة معًا.
الأنشطة الأعلى
نحن لا نقيم أحداثًا منتظمة عبر الإنترنت فحسب، بل نقدم أيضًا عروضًا تقديمية وتبادلات فنية في الأحداث غير المتصلة بالإنترنت، بهدف تمكين الصناعات المختلفة بناءً على نموذج Llama2. نوفر لك الفرصة للتفاعل مباشرة مع كبار الخبراء، مما يسمح لك بالمضي قدمًا جنبًا إلى جنب مع قادة الصناعة. سواء كنت مبتدئًا تقنيًا أو بقرة كبيرة ذات خبرة، فسوف نوفر لك فرصة ممتازة للبحث عن المستقبل مع أفضل المواهب التقنية في العالم!
أعلى قوة حاسوبية
يوفر المجتمع للطلاب قنوات موارد الحوسبة، مما يسمح لك باستخدامها بأسعار أقل من أسعار السوق. نحن ندرك أهمية قوة الحوسبة في التطور التكنولوجي ونقدم لك دعمًا فعالاً ومستقرًا لقوة الحوسبة لمساعدتك في إظهار مواهبك في المجال التقني.
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
إزالة الغموض عن النموذج الصيني الكبير Llama2 الأكثر تقدمًا في الصين
** المؤلف: فلاج ألفا **
المصدر: مجتمع اللاما الصيني
مقدمة
| الأقوى في العالم لكن الصيني قصير
يعد Llama2 حاليًا أقوى نموذج كبير مفتوح المصدر في العالم، لكن قدرته الصينية تحتاج إلى تحسين بشكل عاجل
باعتباره أقوى نموذج كبير مفتوح المصدر في مجال الذكاء الاصطناعي، تم تدريب Llama2 مسبقًا استنادًا إلى 2 تريليون بيانات رمزية وتم ضبطه بدقة على مليون بيانات مصنفة بشريًا للحصول على نموذج حوار. في العديد من الاختبارات المعيارية بما في ذلك اختبار التفكير والبرمجة والحوار والمعرفة، يكون الأداء أفضل بكثير من نماذج اللغات الكبيرة مفتوحة المصدر مثل MPT وFalcon والجيل الأول من LLaMA، كما أنه يمكن مقارنته بـ GPT-3.5 التجاري لأول مرة. ، من بين العديد من النماذج مفتوحة المصدر. كن فريدًا.
لقد طرحنا بعض الأسئلة باللغة الصينية ووجدنا أنه في معظم الحالات لم يتمكن Llama2 من الإجابة باللغة الصينية، أو الإجابة على الأسئلة في شكل مختلط من اللغتين الصينية والإنجليزية. لذلك، من الضروري تحسين Llama2 استنادًا إلى البيانات الصينية واسعة النطاق، بحيث يتمتع Llama2 بقدرة صينية أفضل.
| مجتمع اللاما الصيني الرائد
مجتمع اللاما الصيني هو المجتمع الصيني النموذجي الكبير والمفتوح المصدر الرائد في الصين، حيث يصل عدد نجوم Github إلى 4.7 ألف نجم، وتقوده فرق دكتوراه من جامعة تسينغهوا، وجامعة جياوتونغ، وجامعة تشجيانغ، ويجمع أكثر من 60 من كبار المهندسين في الذكاء الاصطناعي المجال وأكثر من 2000+ من أفضل المواهب في مختلف الصناعات.
| أول نموذج Llama2 صيني كبير تم تدريبه مسبقًا!
ليس قرص! بدلاً من ذلك، تم تدريبه من الصفر بناءً على 200 مليار نسخة صينية!
مجتمع اللاما الصيني هو الأول في الصين الذي أكمل النسخة الصينية الحقيقية من نموذج 13B Llama2: Llama2-Chinese-13B، والذي يعمل بشكل كبير على تحسين وتحسين قدرة Llama2 الصينية من أسفل النموذج.
يمكن لثقافة Llama2 الصينية أن تتبنى طريقين تقريبًا:
لكن أوجه القصور واضحة أيضًا. فالضبط الدقيق لا يمكن إلا أن يحفز القدرة الصينية الحالية للنموذج الأساسي. ومع ذلك، نظرًا لأن Llama2 لديه بيانات تدريب صينية أقل، فإن القدرة التي يمكن تحفيزها محدودة أيضًا. فهو يعالج الأعراض ولكن ليس الجذر. السبب، ويعزز بشكل أساسي القدرة الصينية لنموذج Llama2. لا تزال هناك حاجة للبدء بالتدريب المسبق.
ولتنفيذ نموذج صيني كبير كامل من النواة اخترنا الطريق الثاني! لقد قمنا بتجميع مجموعة من مجموعات البيانات الصينية عالية الجودة وقمنا بتحسين نموذج Llama2 الكبير بدءًا من التدريب المسبق. بعض بيانات ما قبل التدريب هي كما يلي:
جزء من التأثيرات موضحة أدناه:
معرفة عامة
🏅الخطة التجريبية لمجتمع اللاما الصيني🏅
من خلال التركيز على التطوير طويل المدى والتكرار السريع للمجتمع، من ناحية، فإنه يوفر خدمات تقنية احترافية لكل متحمس للذكاء الاصطناعي متحمس وطموح للاستثمار في موجة النماذج الكبيرة؛ من ناحية أخرى، فهو يسمح لكل شخص مشارك مجتمعي سريعًا لأخذ زمام المبادرة في عصر الذكاء الاصطناعي المتطور والحصول على الموارد من جميع الجوانب، نطلق المرحلة الأولى من الخطة التجريبية لمجتمع اللاما الصيني لفترة محدودة! سيحصل كل عضو في الخطة التجريبية على مزايا "7TOP" التالية:
انضم للحصول على حق استخدام أول نسخة صينية مدربة مسبقًا من طراز Llama2-Chinese-13B في الصين (نسخة غير مضبوطة). في المستقبل، سنواصل تعزيز القدرات الصينية لنواة النموذج استنادًا إلى بيانات واسعة النطاق، كما ستعطي الأولوية لكل عضو في البرنامج التجريبي الذي يوفر الإصدار الأكثر تقدمًا من النماذج.
بقيادة فريق دكتوراه من أفضل الجامعات المحلية، فهو فريق تكنولوجيا النماذج الكبيرة الأكثر احترافًا. سواء كان الأمر يتعلق بأحدث المشكلات التقنية أو التحليل النظري المتعمق، فسوف نقدم لك أحدث الحلول.
في الخطة التجريبية، ستتلقى إرشادات شخصية 1V1. كلما وأينما كانت لديك أسئلة، سنجيب عليها على الفور. نحن ملتزمون بتقديم الدعم الشامل لمساعدتك في تنفيذ تطبيقات النماذج الكبيرة Llama2 بسرعة والتأكد من نجاحك في تحقيق الاختراقات التكنولوجية. إذا واجهت شركتك مشكلات تتعلق بالنماذج الكبيرة، فسنساعدك أيضًا على تحليلها وحلها.
سيقودك وضع التدريس الذي يجمع بين النظرية والقتال الفعلي إلى تقدير أسرار النماذج الكبيرة. بدءًا من التحليل الفني للنماذج الكبيرة وحتى شرح الخوارزميات والأوراق الرئيسية، وبناء نماذج كبيرة مخصخصة من الصفر، والتدريب على نماذج الصناعة الكبيرة، سنعلمك خطوة بخطوة لتحقيق التقدم التكنولوجي. مخطط الدورة هو كما يلي:
صورة
لدينا أكبر مجتمع للاما الصينية في الصين، حيث يصل عدد نجوم Github إلى 4.7 ألف نجم ويجمع أكثر من 2000 من أفضل المواهب. هنا، سوف تتواصل مع مستثمري الذكاء الاصطناعي والمديرين التنفيذيين لرجال الأعمال وقادة الصناعة للحصول على خدمات شاملة مثل التعاون والاستثمار والترويج والتوظيف. ابحث عن وظيفة/شريك/استثمر/بيع المنتجات، يمكننا تلبية احتياجاتك. هذه منصة ذهبية للمواهب التقنية لتبادل المعرفة والمهارات، حيث يمكنك العثور على أفضل الخبراء من جميع مناحي الحياة للتواصل والمناقشة معًا.
نحن لا نقيم أحداثًا منتظمة عبر الإنترنت فحسب، بل نقدم أيضًا عروضًا تقديمية وتبادلات فنية في الأحداث غير المتصلة بالإنترنت، بهدف تمكين الصناعات المختلفة بناءً على نموذج Llama2. نوفر لك الفرصة للتفاعل مباشرة مع كبار الخبراء، مما يسمح لك بالمضي قدمًا جنبًا إلى جنب مع قادة الصناعة. سواء كنت مبتدئًا تقنيًا أو بقرة كبيرة ذات خبرة، فسوف نوفر لك فرصة ممتازة للبحث عن المستقبل مع أفضل المواهب التقنية في العالم!
يوفر المجتمع للطلاب قنوات موارد الحوسبة، مما يسمح لك باستخدامها بأسعار أقل من أسعار السوق. نحن ندرك أهمية قوة الحوسبة في التطور التكنولوجي ونقدم لك دعمًا فعالاً ومستقرًا لقوة الحوسبة لمساعدتك في إظهار مواهبك في المجال التقني.