استغرق الأمر من 10 أشخاص شهرين لبناء نموذج كبير! تمتع بـ 16 ورقة بحثية من أهم أوراق المؤتمرات في عام واحد: لا يوجد أي من أفضل الأوراق البحثية المتوفرة في السوق مفتوحة المصدر

الكاتب: هينجيو

**المصدر: **الكيوبت

شركة تأسست في شنتشن في مايو من هذا العام لديها فريق مكون من أقل من 10 أشخاص.

ما يتعين عليهم فعله ليس بالأمر الهين: تحدي الذكاء الاصطناعي العام.

أين الثقة؟ أولاً، انظر إلى السيرة الذاتية السابقة، وثانياً، انظر إلى نتائج المسار الحالي.

في العام الماضي، نشر هؤلاء الأشخاص ما مجموعه 16 ورقة بحثية كبيرة متعلقة بالنماذج في أهم المؤتمرات مثل CVPR، وICML، وECCV، وتم ترشيح أحدهم لأفضل ورقة بحثية في المؤتمر الأعلى ACL 2023.

ما هي النتائج التي حققتها بعد بدء عملك؟ بعد شهرين من إنشائه، تم تصنيف النموذج المدرب ضمن المراكز الثلاثة الأولى في قائمة C، وتغلبت قدرته الصينية على ChatGPT وClude-v1.3.

هذه هي نتيجة المصفوفة التكافلية.

وقد تم إدراج طرازها GS-LLM في القائمة للمرة الأولى منذ نهاية شهر يوليو، وكان في المرتبة الأولى بين 65 لاعبًا في القائمة C.

إذًا، من هي المصفوفة التكافلية؟

10 أشخاص يتحدون الذكاء الاصطناعي العام

تهدف Symbiotic Matrix إلى بناء مصنع لتنقية بيانات الصناعة استنادًا إلى تقنية AGI المطورة ذاتيًا.

يعتمد الفريق بشكل أساسي على النموذج الكبير الذي تم تطويره ذاتيًا GS-LLM.

يتراوح مقياس معلمة النموذج من 7B-130B ويمكن تصميمه وفقًا للاحتياجات الفعلية للمستخدمين.

هناك إصداران يعتمدان على GS-LLM ويحتلان مكانًا في C-، أحدهما هو الإصدار ذو 10 مليار معلمة GS-LLM-Beta، والآخر هو الإصدار المصغر GS-LLM-Beta-Mini مع أقل من 10 مليار معلمة .

سبب إطلاق الإصدار المصغر هو أن العديد من المستخدمين وجدوا أن بيئة التشغيل الأصلية (حتى البيئة السحابية) لم تكن كافية لدعم النشر المحلي على نطاق واسع.

وجدت نتائج الاختبار أن الإصدار الذي تبلغ قيمته عدة مليارات من GS-LLM-Beta يمكن أن يؤدي أداءً جيدًا، مع حصوله على أفضل تصنيف في المركز السادس على C-.

أحد أسباب بقائها على رأس القائمة C هو أن المصفوفة التكافلية قامت ببناء إطار تدريبي مستقل تمامًا، والذي يوفر دعمًا فنيًا كاملاً نسبيًا للتدريب بأكمله.

النقطة الثانية هي البيانات التي توليها هذه الشركة أهمية كبيرة.

قدم تشانغ لين، الرئيس التنفيذي لشركة Symbiotic Matrix، مثالاً بسيطًا:

قارن التدريب النموذجي بعملية النمو البشري. إذا كان كل ما قرأه منذ الطفولة عبارة عن روايات مغذية، فإن قدرة هذا الشخص الإجمالية لن تكون قوية جدًا.

في العام الماضي، وجد الفريق في تجربة أنه عندما تصل بيانات النموذج إلى مستوى معين من الحجم، فإن القفزة في جودة البيانات يمكن أن تسبب في الواقع بعض التغييرات النوعية.

"بعبارة أخرى، إذا كان لديك نموذج صغير الحجم نسبيًا (مثل عشرات المليارات) وقمت بتزويده ببيانات عالية الجودة، فإن نتائج التدريب ستكون قريبة جدًا من نتائج مئات المليارات من المستويات." قال تشانغ لين. .

كما جعلت هذه التجربة الفريق يولي المزيد من الاهتمام لجودة البيانات والطرق المنهجية للحصول على بيانات عالية الجودة.

في الواقع، لقد اجتذبت هذه النقطة المزيد والمزيد من الاهتمام من جميع مناحي الحياة في الآونة الأخيرة. وقد أجرت شركة مايكروسوفت دراسة جديدة بعنوان "الكتب المدرسية هي كل ما تحتاجه". ويظهر العمل أن النمو بشكل أكبر ليس هو السبيل الوحيد للخروج، ولكن البيانات عالية الجودة هي الحل. مهم.

ونتيجة لذلك، قام فريق Symbiosis ببناء نظام هندسي لتنظيف البيانات لتنظيف البيانات بشكل مستمر على مدار 24 ساعة في اليوم.

"قام الفريق حاليًا بتنقية حوالي 20 تيرابايت من البيانات النصية التي يمكن استخدامها للتدريب. "هذا المستوى من البيانات يمكن أن يدعم التدريب النموذجي لنظام كبير جدًا."

ومع ذلك، كشف Zhang Lin أيضًا أن Symbiotic Matrix لن تكشف عن البيانات التي قام الفريق بتنقيتها للجمهور على المدى القصير.

إذًا، ما هو مفهوم مصنع تحسين البيانات الذي يريد الفريق بناءه؟

أوضح تشانغ لين أنه إذا تم فهم النموذج الكبير على أنه "ضغط للمعلومات"، فهو في حد ذاته قاعدة بيانات معلمات كبيرة.

ما يتعين على مصنع تكرير البيانات فعله هو مشاركة بيانات المعلمات وتداولها بعد تدريب النموذج.

"يجب أن تعلم أن وظائف النماذج الكبيرة يتم تنفيذها من خلال المعلمات. معلمات المعاملة هي في الواقع تبديل الوظائف. نحن بحاجة إلى تنوع وظائف النماذج الكبيرة. "تداول المعلمات هو المسار الأكثر كفاءة."

البيانات المشار إليها هنا ليست من نوع البيانات التي يمكن للجميع رؤيتها، ولكنها بيانات المعلمات. البيانات التي نتحدث عنها غالبًا هي جزء من نص أو صورة، والبيانات المملوكة للمصنع هي معلمات النموذج المدرب، ويتم تداول المعلمات تجاريًا.

"يتم تداول البيانات الخام مباشرة، وهو أمر مقيد بكميات كبيرة وقضايا الخصوصية." وأوضح تشانغ لين أن مفهوم تداول البيانات تم اقتراحه لسنوات عديدة، ولكن لم يتم قبوله بالكامل من قبل السوق. ويعتقد الفريق أن إذا أردنا تعميم البيانات حقًا، فيجب أن تكون أكثر منطقية وأمانًا وفعالية، لذلك تم تحديد معاملات البيانات على مستوى المعلمة أخيرًا.

في رؤية الفريق، بعد تشغيل مصنع تحسين البيانات، لن تحتاج بعض البيانات إلى التدريب بشكل متكرر، وسيتم تحسين الكفاءة، وستنخفض التكاليف.

استخدم عددًا أقل من الأشخاص والموارد لإكمال نظام النموذج الكبير

في جنون النماذج الكبيرة، أصبحت كيفية تقييم النماذج الكبيرة قضية مهمة، ولهذا السبب ظهرت قوائم مختلفة.

بعد أن تم إدراج Symbiotic Matrix على أنها C-، ركز العالم الخارجي على نقطتين رئيسيتين:

بالإضافة إلى نتائجهم الجيدة، هناك نقطة أخرى مثيرة للاهتمام وهي أنهم فريق صغير نادر في القائمة.

وقال الفريق إن القائمة ليست الوحيدة والأكثر موثوقية في العالم، لكنها بدأت في الظهور في القائمة بعد شهر واحد من إنشائها، وبمجرد وصولها إلى المراكز الثلاثة الأولى، وهو ما يمكن أن يعكس "أننا نستخدم عددًا أقل من الأشخاص والموارد من أجل قم بعمل جيد في أنظمة النماذج واسعة النطاق."

هذا صحيح، فريق Symbiosis Matrix يضم أقل من 10 أشخاص.

ليس هناك الكثير من الناس، لكنهم جميعًا ماهرون في القتال ——

الرئيس التنفيذي Zhang Lin، CTO Wang Junjie وأعضاء أساسيون آخرون في الفريق جميعهم من معهد أبحاث IDEA، ولديهم خبرة عملية غنية في نظام مفتوح المصدر لنماذج Fengshenbang المحلية للتدريب المسبق (تفيد التقارير أن Fengshenbang لديها حاليًا أكثر من 98 نموذجًا مفتوحًا نماذج ما قبل التدريب المصدر)

تخرج تشانغ لين من جامعة ولاية نيويورك بدرجة الدكتوراه ونشر أكثر من 30 ورقة بحثية في أهم مؤتمرات الكمبيوتر. وكان سابقًا باحثًا كبيرًا في معهد الاقتصاد الرقمي لمنطقة خليج قوانغدونغ وهونج كونج وماكاو الكبرى (IDEA) ).

حصل وانغ جونجي على درجة الدكتوراه في علوم الكمبيوتر من جامعة واسيدا وكان سابقًا عضوًا أساسيًا في فريق Fengshenbang للنماذج الكبيرة.

△تشانغ لين

بالنظر إلى سوق الذكاء الاصطناعي الحالي، لا توجد سابقة لفريق صغير يقوم بعمل جيد في الذكاء الاصطناعي، حيث يوجد 11 عضوًا فقط وراء نموذج مخطط فنسنت الأكثر شهرة Midjourney، والذي يُطلق عليه معيار مؤسسات العصر الجديد. في عصر الذكاء الاصطناعي 2.0، ظهرت العديد من فرق ريادة الأعمال ذات النماذج الكبيرة التي تؤكد على "صغيرة ولكنها جميلة" في الداخل والخارج.

وبطبيعة الحال، قال تشانغ لين إن السبب الأعمق هو أن النماذج الكبيرة ليست مجرد مشاريع تعمل على تكديس القوى العاملة، وتتطلب عددا صغيرا من فرق النخبة لضمان الكفاءة.

وقال إنه عند تدريب النموذج، فإن الجوانب الفنية مثل تحسين المشغل والدقة المختلطة وما إلى ذلك، بالإضافة إلى مشكلات الاتصال عند دعم مئات البطاقات في نفس الوقت، كلها قدرات هندسية اختبارية. إذا تمكن فريق صغير من حل المشكلات الهندسية التي تمت مواجهتها وتحسين الكفاءة، فلا داعي للاعتماد على فريق كبير لحلها.

وبالإضافة إلى ذلك، فإن الفريق الأساسي الفني الصغير أكثر ملاءمة للحفاظ على الاستقلال الأيديولوجي واستكشاف المزيد من الاحتمالات من خلال عدم الالتزام بالقواعد. ومع ذلك، فإن تكديس القوى العاملة سوف يقلل بسهولة من الكفاءة الإجمالية.

ووفقا لتقديراته، فإن أفضل المواهب في مجال العارضات واسعة النطاق في البلاد "قد يصل عددهم إلى حوالي 100 شخص فقط"، وليس هناك مجال كبير لتشكيل فريق كبير.

ولذلك سيبقى الفريق بحجم "أقل من عشرة أشخاص" لفترة زمنية معينة.

في النهاية، هذا فهم مختلف للنماذج والمفاهيم الكامنة وراء عصر الذكاء الاصطناعي 2.0 وعصر الذكاء الاصطناعي 1.0.

أثناء عملية الاتصال، أعرب Zhang Lin أيضًا بشكل مباشر عن فهم الفريق المختلف عن الأصوات السائدة على مستوى آخر، وهو ما ينعكس في مفهوم المصدر المفتوح والمغلق.

منذ بعض الوقت، عندما تم إصدار LLaMA-2 مجانًا ومتوفر تجاريًا، قال العديد من الأشخاص إنه سيكون بمثابة ضربة قوية للشركات الناشئة في السوق، لأن LLaMA-2 يمكنه تلبية احتياجات معظم الشركات بتكلفة أقل وتخصيص.

"لم يغير LLaMA-2 هيكل السوق." في نظر فريق Symbiosis، فإن الفرق الرائدة حقًا لا تفتح التقنيات الأساسية مفتوحة المصدر.

وأضاف تشانغ لين أيضًا أنه في المرحلة الحالية، تكمن أهمية المصادر المفتوحة في تثقيف السوق أكثر من الترويج للتسويق التجاري.

تمامًا مثل Raspberry Pi الذي يعد مفيدًا لعشاق الأجهزة الإلكترونية، ولكنه لن يغير سوق الكمبيوتر المحمول، فإن LLAMA 2 أكثر قيمة للمستخدمين المبتدئين، ولكن سيكون له تأثير ضئيل على المستخدمين الذين يرغبون في التحول التجاري.

لا يزال هناك العديد من المصفوفات التكافلية ذات وجهات النظر والتفاهمات "غير السائدة" مثل هذه.

على سبيل المثال، لا نعتقد أن النماذج الكبيرة هي نقطة النهاية للذكاء الاصطناعي العام، ولا نعتقد أن ChatGPT يمثل الاتجاه النهائي.

كما أنهم حذرون بشأن التوسع السريع على غرار أحادي القرن ويولون المزيد من الاهتمام لتماسك الفريق وتراكم التكنولوجيا.

……

فيما يتعلق بمسار التطوير المستقبلي، اختارت Symbiosis Matrix أن تكون مغلقة المصدر على المدى القصير، وقد تكون مفتوحة المصدر بشكل مناسب في المستقبل في ظل الفرص المناسبة.

يجب أن يكون للمصادر المفتوحة أهداف واضحة موجهة نحو الأعمال. وفي الوقت الحالي، لا تزال التكنولوجيا ذات النماذج الكبيرة في مرحلة التكرار السريع والمنافسة، وتخاطر التكنولوجيا الأساسية مفتوحة المصدر بفقدان ميزة المحرك الأول.

شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • تعليق
  • إعادة النشر
  • مشاركة
تعليق
0/400
لا توجد تعليقات
  • تثبيت