Команда компанії, заснованої в Шеньчжені в травні цього року, складається з менше 10 осіб.
Те, що вони мають зробити, неважлива справа: кинути виклик AGI.
Де впевненість? По-перше, подивіться минуле резюме, а по-друге, подивіться на результати поточного треку.
Минулого року ці люди опублікували загалом 16 великих статей, пов’язаних із моделюванням, на провідних конференціях, таких як CVPR, ICML та ECCV, і одна з них була номінована на найкращу статтю на провідній конференції ACL 2023.
Якими були ваші результати після відкриття бізнесу? Через два місяці після створення навчена модель увійшла до трійки найкращих у C-списку, а її китайські здібності перемогли ChatGPT і Claude-v1.3.
Це результат симбіотичної матриці.
А його модель GS-LLM вперше опинилася в списку з кінця липня, вона опинилася в першому ешелоні серед 65 гравців C-list.
Отже, хто ж така Симбіотична Матриця?
10 людей кидають виклик AGI
Symbiotic Matrix прагне побудувати галузеву фабрику з обробки даних на основі технології AGI власної розробки.
Команда в основному покладається на велику модель GS-LLM власної розробки.
Шкала параметрів моделі коливається від 7B-130B і може бути налаштована відповідно до фактичних потреб користувачів.
Є дві версії на основі GS-LLM, які займають місце на C-, одна – версія GS-LLM-Beta з 10 мільярдами параметрів, а інша – міні-версія GS-LLM-Beta-Mini з менш ніж 10 мільярдами параметрів. .
Причиною запуску міні-версії є те, що багато користувачів виявили, що вихідне операційне середовище (навіть хмарне середовище) недостатньо для підтримки масштабного локального розгортання.
Результати тестування показали, що багатомільярдна версія GS-LLM-Beta може працювати добре, з найкращим рейтингом 6 на C-.
Однією з причин, чому він може залишатися на вершині C-списку, є те, що симбіотична матриця створила повністю незалежну навчальну структуру, яка забезпечує відносно повну технічну підтримку для всього навчання.
Другий момент – це дані, яким ця компанія надає великого значення.
Генеральний директор Symbiotic Matrix Чжан Лінь навів простий приклад:
Порівняйте модель навчання з процесом росту людини. Якщо все, що він читав з дитинства, це поживні романи, загальні здібності цієї людини не будуть дуже сильними.
Минулого року в ході експерименту команда виявила, що коли дані моделі досягають певного порядку величини, стрибок якості даних може спричинити деякі якісні зміни.
«Іншими словами, якщо у вас є відносно невелика модель (наприклад, десятки мільярдів) і подаєте в неї високоякісні дані, результати навчання будуть дуже близькі до результатів сотень мільярдів рівнів», — сказав Чжан Лінь. .
Цей експеримент також змусив команду приділити більше уваги якості даних і систематичним способам отримання високоякісних даних.
Насправді, останнім часом цей момент привертає все більше уваги з усіх верств суспільства. Корпорація Майкрософт провела нове дослідження «Підручники — це все, що вам потрібно». Робота показує, що зростання — не єдиний вихід, але високоякісні дані вирішальне значення.
У результаті команда Symbiosis створила інженерну систему для очищення даних, щоб безперервно очищати дані 24 години на добу.
Зараз команда очистила близько 20 тис. текстових даних, які можна використовувати для навчання. «Цей рівень даних може підтримувати навчання моделі дуже великої системи».
Однак Чжан Лінь також повідомив, що Symbiotic Matrix не розголошуватиме дані, очищені командою, громадськості в короткостроковій перспективі.
Отже, яка концепція фабрики очищення даних, яку хоче побудувати команда?
Чжан Лінь пояснив, що якщо велику модель розуміти як «стиснення інформації», то вона сама є великою базою даних параметрів.
Те, що має робити фабрика з уточнення даних, — це обмінюватися даними параметрів після навчання моделі.
Ви повинні знати, що функції великих моделей здійснюються через параметри. Параметри транзакцій насправді є функціями перемикання. Нам потрібна різноманітність функцій великих моделей. «Торгівля за параметрами — це найефективніший шлях».
Дані, про які тут йдеться, — це не дані, які можуть бачити всі, а дані параметрів. Дані, про які ми часто говоримо, — це фрагмент тексту або зображення, а дані, якими володіє фабрика, — це параметри навченої моделі, а параметри комерційно продаються.
«Необробленими даними безпосередньо торгують, що обмежено великою кількістю та проблемами конфіденційності». Чжан Лінь пояснив, що концепція торгівлі даними пропонувалася протягом багатьох років, але вона не була повністю прийнята ринком. Команда вважає, що якщо дані мають справді поширюватися, вони повинні бути більш розумними, безпечними та ефективними, щоб транзакції даних на рівні параметрів були остаточно визначені.
Згідно з баченням команди, після запуску фабрики уточнення даних деякі дані не потрібно буде постійно навчати, ефективність буде покращена, а витрати зменшаться.
Використовуйте менше людей і ресурсів для створення великої модельної системи
У повному захопленні великими моделями питання про те, як оцінити великі моделі, стало важливим питанням, тому з’явилися різні списки.
Після того, як Symbiotic Matrix було внесено до списку C-, зовнішній світ зосередився на двох основних моментах:
Окрім хороших результатів, ще одним цікавим моментом є те, що вони є невеликою командою, яка рідко зустрічається в списку.
Команда заявила, що список не єдиний і найавторитетніший у світі, але він почав з’являтися в списку через місяць після його створення, і одного разу потрапив до трійки лідерів, що може вказувати на те, що «ми використовуємо менше людей і ресурсів для добре працювати у великомасштабних модельних системах».
Правильно, в команді Symbiosis Matrix менше 10 людей.
Людей небагато, але всі вони вміють битися...
Генеральний директор Чжан Лінь, технічний директор Ван Цзюньцзе та інші основні члени команди — усі з дослідницького інституту IDEA та мають багатий практичний досвід роботи з системою відкритого коду вітчизняних моделей попереднього навчання Fengshenbang (повідомляється, що Fengshenbang наразі має понад 98 відкритих вихідні моделі попереднього навчання)
Чжан Лінь закінчив Університет штату Нью-Йорк зі ступенем доктора філософії та опублікував понад 30 доповідей на провідних комп’ютерних конференціях. Раніше він був старшим науковим співробітником Інституту цифрової економіки району Великої затоки Гуандун-Гонконг-Макао (IDEA). ).
Ван Цзюньцзе отримав ступінь доктора філософії з комп’ютерних наук в Університеті Васеда, а раніше був одним із основних членів великої модельної команди Fengshenbang.
△Чжан Лінь
Дивлячись на поточний ринок штучного інтелекту, немає прецедентів, щоб невелика команда добре працювала над штучним інтелектом. Лише 11 членів працюють за найвідомішою діаграмною моделлю Вінсента Midjourney, яка відома як еталон для організацій нової ери. В епоху штучного інтелекту 2.0 вдома та за кордоном з’явилося багато великих модельних підприємницьких команд, які наголошують на «маленьких, але красивих».
Звичайно, Чжан Лінь сказав, що глибша причина полягає в тому, що великі моделі — це не просто проекти, які накопичують робочу силу та вимагають невеликої кількості елітних команд для забезпечення ефективності.
Він сказав, що під час навчання моделі всі технічні аспекти, такі як оптимізація оператора, змішана точність тощо, а також проблеми зв’язку під час підтримки сотень карток одночасно, перевіряють інженерні можливості. Якщо невелика команда може вирішити виниклі інженерні проблеми та підвищити ефективність, немає потреби покладатися на їх вирішення великою командою.
Крім того, невелика технічна основна команда більше сприяє збереженню ідеологічної незалежності та дослідженню більших можливостей, не дотримуючись правил.Однак накопичення робочої сили легко знизить загальну ефективність.
За його оцінками, найкращі таланти у сфері великомасштабних моделей у країні «можуть складати лише близько 100 осіб», і немає місця для формування великої команди.
Тому певний час команда залишатиметься у чисельності «менше десяти осіб».
Зрештою, це різне розуміння парадигм і концепцій епохи AI 2.0 і ери AI 1.0.
Під час процесу спілкування Чжан Лінь також прямо висловив відмінність розуміння команди від основних голосів на іншому рівні, що відображено в концепції відкритого та закритого коду.
Деякий час тому, коли був випущений безкоштовний і комерційно доступний LLaMA-2, багато людей казали, що це буде сильним ударом для стартапів на ринку, тому що LLaMA2 може задовольнити потреби більшості компаній щодо меншої вартості та персоналізації.
«LLaMA-2 не змінив структуру ринку.» В очах команди Symbiosis справді провідні команди не використовують основні технології з відкритим кодом.
Чжан Лінь також додав, що на нинішньому етапі значення відкритого коду полягає більше в навчанні ринку, а не в сприянні комерціалізації.
Подібно до того, як Raspberry Pi має значення для електронних ентузіастів, але не змінить ринок мобільних комп’ютерів, LLAMA 2 є більш цінним для користувачів початкового рівня, але мало вплине на користувачів, які хочуть стати комерційними.
Є ще багато симбіотичних матриць із такими «немейнстрімовими» поглядами та розуміннями.
Наприклад, ми не віримо, що великі моделі є кінцевою точкою загального ШІ, а також не віримо, що ChatGPT представляє остаточний напрямок.
Вони також обережно ставляться до швидкого розширення в стилі єдинорога та приділяють більше уваги згуртованості команди та накопиченню технологій.
……
Що стосується майбутнього шляху розвитку, Symbiosis Matrix вирішує бути закритим вихідним кодом у короткостроковій перспективі, і може бути відкритим вихідним кодом належним чином у майбутньому за відповідних можливостей.
Відкритий вихідний код повинен мати чіткі бізнес-цілі. Наразі технологія великої моделі все ще перебуває на стадії швидкої ітерації та конкуренції, а основна технологія з відкритим кодом ризикує втратити свою перевагу.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
10 людей зайняли два місяці, щоб створити велику модель! Отримав 16 найкращих конференцій за рік: жодна з найкращих на ринку не має відкритого коду
Автор: Hengyu
**Джерело: **Qubits
Команда компанії, заснованої в Шеньчжені в травні цього року, складається з менше 10 осіб.
Те, що вони мають зробити, неважлива справа: кинути виклик AGI.
Де впевненість? По-перше, подивіться минуле резюме, а по-друге, подивіться на результати поточного треку.
Минулого року ці люди опублікували загалом 16 великих статей, пов’язаних із моделюванням, на провідних конференціях, таких як CVPR, ICML та ECCV, і одна з них була номінована на найкращу статтю на провідній конференції ACL 2023.
Якими були ваші результати після відкриття бізнесу? Через два місяці після створення навчена модель увійшла до трійки найкращих у C-списку, а її китайські здібності перемогли ChatGPT і Claude-v1.3.
Це результат симбіотичної матриці.
А його модель GS-LLM вперше опинилася в списку з кінця липня, вона опинилася в першому ешелоні серед 65 гравців C-list.
Отже, хто ж така Симбіотична Матриця?
10 людей кидають виклик AGI
Symbiotic Matrix прагне побудувати галузеву фабрику з обробки даних на основі технології AGI власної розробки.
Команда в основному покладається на велику модель GS-LLM власної розробки.
Шкала параметрів моделі коливається від 7B-130B і може бути налаштована відповідно до фактичних потреб користувачів.
Є дві версії на основі GS-LLM, які займають місце на C-, одна – версія GS-LLM-Beta з 10 мільярдами параметрів, а інша – міні-версія GS-LLM-Beta-Mini з менш ніж 10 мільярдами параметрів. .
Причиною запуску міні-версії є те, що багато користувачів виявили, що вихідне операційне середовище (навіть хмарне середовище) недостатньо для підтримки масштабного локального розгортання.
Результати тестування показали, що багатомільярдна версія GS-LLM-Beta може працювати добре, з найкращим рейтингом 6 на C-.
Однією з причин, чому він може залишатися на вершині C-списку, є те, що симбіотична матриця створила повністю незалежну навчальну структуру, яка забезпечує відносно повну технічну підтримку для всього навчання.
Другий момент – це дані, яким ця компанія надає великого значення.
Генеральний директор Symbiotic Matrix Чжан Лінь навів простий приклад:
Порівняйте модель навчання з процесом росту людини. Якщо все, що він читав з дитинства, це поживні романи, загальні здібності цієї людини не будуть дуже сильними.
Минулого року в ході експерименту команда виявила, що коли дані моделі досягають певного порядку величини, стрибок якості даних може спричинити деякі якісні зміни.
«Іншими словами, якщо у вас є відносно невелика модель (наприклад, десятки мільярдів) і подаєте в неї високоякісні дані, результати навчання будуть дуже близькі до результатів сотень мільярдів рівнів», — сказав Чжан Лінь. .
Цей експеримент також змусив команду приділити більше уваги якості даних і систематичним способам отримання високоякісних даних.
Насправді, останнім часом цей момент привертає все більше уваги з усіх верств суспільства. Корпорація Майкрософт провела нове дослідження «Підручники — це все, що вам потрібно». Робота показує, що зростання — не єдиний вихід, але високоякісні дані вирішальне значення.
У результаті команда Symbiosis створила інженерну систему для очищення даних, щоб безперервно очищати дані 24 години на добу.
Зараз команда очистила близько 20 тис. текстових даних, які можна використовувати для навчання. «Цей рівень даних може підтримувати навчання моделі дуже великої системи».
Однак Чжан Лінь також повідомив, що Symbiotic Matrix не розголошуватиме дані, очищені командою, громадськості в короткостроковій перспективі.
Отже, яка концепція фабрики очищення даних, яку хоче побудувати команда?
Чжан Лінь пояснив, що якщо велику модель розуміти як «стиснення інформації», то вона сама є великою базою даних параметрів.
Те, що має робити фабрика з уточнення даних, — це обмінюватися даними параметрів після навчання моделі.
Ви повинні знати, що функції великих моделей здійснюються через параметри. Параметри транзакцій насправді є функціями перемикання. Нам потрібна різноманітність функцій великих моделей. «Торгівля за параметрами — це найефективніший шлях».
Дані, про які тут йдеться, — це не дані, які можуть бачити всі, а дані параметрів. Дані, про які ми часто говоримо, — це фрагмент тексту або зображення, а дані, якими володіє фабрика, — це параметри навченої моделі, а параметри комерційно продаються.
«Необробленими даними безпосередньо торгують, що обмежено великою кількістю та проблемами конфіденційності». Чжан Лінь пояснив, що концепція торгівлі даними пропонувалася протягом багатьох років, але вона не була повністю прийнята ринком. Команда вважає, що якщо дані мають справді поширюватися, вони повинні бути більш розумними, безпечними та ефективними, щоб транзакції даних на рівні параметрів були остаточно визначені.
Згідно з баченням команди, після запуску фабрики уточнення даних деякі дані не потрібно буде постійно навчати, ефективність буде покращена, а витрати зменшаться.
Використовуйте менше людей і ресурсів для створення великої модельної системи
У повному захопленні великими моделями питання про те, як оцінити великі моделі, стало важливим питанням, тому з’явилися різні списки.
Після того, як Symbiotic Matrix було внесено до списку C-, зовнішній світ зосередився на двох основних моментах:
Окрім хороших результатів, ще одним цікавим моментом є те, що вони є невеликою командою, яка рідко зустрічається в списку.
Команда заявила, що список не єдиний і найавторитетніший у світі, але він почав з’являтися в списку через місяць після його створення, і одного разу потрапив до трійки лідерів, що може вказувати на те, що «ми використовуємо менше людей і ресурсів для добре працювати у великомасштабних модельних системах».
Правильно, в команді Symbiosis Matrix менше 10 людей.
Людей небагато, але всі вони вміють битися...
Генеральний директор Чжан Лінь, технічний директор Ван Цзюньцзе та інші основні члени команди — усі з дослідницького інституту IDEA та мають багатий практичний досвід роботи з системою відкритого коду вітчизняних моделей попереднього навчання Fengshenbang (повідомляється, що Fengshenbang наразі має понад 98 відкритих вихідні моделі попереднього навчання)
Чжан Лінь закінчив Університет штату Нью-Йорк зі ступенем доктора філософії та опублікував понад 30 доповідей на провідних комп’ютерних конференціях. Раніше він був старшим науковим співробітником Інституту цифрової економіки району Великої затоки Гуандун-Гонконг-Макао (IDEA). ).
Ван Цзюньцзе отримав ступінь доктора філософії з комп’ютерних наук в Університеті Васеда, а раніше був одним із основних членів великої модельної команди Fengshenbang.
Дивлячись на поточний ринок штучного інтелекту, немає прецедентів, щоб невелика команда добре працювала над штучним інтелектом. Лише 11 членів працюють за найвідомішою діаграмною моделлю Вінсента Midjourney, яка відома як еталон для організацій нової ери. В епоху штучного інтелекту 2.0 вдома та за кордоном з’явилося багато великих модельних підприємницьких команд, які наголошують на «маленьких, але красивих».
Звичайно, Чжан Лінь сказав, що глибша причина полягає в тому, що великі моделі — це не просто проекти, які накопичують робочу силу та вимагають невеликої кількості елітних команд для забезпечення ефективності.
Він сказав, що під час навчання моделі всі технічні аспекти, такі як оптимізація оператора, змішана точність тощо, а також проблеми зв’язку під час підтримки сотень карток одночасно, перевіряють інженерні можливості. Якщо невелика команда може вирішити виниклі інженерні проблеми та підвищити ефективність, немає потреби покладатися на їх вирішення великою командою.
Крім того, невелика технічна основна команда більше сприяє збереженню ідеологічної незалежності та дослідженню більших можливостей, не дотримуючись правил.Однак накопичення робочої сили легко знизить загальну ефективність.
За його оцінками, найкращі таланти у сфері великомасштабних моделей у країні «можуть складати лише близько 100 осіб», і немає місця для формування великої команди.
Тому певний час команда залишатиметься у чисельності «менше десяти осіб».
Зрештою, це різне розуміння парадигм і концепцій епохи AI 2.0 і ери AI 1.0.
Під час процесу спілкування Чжан Лінь також прямо висловив відмінність розуміння команди від основних голосів на іншому рівні, що відображено в концепції відкритого та закритого коду.
Деякий час тому, коли був випущений безкоштовний і комерційно доступний LLaMA-2, багато людей казали, що це буде сильним ударом для стартапів на ринку, тому що LLaMA2 може задовольнити потреби більшості компаній щодо меншої вартості та персоналізації.
«LLaMA-2 не змінив структуру ринку.» В очах команди Symbiosis справді провідні команди не використовують основні технології з відкритим кодом.
Чжан Лінь також додав, що на нинішньому етапі значення відкритого коду полягає більше в навчанні ринку, а не в сприянні комерціалізації.
Подібно до того, як Raspberry Pi має значення для електронних ентузіастів, але не змінить ринок мобільних комп’ютерів, LLAMA 2 є більш цінним для користувачів початкового рівня, але мало вплине на користувачів, які хочуть стати комерційними.
Є ще багато симбіотичних матриць із такими «немейнстрімовими» поглядами та розуміннями.
Наприклад, ми не віримо, що великі моделі є кінцевою точкою загального ШІ, а також не віримо, що ChatGPT представляє остаточний напрямок.
Вони також обережно ставляться до швидкого розширення в стилі єдинорога та приділяють більше уваги згуртованості команди та накопиченню технологій.
……
Що стосується майбутнього шляху розвитку, Symbiosis Matrix вирішує бути закритим вихідним кодом у короткостроковій перспективі, і може бути відкритим вихідним кодом належним чином у майбутньому за відповідних можливостей.
Відкритий вихідний код повинен мати чіткі бізнес-цілі. Наразі технологія великої моделі все ще перебуває на стадії швидкої ітерації та конкуренції, а основна технологія з відкритим кодом ризикує втратити свою перевагу.