На постройку большой модели 10 человекам понадобилось два месяца! Благословен 16 лучшими докладами на конференциях за один год: ни один из лучших документов на рынке не имеет открытого исходного кода.
В компании, созданной в Шэньчжэне в мае этого года, работает менее 10 человек.
Им предстоит сделать немалую задачу: бросить вызов AGI.
Где уверенность? Во-первых, посмотрите на прошлое резюме, а во-вторых, посмотрите на текущие результаты трека.
За последний год эти люди опубликовали в общей сложности 16 крупных статей, посвященных моделям, на ведущих конференциях, таких как CVPR, ICML и ECCV, и одна из них была номинирована на лучшую статью на ведущей конференции ACL 2023.
Каковы были ваши результаты после открытия своего дела? Через два месяца после создания обученная модель вошла в тройку лучших в списке C, а ее возможности на китайском языке обогнали ChatGPT и Claude-v1.3.
Это результат симбиотической матрицы.
А ее модель GS-LLM попала в список впервые с конца июля и оказалась в первом эшелоне среди 65 игроков C-списка.
Итак, кто такая Симбиотическая Матрица?
10 человек бросают вызов AGI
Целью Symbiotic Matrix является создание фабрики по переработке отраслевых данных на основе собственной разработки технологии AGI.
Команда в основном полагается на большую модель GS-LLM собственной разработки.
Масштаб параметров модели варьируется от 7B до 130B и может быть адаптирован в соответствии с реальными потребностями пользователей.
Существуют две версии, основанные на GS-LLM, которые занимают место на C-: одна — версия GS-LLM-Beta с 10 миллиардами параметров, а другая — мини-версия GS-LLM-Beta-Mini с менее чем 10 миллиардами параметров. .
Причина запуска мини-версии заключается в том, что многие пользователи обнаружили, что исходной операционной среды (даже облачной среды) недостаточно для поддержки крупномасштабного локального развертывания.
Результаты испытаний показали, что многомиллиардная версия GS-LLM-Beta может работать хорошо, заняв 6-е место на C-.
Одна из причин, по которой он может оставаться на вершине списка C, заключается в том, что симбиотическая матрица построила полностью независимую структуру обучения, которая обеспечивает относительно полную техническую поддержку всего обучения.
Второй момент — это данные, которым эта компания придает большое значение.
Генеральный директор Symbiotic Matrix Чжан Линь привел простой пример:
Сравните обучение модели с процессом человеческого роста. Если все, что он читал с детства, — это питательные романы, общие способности этого человека не будут очень сильными.
В прошлом году в ходе эксперимента команда обнаружила, что когда данные модели достигают определенного порядка величины, скачок качества данных действительно может вызвать некоторые качественные изменения.
«Другими словами, если у вас есть относительно мелкомасштабная (например, десятки миллиардов) модель и вы снабжаете ее высококачественными данными, результаты обучения будут очень близки к результатам сотен миллиардов уровней», — сказал Чжан Линь. .
Этот эксперимент также заставил команду уделять больше внимания качеству данных и систематическим способам получения высококачественных данных.
Фактически, в последнее время этот момент привлекает все больше и больше внимания со стороны всех слоев общества. Microsoft выпустила новое исследование «Учебник — это все, что вам нужно». Работа показывает, что рост — не единственный выход, но качественные данные ключевой.
В результате команда Symbiosis построила инженерную систему очистки данных, обеспечивающую непрерывную очистку данных 24 часа в сутки.
В настоящее время команда очистила около 20Т текстовых данных, которые можно использовать для обучения: «Такой уровень данных может поддерживать обучение модели очень большой системы».
Однако Чжан Линь также сообщил, что Symbiosis Matrix не будет раскрывать общественности данные, очищенные командой, в краткосрочной перспективе.
Итак, какова концепция фабрики уточнения данных, которую команда хочет построить?
Чжан Линь пояснил, что если под большой моделью понимать «сжатие информации», то она сама по себе является большой базой данных параметров.
Фабрика очистки данных должна обмениваться данными о параметрах и обмениваться ими после обучения модели.
Вы должны знать, что функции больших моделей передаются через параметры. Параметры транзакций на самом деле являются функциями переключения. Нам нужно разнообразие функций больших моделей. «Торговля параметрами — наиболее эффективный путь».
Данные, о которых здесь идет речь, — это не те данные, которые может видеть каждый, а данные параметров. Данные, о которых мы часто говорим, — это фрагмент текста или изображения, а данные, принадлежащие фабрике, — это параметры обученной модели, и эти параметры продаются на коммерческой основе.
"Необработанные данные продаются напрямую, что ограничивается большими объемами и проблемами конфиденциальности". Чжан Линь объяснил, что концепция торговли данными предлагалась в течение многих лет, но она не была полностью принята рынком. Команда считает, что Если данные должны действительно распространяться, они должны быть более разумными, безопасными и эффективными, чтобы наконец были определены транзакции данных на уровне параметров.
По мнению команды, после запуска фабрики уточнения данных некоторые данные не придется повторно обучать, эффективность повысится, а затраты снизятся.
Используйте меньше людей и ресурсов для завершения большой модели системы
В условиях повального увлечения большими моделями важным вопросом стало то, как оценивать большие модели, поэтому возникли различные списки.
После того, как Симбиотическая Матрица была отнесена к категории C-, внешний мир сосредоточился на двух основных моментах:
Помимо хороших результатов, еще одним интересным моментом является то, что это небольшая команда, которая редко встречается в списке.
Команда заявила, что этот список не единственный и самый авторитетный в мире, но он начал появляться в списке через месяц после его создания и однажды вошел в тройку лидеров, что может отражать то, что «мы используем меньше людей и ресурсов для хорошо работать в крупномасштабных модельных системах».
Правильно, в команде Symbiosis Matrix меньше 10 человек.
Людей немного, но все они неплохо умеют сражаться…
Генеральный директор Чжан Линь, технический директор Ван Цзюньцзе и другие основные члены команды являются сотрудниками исследовательского института IDEA и имеют богатый практический опыт работы в системе с открытым исходным кодом отечественных моделей предварительного обучения Fengshenbang (сообщается, что в настоящее время у Fengshenbang более 98 открытых моделей). исходные модели предварительного обучения)
Чжан Линь окончил Государственный университет Нью-Йорка со степенью доктора философии и опубликовал более 30 статей на ведущих компьютерных конференциях. Ранее он работал старшим научным сотрудником в Институте цифровой экономики региона Большого залива Гуандун-Гонконг-Макао (IDEA). ).
Ван Цзюньцзе получил степень доктора компьютерных наук в Университете Васэда и ранее был одним из основных членов команды больших моделей Fengshenbang.
△Чжан Линь
Глядя на текущий рынок ИИ, не существует прецедента, чтобы небольшая команда хорошо поработала в сфере ИИ. Всего 11 человек стоят за самой известной моделью диаграммы Винсента Midjourney, которая известна как эталон для организаций новой эры. В эпоху искусственного интеллекта 2.0 в стране и за рубежом появилось множество крупных предпринимательских команд, которые подчеркивают «маленький, но красивый».
Конечно, Чжан Линь сказал, что более глубокая причина заключается в том, что крупные модели — это не просто проекты, которые накапливают рабочую силу и требуют небольшого количества элитных команд для обеспечения эффективности.
Он сказал, что при обучении модели технические аспекты, такие как оптимизация оператора, смешанная точность и т. д., а также проблемы связи при одновременной поддержке сотен карт, тестируют все инженерные возможности. Если небольшая команда может решить возникшие инженерные проблемы и повысить эффективность, нет необходимости полагаться на большую команду для их решения.
Кроме того, небольшая техническая основная команда более способствует сохранению идеологической независимости и изучению большего количества возможностей, не придерживаясь правил.
По его оценке, лучших талантов в области масштабного моделирования в стране "может набрать всего около 100 человек", а для формирования большой команды мало места.
Поэтому в течение определенного периода времени команда останется в размере «менее десяти человек».
В конечном счете, это разное понимание парадигм и концепций, лежащих в основе эпохи ИИ 2.0 и эпохи ИИ 1.0.
В процессе общения Чжан Линь также прямо выразил мнение команды, отличающееся от основных голосов на другом уровне, что отражено в концепции открытого и закрытого исходного кода.
Некоторое время назад, когда была выпущена бесплатная и коммерчески доступная LLaMA-2, многие говорили, что это станет огромным ударом по стартапам на рынке, поскольку LLaMA-2 может удовлетворить потребности большинства компаний в более низкой стоимости и персонализации.
«LLaMA-2 не изменил структуру рынка.» По мнению команды Symbiosis, действительно ведущие команды не открывают исходные коды основных технологий.
Чжан Линь также добавил, что на нынешнем этапе значение открытого исходного кода больше заключается в просвещении рынка, а не в содействии коммерциализации.
Точно так же, как Raspberry Pi имеет значение для энтузиастов электроники, но не изменит рынок мобильных компьютеров, LLAMA 2 более ценен для пользователей начального уровня, но окажет небольшое влияние на пользователей, которые хотят заняться коммерцией.
По-прежнему существует множество симбиотических матриц с «неосновными» взглядами и пониманиями, подобными этой.
Например, мы не считаем, что большие модели являются конечной точкой общего ИИ, а также не считаем, что ChatGPT представляет собой окончательное направление.
Они также осторожно относятся к быстрому расширению в стиле единорога и уделяют больше внимания сплоченности команды и накоплению технологий.
……
Что касается будущего пути развития, Symbiosis Matrix в краткосрочной перспективе предпочитает быть с закрытым исходным кодом, а в будущем при подходящих возможностях может быть открыт с исходным кодом.
Открытый исходный код должен иметь четкие бизнес-цели.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
На постройку большой модели 10 человекам понадобилось два месяца! Благословен 16 лучшими докладами на конференциях за один год: ни один из лучших документов на рынке не имеет открытого исходного кода.
Автор: Хэнъюй
**Источник: **Кубиты
В компании, созданной в Шэньчжэне в мае этого года, работает менее 10 человек.
Им предстоит сделать немалую задачу: бросить вызов AGI.
Где уверенность? Во-первых, посмотрите на прошлое резюме, а во-вторых, посмотрите на текущие результаты трека.
За последний год эти люди опубликовали в общей сложности 16 крупных статей, посвященных моделям, на ведущих конференциях, таких как CVPR, ICML и ECCV, и одна из них была номинирована на лучшую статью на ведущей конференции ACL 2023.
Каковы были ваши результаты после открытия своего дела? Через два месяца после создания обученная модель вошла в тройку лучших в списке C, а ее возможности на китайском языке обогнали ChatGPT и Claude-v1.3.
Это результат симбиотической матрицы.
А ее модель GS-LLM попала в список впервые с конца июля и оказалась в первом эшелоне среди 65 игроков C-списка.
Итак, кто такая Симбиотическая Матрица?
10 человек бросают вызов AGI
Целью Symbiotic Matrix является создание фабрики по переработке отраслевых данных на основе собственной разработки технологии AGI.
Команда в основном полагается на большую модель GS-LLM собственной разработки.
Масштаб параметров модели варьируется от 7B до 130B и может быть адаптирован в соответствии с реальными потребностями пользователей.
Существуют две версии, основанные на GS-LLM, которые занимают место на C-: одна — версия GS-LLM-Beta с 10 миллиардами параметров, а другая — мини-версия GS-LLM-Beta-Mini с менее чем 10 миллиардами параметров. .
Причина запуска мини-версии заключается в том, что многие пользователи обнаружили, что исходной операционной среды (даже облачной среды) недостаточно для поддержки крупномасштабного локального развертывания.
Результаты испытаний показали, что многомиллиардная версия GS-LLM-Beta может работать хорошо, заняв 6-е место на C-.
Одна из причин, по которой он может оставаться на вершине списка C, заключается в том, что симбиотическая матрица построила полностью независимую структуру обучения, которая обеспечивает относительно полную техническую поддержку всего обучения.
Второй момент — это данные, которым эта компания придает большое значение.
Генеральный директор Symbiotic Matrix Чжан Линь привел простой пример:
Сравните обучение модели с процессом человеческого роста. Если все, что он читал с детства, — это питательные романы, общие способности этого человека не будут очень сильными.
В прошлом году в ходе эксперимента команда обнаружила, что когда данные модели достигают определенного порядка величины, скачок качества данных действительно может вызвать некоторые качественные изменения.
«Другими словами, если у вас есть относительно мелкомасштабная (например, десятки миллиардов) модель и вы снабжаете ее высококачественными данными, результаты обучения будут очень близки к результатам сотен миллиардов уровней», — сказал Чжан Линь. .
Этот эксперимент также заставил команду уделять больше внимания качеству данных и систематическим способам получения высококачественных данных.
Фактически, в последнее время этот момент привлекает все больше и больше внимания со стороны всех слоев общества. Microsoft выпустила новое исследование «Учебник — это все, что вам нужно». Работа показывает, что рост — не единственный выход, но качественные данные ключевой.
В результате команда Symbiosis построила инженерную систему очистки данных, обеспечивающую непрерывную очистку данных 24 часа в сутки.
В настоящее время команда очистила около 20Т текстовых данных, которые можно использовать для обучения: «Такой уровень данных может поддерживать обучение модели очень большой системы».
Однако Чжан Линь также сообщил, что Symbiosis Matrix не будет раскрывать общественности данные, очищенные командой, в краткосрочной перспективе.
Итак, какова концепция фабрики уточнения данных, которую команда хочет построить?
Чжан Линь пояснил, что если под большой моделью понимать «сжатие информации», то она сама по себе является большой базой данных параметров.
Фабрика очистки данных должна обмениваться данными о параметрах и обмениваться ими после обучения модели.
Вы должны знать, что функции больших моделей передаются через параметры. Параметры транзакций на самом деле являются функциями переключения. Нам нужно разнообразие функций больших моделей. «Торговля параметрами — наиболее эффективный путь».
Данные, о которых здесь идет речь, — это не те данные, которые может видеть каждый, а данные параметров. Данные, о которых мы часто говорим, — это фрагмент текста или изображения, а данные, принадлежащие фабрике, — это параметры обученной модели, и эти параметры продаются на коммерческой основе.
"Необработанные данные продаются напрямую, что ограничивается большими объемами и проблемами конфиденциальности". Чжан Линь объяснил, что концепция торговли данными предлагалась в течение многих лет, но она не была полностью принята рынком. Команда считает, что Если данные должны действительно распространяться, они должны быть более разумными, безопасными и эффективными, чтобы наконец были определены транзакции данных на уровне параметров.
По мнению команды, после запуска фабрики уточнения данных некоторые данные не придется повторно обучать, эффективность повысится, а затраты снизятся.
Используйте меньше людей и ресурсов для завершения большой модели системы
В условиях повального увлечения большими моделями важным вопросом стало то, как оценивать большие модели, поэтому возникли различные списки.
После того, как Симбиотическая Матрица была отнесена к категории C-, внешний мир сосредоточился на двух основных моментах:
Помимо хороших результатов, еще одним интересным моментом является то, что это небольшая команда, которая редко встречается в списке.
Команда заявила, что этот список не единственный и самый авторитетный в мире, но он начал появляться в списке через месяц после его создания и однажды вошел в тройку лидеров, что может отражать то, что «мы используем меньше людей и ресурсов для хорошо работать в крупномасштабных модельных системах».
Правильно, в команде Symbiosis Matrix меньше 10 человек.
Людей немного, но все они неплохо умеют сражаться…
Генеральный директор Чжан Линь, технический директор Ван Цзюньцзе и другие основные члены команды являются сотрудниками исследовательского института IDEA и имеют богатый практический опыт работы в системе с открытым исходным кодом отечественных моделей предварительного обучения Fengshenbang (сообщается, что в настоящее время у Fengshenbang более 98 открытых моделей). исходные модели предварительного обучения)
Чжан Линь окончил Государственный университет Нью-Йорка со степенью доктора философии и опубликовал более 30 статей на ведущих компьютерных конференциях. Ранее он работал старшим научным сотрудником в Институте цифровой экономики региона Большого залива Гуандун-Гонконг-Макао (IDEA). ).
Ван Цзюньцзе получил степень доктора компьютерных наук в Университете Васэда и ранее был одним из основных членов команды больших моделей Fengshenbang.
Глядя на текущий рынок ИИ, не существует прецедента, чтобы небольшая команда хорошо поработала в сфере ИИ. Всего 11 человек стоят за самой известной моделью диаграммы Винсента Midjourney, которая известна как эталон для организаций новой эры. В эпоху искусственного интеллекта 2.0 в стране и за рубежом появилось множество крупных предпринимательских команд, которые подчеркивают «маленький, но красивый».
Конечно, Чжан Линь сказал, что более глубокая причина заключается в том, что крупные модели — это не просто проекты, которые накапливают рабочую силу и требуют небольшого количества элитных команд для обеспечения эффективности.
Он сказал, что при обучении модели технические аспекты, такие как оптимизация оператора, смешанная точность и т. д., а также проблемы связи при одновременной поддержке сотен карт, тестируют все инженерные возможности. Если небольшая команда может решить возникшие инженерные проблемы и повысить эффективность, нет необходимости полагаться на большую команду для их решения.
Кроме того, небольшая техническая основная команда более способствует сохранению идеологической независимости и изучению большего количества возможностей, не придерживаясь правил.
По его оценке, лучших талантов в области масштабного моделирования в стране "может набрать всего около 100 человек", а для формирования большой команды мало места.
Поэтому в течение определенного периода времени команда останется в размере «менее десяти человек».
В конечном счете, это разное понимание парадигм и концепций, лежащих в основе эпохи ИИ 2.0 и эпохи ИИ 1.0.
В процессе общения Чжан Линь также прямо выразил мнение команды, отличающееся от основных голосов на другом уровне, что отражено в концепции открытого и закрытого исходного кода.
Некоторое время назад, когда была выпущена бесплатная и коммерчески доступная LLaMA-2, многие говорили, что это станет огромным ударом по стартапам на рынке, поскольку LLaMA-2 может удовлетворить потребности большинства компаний в более низкой стоимости и персонализации.
«LLaMA-2 не изменил структуру рынка.» По мнению команды Symbiosis, действительно ведущие команды не открывают исходные коды основных технологий.
Чжан Линь также добавил, что на нынешнем этапе значение открытого исходного кода больше заключается в просвещении рынка, а не в содействии коммерциализации.
Точно так же, как Raspberry Pi имеет значение для энтузиастов электроники, но не изменит рынок мобильных компьютеров, LLAMA 2 более ценен для пользователей начального уровня, но окажет небольшое влияние на пользователей, которые хотят заняться коммерцией.
По-прежнему существует множество симбиотических матриц с «неосновными» взглядами и пониманиями, подобными этой.
Например, мы не считаем, что большие модели являются конечной точкой общего ИИ, а также не считаем, что ChatGPT представляет собой окончательное направление.
Они также осторожно относятся к быстрому расширению в стиле единорога и уделяют больше внимания сплоченности команды и накоплению технологий.
……
Что касается будущего пути развития, Symbiosis Matrix в краткосрочной перспективе предпочитает быть с закрытым исходным кодом, а в будущем при подходящих возможностях может быть открыт с исходным кодом.
Открытый исходный код должен иметь четкие бизнес-цели.