31 июля китайское сообщество Llama возглавило завершение первой большой модели китайской версии Llama2-13B в бытовом смысле, что значительно оптимизировало и улучшило китайские возможности Llama2 снизу модели. Нет сомнений, что китайская версия Llama2 с выходом откроет новую эру отечественных больших моделей!
##|Самый сильный в мире, но слабый в китайском
Llama2 на данный момент является самой мощной крупной моделью с открытым исходным кодом в мире, но ее китайские возможности требуют срочного улучшения.
Являясь самой мощной крупной моделью с открытым исходным кодом в области искусственного интеллекта, Llama2 предварительно обучается на основе 2 триллионов токенов и точно настраивается на 1 миллионе данных, размеченных людьми, для получения диалоговой модели. Во многих тестах производительности, включая рассуждение, программирование, диалог и тестирование знаний, производительность значительно выше, чем у моделей больших языков с открытым исходным кодом, таких как MPT, Falcon и LLaMA первого поколения, а также впервые сравнима с коммерческим GPT-3.5. , среди множества моделей с открытым исходным кодом. Будьте уникальными.
Хотя данные предварительного обучения Llama2 увеличились вдвое по сравнению с первым поколением, доля данных предварительного обучения китайского языка все еще очень мала, составляя всего 0,13%, что также приводит к слабым китайским способностям оригинальной Llama2.
Мы задали несколько вопросов на китайском языке и обнаружили, что в большинстве случаев Llama2 не может ответить на китайском языке или отвечает на вопросы в смешанной форме китайского и английского языков. Следовательно, Llama2 необходимо оптимизировать на основе крупномасштабных китайских данных, чтобы Llama2 имела лучшие китайские возможности.
С этой целью большая команда докторантов-моделей из ведущих отечественных университетов основала сообщество Llama Chinese и начала программу обучения крупным китайским моделям Llama2.
| Ведущая китайская община в Ламе
Сообщество ламы китайского — ведущее крупномасштабное китайское сообщество с открытым исходным кодом в Китае. Github достигло 4,7 тыс. звезд. Его возглавляют докторские группы из Университета Цинхуа, Университета Цзяотун и Университета Чжэцзян. Оно собрало более 60 старших инженеров. в области искусственного интеллекта и более 2000 лучших талантов в различных отраслях.
Ссылка на сообщество:
История сообщества:
| Первая большая модель китайской ламы2, предварительно обученная!
Не доработка! Вместо этого он обучается с нуля на основе китайского корпуса 200B!
Китайское сообщество Llama является первым в Китае, кто завершил настоящую китайскую версию модели 13B Llama2: Llama2-Chinese-13B, которая значительно оптимизирует и улучшает китайские возможности Llama2 в нижней части модели.
Китайская культура Llama2 может пойти примерно двумя путями:
На основе существующего набора данных инструкций на китайском языке настройте инструкции предварительно обученной модели так, чтобы базовая модель могла соответствовать возможностям вопросов и ответов на китайском языке. Преимуществами этого маршрута являются низкая стоимость, небольшой объем данных для точной настройки инструкций, меньшие затраты вычислительных ресурсов и возможность быстрой реализации прототипа китайской ламы.
Но недостатки также очевидны.Точная настройка может только стимулировать существующие китайские способности базовой модели.Однако, поскольку у Llama2 меньше данных по китайскому обучению, способность, которую можно стимулировать, также ограничена.Он лечит симптомы, но не корень. причина и существенно повышает китайские возможности модели Llama 2. Вам все равно нужно начать с предварительной подготовки.
Предварительное обучение на базе масштабного китайского корпуса. Минус этого маршрута – высокая стоимость! Требуются не только крупномасштабные высококачественные китайские данные, но и масштабные вычислительные ресурсы. Но преимущества также очевидны: он может оптимизировать китайские способности на нижнем уровне модели и действительно достичь эффекта устранения основной причины, внедрив мощные китайские способности в большую модель из ядра!
Чтобы реализовать основательную китайскую большую модель из ядра, мы выбрали второй путь! Мы собрали партию высококачественных наборов данных китайского корпуса и оптимизировали большую модель Llama2, начиная с предварительного обучения. Некоторые данные перед тренировкой следующие:
Данные предварительного обучения первой модели Llama2-Chinese-13B содержат токены 200B. В будущем мы продолжим итеративно обновлять Llama2-Chinese и постепенно увеличивать данные предварительного обучения до 1T токенов. Кроме того, мы постепенно будем открывать китайскую предтренировочную версию модели 70Б, так что следите за обновлениями!
Мы проверили большую модель с различных аспектов, таких как общие знания, понимание языка, творческие способности, логическое мышление, программирование кода, навыки работы и т. д., и получили удовлетворительные результаты!
Часть эффектов показана ниже:
общие знания
Понимание языка
Творческие способности
Логическое объяснение
программирование кода
работоспособность
🏅Пилотный план китайского сообщества лам🏅
Ориентируясь на долгосрочное развитие и быстрое обновление сообщества, с одной стороны, он предоставляет профессиональные технические услуги каждому энтузиасту искусственного интеллекта, который полон энтузиазма и стремится инвестировать в волну крупномасштабных моделей; чтобы взять на себя ведущую роль в Эпоха развития искусственного интеллекта, и чтобы получить ресурсы со всех аспектов, мы запустим первую фазу пилотного плана китайского сообщества лам в течение ограниченного времени! Каждый участник программы Espier получит следующие преимущества «7TOP»:
Модель ТОП
Присоединяйтесь, чтобы получить право использовать первую предварительно обученную китайскую версию модели Llama2-Chinese-13B в Китае (не доработанная версия). В дальнейшем мы продолжим расширять китайские возможности ядра модели на основе крупномасштабные данные, а также будет отдавать приоритет каждому участнику пилотной программы, предоставляющему самую совершенную версию модели.
Технологии ТОП
Это самая профессиональная команда в сфере крупных модельных технологий, возглавляемая командой докторантов из ведущих отечественных университетов. Будь то самые передовые технические вопросы или углубленный теоретический анализ, мы предоставим вам самые передовые решения.
Сервис ТОП
В рамках пилотного плана вы получите персональные рекомендации 1 V 1. Когда и где бы у вас ни возникали вопросы, мы оперативно на них ответим. Мы стремимся предоставить всестороннюю поддержку, чтобы помочь вам быстро внедрить приложения для больших моделей Llama2 и гарантировать успешное достижение технологических прорывов. Если в вашей компании возникнут проблемы, связанные с большими моделями, мы также поможем вам их проанализировать и решить.
Обучение ТОП
Режим обучения, сочетающий теорию и практику, позволит вам познать тайны больших моделей. От технического анализа крупных моделей до объяснений ключевых алгоритмов и документов, построения приватизированных крупных моделей с нуля и обучения работе с крупными отраслевыми моделями — мы шаг за шагом научим вас достигать технологического прогресса. Краткое содержание курса следующее:
картина
Лучшие ресурсы
У нас самое большое сообщество китайских лам в Китае: Github набрал 4,7 тысячи звезд и собрал более 2000 лучших талантов. Здесь вы будете общаться с инвесторами в области искусственного интеллекта, предприимчивыми руководителями и лидерами отрасли, чтобы получить универсальные услуги, такие как сотрудничество, инвестиции, продвижение по службе и набор персонала. Найдите работу/партнера/инвестируйте/продавайте продукцию, мы сможем удовлетворить ваши потребности. Это золотая платформа для обмена знаниями и навыками для технических талантов. Здесь можно найти ведущих экспертов из всех слоев общества для совместного общения и дискуссий.
Активности ТОП
Мы не только проводим регулярные онлайн-мероприятия, но также проводим технические презентации и обмен информацией на оффлайн-мероприятиях, стремясь расширить возможности различных отраслей на основе модели Llama2. Предоставьте вам возможность напрямую взаимодействовать с ведущими экспертами, что позволит вам двигаться вперед бок о бок с лидерами отрасли. Независимо от того, являетесь ли вы техническим новичком или опытным экспертом, мы предоставим вам прекрасную возможность исследовать будущее вместе с лучшими техническими талантами мира!
Максимальная вычислительная мощность
Сообщество предоставляет студентам каналы вычислительных ресурсов, позволяя использовать их по ценам ниже рыночных. Мы понимаем важность вычислительной мощности для технологического развития и предоставляем вам эффективную и стабильную поддержку вычислительной мощности, которая поможет вам проявить свои таланты в технической области.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Представляем самую продвинутую китайскую модель Llama2 в Китае
Автор: FlagAlpha
Источник: Китайское сообщество лам
Введение
##|Самый сильный в мире, но слабый в китайском
Llama2 на данный момент является самой мощной крупной моделью с открытым исходным кодом в мире, но ее китайские возможности требуют срочного улучшения.
Являясь самой мощной крупной моделью с открытым исходным кодом в области искусственного интеллекта, Llama2 предварительно обучается на основе 2 триллионов токенов и точно настраивается на 1 миллионе данных, размеченных людьми, для получения диалоговой модели. Во многих тестах производительности, включая рассуждение, программирование, диалог и тестирование знаний, производительность значительно выше, чем у моделей больших языков с открытым исходным кодом, таких как MPT, Falcon и LLaMA первого поколения, а также впервые сравнима с коммерческим GPT-3.5. , среди множества моделей с открытым исходным кодом. Будьте уникальными.
Мы задали несколько вопросов на китайском языке и обнаружили, что в большинстве случаев Llama2 не может ответить на китайском языке или отвечает на вопросы в смешанной форме китайского и английского языков. Следовательно, Llama2 необходимо оптимизировать на основе крупномасштабных китайских данных, чтобы Llama2 имела лучшие китайские возможности.
| Ведущая китайская община в Ламе
Сообщество ламы китайского — ведущее крупномасштабное китайское сообщество с открытым исходным кодом в Китае. Github достигло 4,7 тыс. звезд. Его возглавляют докторские группы из Университета Цинхуа, Университета Цзяотун и Университета Чжэцзян. Оно собрало более 60 старших инженеров. в области искусственного интеллекта и более 2000 лучших талантов в различных отраслях.
| Первая большая модель китайской ламы2, предварительно обученная!
Не доработка! Вместо этого он обучается с нуля на основе китайского корпуса 200B!
Китайское сообщество Llama является первым в Китае, кто завершил настоящую китайскую версию модели 13B Llama2: Llama2-Chinese-13B, которая значительно оптимизирует и улучшает китайские возможности Llama2 в нижней части модели.
Китайская культура Llama2 может пойти примерно двумя путями:
Но недостатки также очевидны.Точная настройка может только стимулировать существующие китайские способности базовой модели.Однако, поскольку у Llama2 меньше данных по китайскому обучению, способность, которую можно стимулировать, также ограничена.Он лечит симптомы, но не корень. причина и существенно повышает китайские возможности модели Llama 2. Вам все равно нужно начать с предварительной подготовки.
Чтобы реализовать основательную китайскую большую модель из ядра, мы выбрали второй путь! Мы собрали партию высококачественных наборов данных китайского корпуса и оптимизировали большую модель Llama2, начиная с предварительного обучения. Некоторые данные перед тренировкой следующие:
Часть эффектов показана ниже:
общие знания
🏅Пилотный план китайского сообщества лам🏅
Ориентируясь на долгосрочное развитие и быстрое обновление сообщества, с одной стороны, он предоставляет профессиональные технические услуги каждому энтузиасту искусственного интеллекта, который полон энтузиазма и стремится инвестировать в волну крупномасштабных моделей; чтобы взять на себя ведущую роль в Эпоха развития искусственного интеллекта, и чтобы получить ресурсы со всех аспектов, мы запустим первую фазу пилотного плана китайского сообщества лам в течение ограниченного времени! Каждый участник программы Espier получит следующие преимущества «7TOP»:
Присоединяйтесь, чтобы получить право использовать первую предварительно обученную китайскую версию модели Llama2-Chinese-13B в Китае (не доработанная версия). В дальнейшем мы продолжим расширять китайские возможности ядра модели на основе крупномасштабные данные, а также будет отдавать приоритет каждому участнику пилотной программы, предоставляющему самую совершенную версию модели.
Это самая профессиональная команда в сфере крупных модельных технологий, возглавляемая командой докторантов из ведущих отечественных университетов. Будь то самые передовые технические вопросы или углубленный теоретический анализ, мы предоставим вам самые передовые решения.
В рамках пилотного плана вы получите персональные рекомендации 1 V 1. Когда и где бы у вас ни возникали вопросы, мы оперативно на них ответим. Мы стремимся предоставить всестороннюю поддержку, чтобы помочь вам быстро внедрить приложения для больших моделей Llama2 и гарантировать успешное достижение технологических прорывов. Если в вашей компании возникнут проблемы, связанные с большими моделями, мы также поможем вам их проанализировать и решить.
Режим обучения, сочетающий теорию и практику, позволит вам познать тайны больших моделей. От технического анализа крупных моделей до объяснений ключевых алгоритмов и документов, построения приватизированных крупных моделей с нуля и обучения работе с крупными отраслевыми моделями — мы шаг за шагом научим вас достигать технологического прогресса. Краткое содержание курса следующее:
картина
У нас самое большое сообщество китайских лам в Китае: Github набрал 4,7 тысячи звезд и собрал более 2000 лучших талантов. Здесь вы будете общаться с инвесторами в области искусственного интеллекта, предприимчивыми руководителями и лидерами отрасли, чтобы получить универсальные услуги, такие как сотрудничество, инвестиции, продвижение по службе и набор персонала. Найдите работу/партнера/инвестируйте/продавайте продукцию, мы сможем удовлетворить ваши потребности. Это золотая платформа для обмена знаниями и навыками для технических талантов. Здесь можно найти ведущих экспертов из всех слоев общества для совместного общения и дискуссий.
Мы не только проводим регулярные онлайн-мероприятия, но также проводим технические презентации и обмен информацией на оффлайн-мероприятиях, стремясь расширить возможности различных отраслей на основе модели Llama2. Предоставьте вам возможность напрямую взаимодействовать с ведущими экспертами, что позволит вам двигаться вперед бок о бок с лидерами отрасли. Независимо от того, являетесь ли вы техническим новичком или опытным экспертом, мы предоставим вам прекрасную возможность исследовать будущее вместе с лучшими техническими талантами мира!
Сообщество предоставляет студентам каналы вычислительных ресурсов, позволяя использовать их по ценам ниже рыночных. Мы понимаем важность вычислительной мощности для технологического развития и предоставляем вам эффективную и стабильную поддержку вычислительной мощности, которая поможет вам проявить свои таланты в технической области.