中国で最も先進的な Llama2 中国大型モデルの謎を解明する

作者: FlagAlpha

出典: ラマ中国人コミュニティ

画像ソース: Unbounded AI によって生成

導入

7 月 31 日、Llama 中国語コミュニティは、中国初の真の中国語版 Llama2-13B 大型モデルの完成を主導しました。これにより、モデルの根本から Llama2 の中国語機能が大幅に最適化および改善されました。 Llama2の中国版がリリースされれば、中国における大型モデルの新時代が開かれることは間違いありません。

| 世界最強だけど中国語は弱い

Llama2 は現在、世界で最も強力なオープンソースの大規模モデルですが、その中国語機能を早急に改善する必要があります。

AI分野で最も強力なオープンソースの大規模モデルであるLlama2は、2兆のトークンデータに基づいて事前トレーニングされ、100万の人間がラベル付けしたデータに基づいて微調整されて対話モデルを取得します。推論、プログラミング、対話、知識テストを含む多くのベンチマーク テストにおいて、MPT、Falcon、第一世代 LLaMA などのオープンソースの大規模言語モデルよりもパフォーマンスが大幅に向上し、初めて商用 GPT-3.5 にも匹敵します。多くのオープンソース モデルの中でも、ユニークであること。

Llama2 の事前学習データは初代と比べて 2 倍になりましたが、中国語の事前学習データの割合はまだ非常に小さく、わずか 0.13% であり、これがオリジナルの Llama2 の中国語能力の弱さにつながっています。

私たちは中国語でいくつかの質問をしましたが、ほとんどの場合、Llama2 は中国語で質問に答えることができなかったり、中国語と英語が混在した形式で質問に答えたりすることがわかりました。したがって、Llama2 の中国語能力を高めるために、大規模な中国語データに基づいて Llama2 を最適化する必要があります。

このため、中国の一流大学の大規模モデル博士チームは Llama 中国語コミュニティを設立し、Llama2 中国語大規模モデルのトレーニングを開始しました。

| 主要なラマ中国人コミュニティ

Llama 中国語コミュニティは、中国有数のオープンソースの大規模モデル中国語コミュニティです。Github は 4.7,000 のスターを獲得しています。清華大学、交通大学、浙江大学の博士チームが主導しています。60 人以上の上級エンジニアが集まっています。 AI 分野の優秀な人材とさまざまな業界の 2,000 人以上の優秀な人材。

コミュニティリンク:

コミュニティの歴史:

| 最初の事前トレーニング済み中国 Llama2 大型モデル!

スピナーじゃないよ！代わりに、200B の中国語コーパスに基づいて一から学習されます。

Llama 中国語コミュニティは、中国で初めて 13B Llama2 モデルの真の中国語バージョンである Llama2- Chinese-13B を完成させました。これは、Llama2 の中国語機能をモデルの根本から大幅に最適化し、改善しました。

Llama2 の中国文化には、おおまかに 2 つのルートがあります。

1. 既存の中国語の命令データセットに基づいて、事前トレーニングされたモデルの命令を微調整して、基本モデルが中国語の質問と回答の機能に合わせられるようにします。このルートの利点は、低コスト、少量の命令微調整データ、必要な計算能力リソースが少ないこと、および中国のラマのプロトタイプを迅速に実装できることです。

しかし、欠点も明らかです. 微調整はベースモデルの既存の中国語能力を刺激することしかできませんが、Llama2 自体の中国語トレーニングデータが少ないため、刺激される能力も限られています. まだ事前トレーニングから始める必要があります。

2. 大規模な中国語コーパスに基づく事前トレーニング。このルートの欠点は、コストが高いことです。大規模で高品質な中国データが必要であるだけでなく、大規模なコンピューティングリソースも必要です。しかし、利点も明白です。つまり、中国の機能をモデルの根幹から最適化し、問題の根本原因を真に達成し、強力な中国の機能をコアから大型モデルに注入できるのです。

完全な中国の大型モデルをカーネルから実装するために、私たちは 2 番目のルートを選択しました。私たちは高品質の中国語コーパス データセットのバッチを組み立て、事前トレーニングから始めて Llama2 の大規模モデルを最適化しました。事前トレーニング データの一部は次のとおりです。

最初の Llama2- Chinese-13B モデルの事前トレーニング データには 200B トークンが含まれていますが、将来的には Llama2- Chinese を繰り返し更新し、事前トレーニング データを徐々に 1T トークンに増やしていく予定です。さらに、70Bモデルの中国訓練前バージョンも徐々に公開していきますので、ご期待ください。

一般知識、言語理解、創造力、論理的推論、コードプログラミング、仕事スキルなど、さまざまな側面から大規模モデルに質問し、満足のいく結果を得ました。

いくつかの効果を以下に示します:

一般知識

言語理解

創造的な能力

論理的推論

コードプログラミング

作業能力

🏅ラマ中国人コミュニティパイロット計画🏅

コミュニティの長期的な開発と迅速なイテレーションに焦点を当て、一方では、大規模モデルの波に投資することに熱心で野心的なすべての AI 愛好家に専門的な技術サービスを提供しますが、他方では、あらゆる発展途上の AI 時代をリードし、あらゆる面からリソースを獲得するために、ラマ中国語コミュニティ パイロット プランの第 1 フェーズを期間限定で開始します。パイロット プランの各メンバーは、次の「7TOP」特典を受け取ります。

1.モデルTOP

参加することで、中国初の事前トレーニング済み中国語版Llama2- Chinese-13Bモデル（微調整されていないバージョン）を使用する権利を得ることができ、今後も継続的に中国語能力の向上を図ってまいります。パイロット プログラムの各メンバーは、より大規模なデータに基づいたモデル コアを優先して、最新のモデル バージョンを提供します。

2. テクノロジーTOP

最も専門的な大型模型技術チームは、国内トップクラスの大学の博士チームによって率いられています。最先端の技術的問題であっても、詳細な理論的分析であっても、当社は最先端のソリューションを提供します。

3.トップサービス

パイロット プランでは、個別の 1V1 ガイダンスが提供され、いつでもどこでも質問があればすぐに回答します。当社は、お客様が Llama2 ラージ モデル アプリケーションを迅速に実装し、技術的なブレークスルーを確実に達成できるよう、包括的なサポートを提供することに尽力しています。貴社が大規模モデルに関連する問題に遭遇した場合、弊社は問題の分析と解決もお手伝いします。

4.ティーチングTOP

理論と実践を組み合わせた教育モードにより、大型モデルの謎を理解することができます。大規模モデルの技術分析から主要なアルゴリズムと論文の説明、民営化された大規模モデルのゼロからの構築、大規模インダストリ モデルのトレーニングまで、技術の進歩を達成するために段階的に教えます。コース概要は以下の通りです。

写真

5. 主要なリソース

当社には中国最大のラマ中国語コミュニティがあり、Github には 470 万のスターが集まり、2,000 人以上のトップ人材が集まっています。ここでは、AI投資家、起業家CEO、さまざまな業界のリーダーと交流し、協力、投資、プロモーション、採用などのワンストップサービスを求めます。仕事/パートナー探し/投資/製品販売など、お客様のニーズにお応えします。これは、技術的な人材が知識やスキルを交換するための黄金のプラットフォームであり、あらゆる分野のトップの専門家を見つけてコミュニケーションを取り、一緒に議論することができます。

6. 活動内容TOP

オンラインでの定期的なイベントの開催だけでなく、オフラインイベントでも技術プレゼンテーションや交流会を開催し、Llama2モデルをベースにした様々な業界の活性化を目指しています。トップの専門家と直接対話する機会を提供し、業界のリーダーと並んで前進できるようにします。技術初心者も経験豊富な大型牛も、世界トップの技術人材とともに未来を目指す絶好の機会を提供します！

7. 最高のコンピューティング能力

コミュニティは学生向けにコンピューティング パワー リソース チャネルを提供しており、市場よりも低価格で利用できます。当社は技術開発におけるコンピューティングパワーの重要性を理解しており、技術分野であなたのスタイルを発揮できるよう、効率的かつ安定したコンピューティングパワーのサポートを提供します。