AI モデルとコンピューティング プラットフォームを組み合わせたハードウェアとソフトウェアの共同イノベーションにより、より大きなコンピューティング能力の可能性が解き放たれることが事実によって証明されています。これは、スパースコンピューティングに代表される革新的な技術が、大規模モデル時代のコンピューティング能力開発の鍵となることを改めて証明しています。
MLPerf は、チューリング賞受賞者のデビッド パターソン氏によって、Google、スタンフォード大学、ハーバード大学などのトップ学術機関と共同で設立され、急速に成長する AI を測定するための最も権威があり、最も影響力のある国際的な AI パフォーマンス ベンチマーク テストです。AI のタイムリーな追跡と評価を実施します。コンピューティング要件とパフォーマンス。
MLPerfがランキングを発表、中国のAIチップ企業が再び世界1位にランクイン！大規模モデル推論の 3 人のチャンピオン、H100 を超えるパフォーマンス
ChatGPT などの AIGC アプリケーションが大規模モデルの波を引き起こすにつれて、インフラストラクチャとしてのコンピューティング パワー レイヤーが最初に恩恵を受ける業界となりました。
しかし、高いコンピューティング能力の要求や高コストなどの問題が、企業が大規模モデルを実装する際の一般的な悩みの種となっており、AI の開発を制限する可能性が高まっています。大規模モデルのパラメータは日々増加しており、コンピューティングの能力はますます高まっています。電力供給のボトルネックが差し迫っており、両者の間に大きな矛盾が生じています。
より優れた大規模モデルのコンピューティング能力ソリューションを探求する方法は、業界の共通の焦点です。
最近、世界的に権威ある評価機関 MLPerf が最新の推論評価結果を発表しました。MLPerf が GPT 大規模モデル推論テストを導入するのはこれが初めてです。参加率は新記録に達し、NVIDIA、Intel から 13,500 件を超えるパフォーマンス結果が提出されました。 、Google、クアルコムなどの企業。
MLPerf Inference 3.1 では、Moffet AI S30 コンピューティング カードが、大型モデル GPT-J (60 億パラメータ) の 1 枚のカード、4 枚のカード、および 8 枚のカードの計算能力で 1 位にランクされました。
Ink core はこれまで、MLPerf Inference 2.0 および 2.1 で 2 年連続で 1 位を獲得しています。
インク コアの成果は、大規模モデルのコンピューティング パワー ソリューションに実現可能な革新の方向性をもたらしました。
AI モデルとコンピューティング プラットフォームを組み合わせたハードウェアとソフトウェアの共同イノベーションにより、より大きなコンピューティング能力の可能性が解き放たれることが事実によって証明されています。これは、スパースコンピューティングに代表される革新的な技術が、大規模モデル時代のコンピューティング能力開発の鍵となることを改めて証明しています。
Ink Core は MLPerf オープン部門に参加しており、主催者の MLCommons によれば、この部門はイノベーションを促進することを目的としています。したがって、出場者はソフトウェアとハードウェアのコラボレーションを通じてコンピューティング能力を向上させる方法を模索できます。
MLPerf の GPT-J ラージ モデルでは、4nm プロセスの H100 純粋なハードウェア アクセラレーション ソリューションと比較して、12nm プロセスの Ink Core S30 コンピューティング カードは、「独自のデュアル スパース アルゴリズム + ハードウェア コラボレーション」により最大 1.8 倍の速度を達成しました。 「」方式のメリット。
この評価の GPT-J モデルは生成 AI モデルです。8 カード、4 カード、およびシングルカード モードでは、Ink Core S30 コンピューティング カードのパフォーマンスは 170.59、91.57、および 23.28 (サンプル/秒)それぞれ、NVIDIA H100 の 1.6 倍、1.8 倍、1.8 倍のパフォーマンスに達し、AIGC タスクにおけるインク コア製品の能力を実証しています。
スパースコンピューティング——大型モデルの「潜在株」が市場での認知を獲得
インク コアの継続的な優れた結果は、主にスパース化アルゴリズムに基づくソフトウェアとハードウェアの共同設計によるものです。
大規模モデルの時代では、スパース コンピューティングの重要性は自明です。AI モデルのサイズは、そのスパース化の可能性に正比例します。
つまり、モデルが大きくなるとアルゴリズムが疎になる可能性が高くなり、疎な計算の高速化の度合いも高くなります。一般的な大規模言語モデルの場合、スパース コンピューティングは数十倍の高速化を実現できます。
Inkcore の独自のデュアル スパース アルゴリズムとソフトウェアとハードウェアの協調設計を組み合わせることで、Inkcore の Antoum® チップは世界初の高スパース倍率 AI チップとなり、最大 32 倍のスパース性をサポートします。これは、Inkcore がこの MLPerf キーで新記録を樹立したものです。
モデルが大きくなるほど、スパース コンピューティングの利点はより明白になります。特に、GPT などの大規模モデルのパラメーターがしばしば数百億または数千億に達する現在の状況では、インク コアの堀がより安定します。
Ink Core の製品の強みとスパース コンピューティングの一般的な傾向は業界でも認められています。Ink Core の商品化プロセスは重要なブレークスルーを次々と実現し、企業の AI アプリケーションの加速を支援しています。
つい最近、Ink Core は正式に Byte MLPerf をサポートするサプライヤーの 1 つになりました。
プロジェクトアドレス:
現在、Ink Core AI コンピューティング プラットフォームは、BLOOM、OPT、GPT-J、LLaMA、StableDiffusion など、さまざまなパラメーター レベルの大規模モデルをサポートできます。
同時に、高スループット、低遅延、低消費電力という特徴を備えており、コンピューティングパワーの問題を軽減し、真に「使いやすく」「手頃な価格」のラージモデルコンピューティングパワーソリューションを企業にもたらします。 。
コンピューティング能力に根本的な変化をもたらし、スパース コンピューティングは大規模モデルの開発に役立ちます
Ink Core のスパース コンピューティング ソリューションは、現在のコンピューティング能力の問題を軽減するだけでなく、AI の継続的な開発のための新たなスペースを切り開くことができます。
スパースコンピューティングによりAIモデルの計算量が削減されるため、大規模なモデルでは計算量をあまり発生させずにパラメータ数を数桁増加させることができ、大規模モデルにおけるパラメータの増加と計算能力のボトルネックとの矛盾が解消されることが期待されます。 . 根本的に解決しました。
同時に、計算量の削減により、高い計算能力要件、高い消費電力、高コストなどの大規模モデルの問題点も解決され、「win-win」の効果が実現します。
3 回連続の MLPerfs の優れた結果は、インク コア製品の強さを証明するだけでなく、業界に新たな啓示をもたらします。スパース コンピューティングなどのテクノロジの助けを借りて、大規模モデルの開発と適用により、より広範な製品の導入が期待されます。加速された AIGC などのアプリケーションは、あらゆる分野で普及しています。
MLPerf について
MLPerf は、チューリング賞受賞者のデビッド パターソン氏によって、Google、スタンフォード大学、ハーバード大学などのトップ学術機関と共同で設立され、急速に成長する AI を測定するための最も権威があり、最も影響力のある国際的な AI パフォーマンス ベンチマーク テストです。AI のタイムリーな追跡と評価を実施します。コンピューティング要件とパフォーマンス。