人類史上最も急成長しているハイテクノロジーとして、大規模モデルは皆の注目を集めています。 昨日のことだったWeb3は、法的にますます挑戦されるようになっています。 しかし、まったく異なる技術であるため、両者の間には代替関係はありません。万物の島の「AI+ 暗号資産スタジオ」の責任者である田宏飛氏は、大規模モデルの開発で遭遇する問題や、Web3分野の企業がこれらの問題を解決しようとしている取り組みについてご説明します。

大規模モデル産業の問題とWeb3の導入方法

2015年以降、インターネット業界は寡占段階に入り、世界各国でプラットフォーム企業の独占禁止法審査が行われています。大規模モデルの登場により、寡占企業の独占地位がさらに強化されています。大規模モデルには、アルゴリズム、計算能力、データなどが含まれます。

• アルゴリズムの分野では、独占の度合いがある一方で、アルゴリズムは主にオープンソースの力と研究大学の競争、そして人々の寡頭政治家への不信感によって広くオープンのままになることがあります。
• 計算能力の観点から、大規模なモデルのトレーニングコストが非常に高いため、計算能力は大企業にしか負担できないため、これは実質的にアルゴリズムの制作が完全に大企業によって制御されるという結果につながります。
• データに関しては、大規模モデルのトレーニングは公開データに頼っていますが、大規模モデルのパラメータの成長に基づいて公開データがすぐに枯渇するため、大規模モデルの持続的成長はプライベートデータに依存しています。多くの中小企業が所有するデータの絶対量は膨大ですが、それ単体では活用するのが難しいため、大企業は依然としてデータの独占を持っています。

その結果、ビッグモデル時代はこれまで以上に中央集権的であり、将来の世界はおそらくわずかないいは1台のコンピュータによって制御されるでしょう。（分散型Web3の世界でも、Vitalikが提案するEthereumの最終ゲームは、巨大なブロック外機器によって実行されるでしょう。）

さらに、ChatGPTを開発したOpenAI社は、わずか20人以上の中核メンバーしか持っていません。様々な理由により、ChatGPTのアルゴリズムはこれまでオープンソース化されていません。元々の非営利企業性質は限られた利益に変わりました。ChatGPTに依存するさまざまなアプリケーションが人々の生活を変えているため、ChatGPTモデルへのいくつかの変更は人間に大きな影響を与えるでしょう。Googleの「悪を行わない」原則と比較して、ChatGPTは人々により深い影響を与えています。

したがって、モデルの計算信頼性は重要な問題となります。OpenAIは非営利として運営されることがありますが、わずかな人々による権力の制御は依然として多くの逆効果をもたらすでしょう。（対照的に、Vitalikが提案したEthereumエンドゲームは機械によって生成されていますが、一般の公開による非常に簡単な検証を通じて透明性を維持します。）

同時に、大規模モデル産業にはまだ問題があります：計算能力の不足、利用可能なトレーニングデータが消費されようとしている、およびモデル共有。統計によると、2021年以前、人工知能産業の問題はデータの不足であり、すべてのディープラーニング企業が垂直産業でデータを探しています。そして大規模モデルの後、計算能力の不足が障害となります。

大規模モデルの開発は、データ収集、データ前処理、モデルトレーニング、モデルの微調整、展開クエリ推論のいくつかの段階に分かれています。これらの段階から、ブロックチェーンが大規模モデルに与える貢献と大規模モデルの過度な集中の害をどのように防ぐかについて簡単に説明しましょう。

• データに関しては、2030年以降、公共データが消費されるため、ブロックチェーン技術を通じてプライバシーを保護しながら、より価値のある大量のプライベートデータを活用する必要があります。
• データ注釈に関して、トークンはデータの大規模な注釈と検証を促進するために使用できます;
• モデルトレーニング段階では、モデル共有と共同トレーニングを通じて、計算能力の共有が実現されます;
• モデルの微調整フェーズ中、コミュニティの参加はトークンを通じてインセンティブ付けすることができます;
• ユーザークエリと推論計算段階では、ブロックチェーンはユーザーデータのプライバシーを保護することができます。

特に:

1) Scarce computing power

大規模なモデルのためには、計算能力が必要であり、今日では最も高価な生産要素です。そのため、資金調達したばかりのスタートアップは、80%の資金をNVIDIAに移さなければならず、GPUを購入しなければなりません。自社の大規模なモデルを生産する企業は、少なくとも5,000万ドルをかけてデータセンターを構築しなければならず、小規模なスタートアップは高額なクラウドコンピューティングサービスを購入しなければなりません。

しかし、大規模モデルの短期的な人気と大規模モデル自体によるコンピューティングリソースの巨大な消費は、NVIDIAの供給能力を大幅に上回っています。統計によると、大規模モデルの計算能力の需要は数ヶ月ごとに2倍になっています。2012年から2018年の間に、計算能力の需要は30万倍に増加し、大規模モデルの計算コストは年々31倍に増加しました。

中国のインターネット企業にとって、彼らも高性能GPUに対する米国の輸出規制に直面しなければなりません。巨額のトレーニングコストが大規模なモデル技術がわずかな人々によって制御されている核心的な理由であると言えます。

大きなモデルの計算力の問題をブロックチェーンを通じてどのように解決するのか？

大規模モデルの製造を考えると、主に大規模モデルのトレーニング、ファインチューニング、およびユーザークエリ推論計算に分けられます。大規模モデルのトレーニングは一般的に高額ですが、大規模モデルのバージョンは一度だけ生成すればよいだけです。大半の場合、大規模モデルサービスのユーザーには推論計算のみが必要です。AWSの統計によれば、これは80%が推論計算で実際に消費されていることも確認されています。

大規模モデルのトレーニングには、GPU間の高速通信機能が必要ですが、それをネットワーク上で完了することはできません（低コストのために時間延長を選択する場合を除く）。ただし、推論計算は単一のGPUで行うことができます。ファインチューニングは生成された大規模モデルに基づいており、専門家データが提供されているため、大規模モデルのトレーニングよりもはるかに少ない計算リソースが必要とされます。

グラフィックスレンダリングに関しては、消費者向けGPUの性能がエンタープライズ向けGPUよりも優れており、ほとんどの時間がアイドル状態であることは明らかです。カリフォルニア大学バークレー校が1999年にエイリアンを探すためにSETIを開始し、2000年にグリッドコンピューティングが人気を博した以来、アイドル状態のコンピューティングリソースを活用して巨大な計算タスクを完了するために協力するためのいくつかの技術アーキテクチャが存在しています。ブロックチェーンの登場以前、これらの協力は通常、科学的なタスクに焦点を当て、参加者の熱意や公共福祉への参加に依存しており、影響範囲が制限されていました。今では、ブロックチェーン技術を用いることで、その幅広い応用がトークンを通じてインセンティブ付けされることが可能になりました。

分散型クラウドコンピューティングプロジェクトAkashと同様に、一般のコンピューティングネットワークが確立され、ユーザーは機械学習モデルを推論計算や画像レンダリングのために展開することができます。また、Bittensor、Modulus Lab、Giza、ChainMLなどのブロックチェーンベースのAIプロジェクトもあり、すべてクエリ推論計算を目的としています。

ブロックチェーンAIコンピューティングプロトコルGensynとオープンソースの生成AIプラットフォームTogetherは、大規模モデルトレーニングを行う分散コンピューティングネットワークを構築することを決意しています。

課題：分散コンピューティングネットワークにおいて、低速で信頼性の低い通信ネットワーク、計算状態の同期ができないこと、複数のGPUタイプの計算環境に対処すること、経済的インセンティブ、参加者の不正行為、作業量の証明、セキュリティ、プライバシー保護、スパム攻撃に対処することが困難です。

2) 希少なデータとデータの修正

大規模モデルのコアアルゴリズムである人間フィードバックからの強化学習（RLHF）は、エラーを修正しバイアスと有害情報を排除するため、人間の参加が必要です。 OpenAIはRLHFを使用してGPT3を微調整し、ChatGPTを生成しました。この過程で、OpenAIはFacebookグループの専門家やケニアの労働者に1時間あたり2ドル支払いました。最適化トレーニングには、専門分野のデータの人間の専門家の参加がしばしば必要であり、その実装はトークンを通じたコミュニティ参加を促進する方法と完全に組み合わせることができます。

分散型の物理インフラネットワーク（DePINs）業界は、センサーによるさまざまなモデルトレーニングのためのリアルタイムデータを共有するよう人々を奨励するためにトークンを使用しています。Reactはエネルギー使用データを収集し、DIMOは車両運転データを収集し、WeatherXMは気象データを収集し、Hivemapperはトークンインセンティブを通じて地図データを収集し、人々が交通標識をマークし、そのRLHF機械学習アルゴリズムの精度向上を支援するよう奨励しています。

同時に、大規模モデルのパラメータが増加するにつれて、既存の公共データは2030年までに枯渇します。大規模モデルの継続的な進展は私的データに依存しなければならなくなります。私的データの量は公共データの10倍ですが、企業や個人の手に分散しており、機密性が高いため、利用することが難しいです。これにより二重のジレンマが生じます。一方で、大規模モデルはデータが必要ですが、データを持つ側は大規模モデルが必要でも、データを提供したいとは思いません。この二重の問題もブロックチェーン技術を用いて解決できます。

オープンソースの推論モデルの場合、計算リソースが少なくて済むため、モデルはデータセグメントにダウンロードされて実行されます。非公開モデルや大規模モデルの場合、データはデセンシティブ化されてモデルエンドにアップロードする必要があります。デセンシティブ化の方法には、合成データやゼロ知識証明が含まれます。

モデルがデータ側にダウンロードされるか、データがモデル側にアップロードされるかにかかわらず、モデルまたはデータの不正行為を防ぐために権限の問題を解決する必要があります。

課題：Web3のトークンインセンティブはこの問題を解決するのに役立つかもしれませんが、詐欺の問題も解決する必要があります。

3) モデル協力

Civitaiコミュニティでは、世界最大のAIペイントモデル共有プラットフォームで、人々はモデルを共有し、簡単にモデルをコピーして変更し、自分の要件に合ったモデルを生成することができます。

オープンソースのAIルーキーであり、デュアルコンセンサスブロックチェーンプロジェクトであるBittensorは、トークンインセンティブ分散モデルを設計しています。専門家のミックスの協力メカニズムに基づいて、問題解決モデルを共同で作成し、モデル間で共有できる知識蒸留をサポートしています。情報、加速トレーニングは、多くのスタートアップに大規模なモデルに参加する機会を提供しています。

オートノラスは、オートメーション、オラクル、共有AIなどのオフチェーンサービスに対応する統合ネットワークとして、Tendermintを通じてエージェントが合意に達するためのコラボレーションフレームワークを設計しています。

課題:多くのモデルのトレーニングには引き続き多くのコミュニケーションが必要であり、分散トレーニングの信頼性と時間効率はまだ大きな障害です;

Web3におけるビッグモデルとイノベーション

上記の議論と関連して、Web3が大規模なモデリング産業のいくつかの問題を解決するためにどのように活用されるかについて説明しました。 2つの重要な力の組み合わせにより、いくつかの革新的なアプリケーションが生まれるでしょう。

1) ChatGPTを使用してスマート契約を書きます

最近、NFTアーティストがプロンプトを使用して、プログラミングの知識なしでChatGPTを操作し、独自のスマートコントラクトをリリースし、トークンTurbonerを発行しました。アーティストはYouTubeを使用して、1週間の間に自分の創作過程を記録し、みんなにChatGPTを使用するようにインスピレーションを与えました。スマートコントラクトの作成に参加してください。

2) 暗号資産の支払いは、スマートな管理を可能にします

ビッグモデルの開発により、スマートアシスタントのインテリジェンスが大幅に向上し、暗号化された支払いと組み合わせることで、スマートアシスタントはより多くのリソースを調整し、スマートアシスタント市場でより多くのタスクで協力できるようになります。AutoGPTは、ユーザーが提供するクレジットカードへの依存を示しており、ユーザーがクラウドコンピューティングリソースの購入やフライトの予約を自動化するのを助けることができますが、自動ログインやその他のセキュリティ認証によって制限され、AutoGPTの機能は自動ログインやその他のセキュリティ認証によって厳しく制限されています。Contract Net Protocolを含むMAS(Multi Agent System)の設計には、オープンな市場における複数の知的アシスタントのコラボレーションが含まれており、トークンによってサポートされれば、そのようなコラボレーションは、人間社会が原始社会から貨幣社会に移行するように、信頼に基づく限定的なコラボレーションを突破し、市場経済に基づくより大きなコラボレーションになります。

3) zkML（ゼロ知識機械学習）

ブロックチェーンにおけるzkp（ゼロ知識証明）技術の応用は、2つのカテゴリに分かれています。1つは、ブロックチェーンのパフォーマンスを解決するために、計算要件をオフチェーンに移し、その後zkpを通じてオンチェーン認証を行うことです。2つ目は、取引のプライバシーを保護するためのものです。大規模モデルにおけるzkpの応用には、モデルの信頼性の計算（モデル計算の一貫性と信頼性を証明する）やトレーニングデータのプライバシー計算が含まれます。分散環境では、モデルのサービスプロバイダは、モデルの一貫性を顧客に証明する必要があります。トレーニングデータのパートナーは、自身のプライバシーを保護する前提でトレーニングに参加したり、モデルを使用したりする必要があります。zkpはいくつかの可能性を提供していますが、まだ多くの課題があり、同型計算や連合プライバシー計算などの解決策は未成熟なままです。

BEC（Blockchain Edge Client）アーキテクチャに基づくソリューション

上記の学校に加えて、トークンのインセンティブの欠如とミニマリストなブロックチェーンアプリケーションの使用により、広く注目されていない別の学校があります。

BECベースのアーキテクチャは、多くの面でジャック・ドーシーが言及したWeb5のコンセプトやティム・バーナーズ・リーがSolidで述べたコンセプトと多くの類似点があります。

彼らはみんな考えています:

• それぞれの人には対応する制御エッジノードがあります;
• ほとんどのアプリケーションシナリオでのコンピューティングとストレージは、エッジノードで処理すべきです。
• 個々のノード間の協力はブロックチェーンを通じて完了します;
• ノード間の通信はP2Pを介して完了されます;
• 個人は、信頼できる人にノードの管理を委託することも、単独でノードを完全に制御することもできます（一部のシナリオではリレーサーバーと呼ばれる管理ノードを委任することもあります）。
• 最大限の分散化を達成しました;

個々に制御される各個人に対応するこのノードが個人データを格納し、大規模なモデルを読み込むと、完全に個人に合わせた、100%プライバシー保護された個人用インテリジェントエージェント（エージェント）を訓練できます。SIGの中国の創業パートナーである龚婷博士は、将来の個人ノードを、常に彼に付いている「アナと雪の女王」のオラフの頭上の個人用クラウドにロマンチックに例えました。

この方法により、メタバースの中のアバターはもはやキーボードで制御される画像ではなく、魂を持つエージェントとなります。彼はオンラインニュースを学習し、メールを処理し、私たちの代わりに24時間365日、ソーシャルチャットメッセージに自動的に返信することができます（ご注意ください、しつこい彼女たちよ、将来、彼氏がエージェントを使ってあなたたちと付き合っているかどうかを検出する方法が必要かもしれません）。あなたのエージェントが新しいスキルが必要な場合は、モバイルアプリをインストールするように、ノードに新しいアプリをインストールすることができます。

概要

歴史的に、インターネットの開発のプラットフォーム化が進むにつれて、一角獣企業の誕生までの時間が短くなってきていますが、それはスタートアップの成長にますます悪影響を与えるようになっています。

Google と Facebook が提供する効率的なコンテンツ配信プラットフォームにより誕生した YouTube は、2005 年に誕生し、わずか1年後に Google によって 16 億ドルで買収されました。

Apple App Storeの効率的なアプリケーション配信プラットフォームとともに、Instagramは2012年に10人以上のメンバーによって設立され、2012年にFacebookに10億ドルで買収されました。

ChatGPT大規模モデルのサポートを受けて、わずか11人のMidjourneyは年間1億ドルを稼いでいます。100人を超えるスタッフを抱えるOpenAIは200億ドル以上の価値があります。

インターネットプラットフォーム企業はますます力を持ち、大規模モデルの出現は既存のインターネットが大企業に独占されるというパターンを変えていません。大規模モデルの3要素、アルゴリズム、データ、および計算能力はまだ大企業によって独占されています。スタートアップ企業には大規模モデルを革新する能力も大規模モデルを育てる財務力もありません。彼らは大規模モデルを垂直分野での応用に焦点を当てるしかありません。大規模モデルは知識の普及を促進するように見えますが、実際の力を持っているのは世界で100人を超えない人々です。彼らはモデルを生産する能力を持っています。

将来、大規模なモデルが人々の生活のあらゆる側面に浸透し、ChatGPTに日常の食事、健康、仕事のメール、弁護士の手紙について尋ねると、理論上、大規模なモデルをマスターする者は、いくつかのパラメータを秘密裏に変更するだけで、無数の人々の生活に大きな影響を与えることができると言える。大規模なモデルによって引き起こされる失業の一部は、UBIやWorldcoinによって解決されるかもしれないが、わずかな人々によってコントロールされる可能性の悪によって引き起こされる結果はより深刻である。これがOpenAIの原意である。OpenAIは利益追求の問題を非営利的な方法で解決しているが、権力によって駆動される問題をどのように解決するのか？明らかに、大規模なモデルは、数十年間にわたって人間によって蓄積され、インターネット上で自由に共有された知識を使用して、知識モデルを迅速にトレーニングするが、このモデルはごく少数の人々によってコントロールされている。

1. したがって、大規模なモデルとブロックチェーンの価値観には大きな衝突があります。ブロックチェーンの実践者は大規模なモデルの起業に参加し、ブロックチェーン技術を使って大規模な問題を解決する必要があります。もしインターネット上で自由に利用可能な膨大なデータが人類の共通の知識であるなら、それに基づいて生成される大規模なモデルは全人類のものであるべきです。たとえばOpenAIが最近文献データベースに支払いを開始したように、OpenAIは私たちが自分たちを捧げている個人のブログにも支払う必要があります。

免責事項：

1. この記事は[から転載されましたThreeDAO、全てのものの島]. All copyrights belong to the original author [36C]. If there are objections to this reprint, please contact the Gate Learnチームが対応します。
2. 責任の免除: この記事に表れる見解や意見は、著者個人のものであり、投資アドバイスを構成するものではありません。
3. 他の言語への記事の翻訳はGate Learnチームによって行われます。特に言及されていない限り、翻訳された記事のコピー、配布、または盗用は禁止されています。