電力消費と水の消費、誰がAIのエネルギー消費を節約できるでしょうか？

出典: Chen Gen がテクノロジーについて語る

画像ソース: Unbounded AI によって生成‌

現在、ChatGPTに代表される大規模なAIモデルは人間社会に大きな変化をもたらしている一方で、エネルギー消費の観点から議論も巻き起こっています。

エコノミスト誌の最新刊では、次のように述べられています。スーパーコンピューターを含む高性能コンピューティング施設は、主要なエネルギー消費者になりつつあります。 **国際エネルギー機関によると、データセンターは世界の電力消費量の 1.5% ～ 2% を占めており、これは英国経済全体の電力消費量にほぼ相当します。 **これは 2030 年までに 4% に上昇すると予想されます。

**人工知能は電力だけでなく水も消費します。 ** Google が発表した 2023 年環境報告書によると、2022 年には 56 億ガロン（約 212 億リットル）の水を消費すると予想されており、これはゴルフ場 37 個分の水に相当します。このうち 52 億ガロンが同社のデータセンターに送られ、2021 年と比べて 20% 増加しました。

莫大なエネルギー消費コストに直面して、人工知能 (AI) は未来に向かって進みたいと考えており、経済は ChatGPT が緊急に解決する必要がある真の問題となっています。そして、エネルギー消費問題を解決しようとする場合、既存のテクノロジーやアーキテクチャに基づいた最適化策では沸騰したお湯は止まらず、最先端テクノロジーのブレークスルーがAIのエネルギー消費に対する究極の解決策となる可能性があります。ジレンマ。

AI はエネルギーを消費しています

コンピューティングの本質から言えば、コンピューティングはデータを無秩序から秩序に変化させるプロセスであり、このプロセスには一定量のエネルギー入力が必要です。

量だけの観点から見ると、不完全な統計によれば、2020 年の世界の発電量の約 5% が電力消費量の計算に使用され、この数字は 2030 年までに約 15% ～ 25% に増加する可能性があると言われています。コンピューティング産業における電力消費の割合は、産業などの大規模なエネルギー消費産業と同等になるだろうということです。

2020年、中国のデータセンターの消費電力は2000億kWhを超え、三峡ダムと葛舟坡発電所の合計発電量（約1000億kWh）の2倍となる。

実際、コンピューティング業界にとって、チップのコストのほかに電気のコストも重要なコストです。

**消費される電力が再生可能エネルギーによって生成されたものでない場合、炭素排出が発生します。これが、機械学習モデルも炭素排出を引き起こす理由です。 ChatGPT も例外ではありません。 **

データによると、GPT-3 のトレーニングでは 1287MWh (メガワット時) が消費され、これは 552 トンの炭素の排出に相当します。この点に関して、持続可能なデータ研究者のキャスパー・ルドヴィッセン氏も次のように分析している。「GPT-3の排出量が多いことは、GPT-3が古い効率の低いハードウェアでトレーニングされたという事実によって部分的に説明できるが、CO2排出量を測定する標準化された方法がないため、これらの数値はまた、炭素排出量のこの部分をChatGPTの学習にどれだけ割り当てるかという基準も比較的曖昧であることに注意すべきですが、強化学習自体には追加の電力が必要となるため、炭素排出量は「モデルのトレーニング段階で ChatGPT によって生成される排出量は、この値よりも大きくなるはずです。」 552 トンの排出量だけで計算すると、これらはデンマークの 126 世帯の年間エネルギー消費量に相当します。

**運用段階では、ChatGPTを運用する際の人々の行動による電力消費は非常に小さいですが、世界で1日に10億回も発生する可能性があるため、二番目に大きな二酸化炭素排出源になる可能性があります。 **

Databoxer の共同創設者であるクリス ボルトン氏は、計算方法の 1 つについて次のように説明しました。「まず、100 万人のユーザーがユーザーごとに 10 の質問を持ち、1 日あたり 1000 の 10,000 の応答と 3 億単語が生成されると仮定して、A100 GPU で各応答単語にかかる時間は 0.35 秒であると推定します。 1 ワードが 0.35 秒である場合、A100 GPU は 1 日あたり 29,167 時間実行されると計算できます。」

Cloud Carbon Footprint には、Azure データ センターの A100 GPU の最小消費電力が 46 W、最大消費電力が 407 W と記載されています。アイドル状態の ChatGPT プロセッサはそれほど多くない可能性があるため、1 日の消費電力は最高で 11870kWh に達します。範囲。

クリス・ボルトン氏は、「米国西部の排出係数は0.000322167トン/kWhなので、1日当たり3.82トンの二酸化炭素に相当する量を排出することになる。平均的なアメリカ人は年間約15トンの二酸化炭素に相当する。つまり、これはアメリカ人93人の年間二酸化炭素排出量に相当します。その割合は同等です。」

「仮想」という属性により、人々はデジタル製品のカーボンブックを無視しがちですが、実際、インターネットは長い間、地球上で石炭を燃料とする最大の機械の 1 つでした。 **電力消費と人工知能をテーマとしたバークレーの研究では、人工知能がエネルギーをほぼ消費していると主張しています。 **

たとえば、Google の事前トレーニング済み言語モデル T5 は 86 メガワットの電力を使用し、47 トンの CO2 排出量を発生しました。Google のマルチラウンド オープンフィールド チャットボット Meena は 232 メガワットの電力を使用し、96 トンの CO2 排出量を発生しました。 Google が開発したフレームワーク - GShard は 24 メガワットの電力を使用し、4.3 トンの二酸化炭素を排出しました。Google が開発したルーティング アルゴリズム Switch Transformer は 179 メガワットの電力を使用し、59 トンの二酸化炭素を排出しました。

ディープラーニングで使用されるコンピューティング能力は 2012 年から 2018 年の間に 30 万倍も増加しており、GPT-3 が気候に最も大きな影響を与えているように見えます。しかし、人間の脳と同時に動作する場合、人間の脳のエネルギー消費は機械のエネルギー消費量のわずか0.002%です。

電気を消費するだけでなく、水も消費します

人工知能は驚異的な電力消費に加えて、水を大量に消費します。

実際、電力消費量にせよ水消費量にせよ、デジタル世界の柱であるデジタルセンターとは切っても切れない関係にあります。インターネットに電力を供給し、膨大な量のデータを保存するサーバーやネットワーク機器として、世界中のデータセンターは稼働するために多量のエネルギーを必要とし、冷却システムはエネルギー消費の主な要因の 1 つです。 **

実際、超大規模データセンターは毎年 1 億キロワット時近くの電力を消費しており、生成 AI の開発によりデータセンターのエネルギー消費量はさらに増加しています。大規模なモデルには数万の GPU が必要となることが多いため、トレーニング期間は数週間から数か月かかる場合があり、そのプロセスでは大量の電力が必要になります。

データセンターのサーバーは稼働中に大量の熱エネルギーを発生します。サーバーの冷却方式は水冷が最も一般的であり、そのため膨大な水の消費電力が発生します。データによると、GPT-3 はトレーニング中に約 700 トンの水を消費し、その後、20 ～ 50 の質問に回答するごとに 500 ミリリットルの水を消費します。

バージニア工科大学の調査によると、データセンターは冷却のために 1 日あたり平均 401 トンの水を消費しており、これは 10 万世帯の水の消費量に相当します。メタ社は 2022 年に 260 万立方メートル（約 6 億 9,700 万ガロン）以上の水を使用しましたが、そのほとんどがデータセンターでした。その最新の大規模言語モデル「Llama 2」も、トレーニングに大量の水が必要です。それでも、2022年にはメタのデータセンターの5分の1が「水不足」に陥るだろう。

さらに、人工知能のもう 1 つの重要なインフラストラクチャ チップであるその製造プロセスは、多くのエネルギーと水資源を消費するプロセスでもあります。エネルギーの観点から見ると、チップの製造プロセス、特に高度なプロセスのチップには多くの電力が必要です。国際環境団体グリーンピース東アジア部門の「家電サプライチェーンの電力消費と炭素排出予測」報告書は、サムスン電子やTSMCを含む東アジアの主要エレクトロニクス製造企業13社の炭素排出量を調査し、エレクトロニクス製造業界、特に半導体産業 二酸化炭素排出量は急増しており、世界の半導体産業の電力消費量は 2030 年までに 237 テラワット時まで急増すると予想されています。

水資源の使用量という点では、シリコンウェーハの工程では「超純水」による洗浄が必要であり、チップの製造工程が高度になればなるほど水の使用量も多くなります。 2グラムのコンピューターチップを製造するには約32キログラムの水が必要です。 8 インチ ウェーハの製造には 1 時間あたり約 250 トンの水が消費され、12 インチ ウェーハでは 500 トンに達することがあります。

**TSMC の年間ウェーハ生産能力は約 3,000 万枚で、チップの生産には約 8,000 万トンの水を消費します。チップ産業の発展には、十分な水資源が必要条件となっています。 **経済産業省は、半導体製造に必要な工業用水を確保するため、半導体工場に工業用水を供給する施設の建設に補助金を交付する新たな制度を2023年7月に創設することを決定しました。

長期的には、生成 AI と無人運転の推進と応用は、チップ製造産業のさらなる成長につながり、エネルギー資源の大量消費につながります。

**AI をエネルギー消費から救うことができるのは誰でしょうか? **

現在、エネルギー消費はAIの発展を制限する弱点となっていると言えます。現在の技術的ルートと開発モデルによれば、AI の進歩により次の 2 つの問題が発生します。

**一方で、データセンターの規模はますます大きくなり、それに伴い消費電力も増加し、動作はますます遅くなります。 **

AI アプリケーションの普及に伴い、データセンター リソースに対する AI の需要が劇的に増加することは明らかです。大規模なデータセンターでは、サーバー、ストレージデバイス、冷却システムを稼働させるために大量の電力が必要です。これはエネルギー消費量の増加につながるとともに、エネルギーの安定供給や環境への影響も問題となります。データセンターの継続的な成長はエネルギー供給にも圧力をかける可能性があり、データセンターのエネルギー需要を満たすために従来のエネルギー源に依存すると、エネルギー価格の上昇と供給の不安定化を招く可能性があります。もちろん、データセンターの高いエネルギー消費は、CO2 排出やエネルギー消費などの環境への影響ももたらします。

**一方、AIチップは高い演算能力と高集積化を目指して進化しており、ピーク演算能力の成長をサポートするのは製造プロセスに依存しており、製造プロセスの高度化に伴い、消費電力と水の消費量も増加しています。 **

では、これほど膨大な AI のエネルギー消費に直面して、より良い方法はあるのでしょうか?実際、技術的なジレンマを解決する最善の方法は、新しいテクノロジーを開発することです。

一方で、ポストムーア時代の AI の進歩には、より信頼できる新しいパラダイムと手法を見つける必要があります。

実際、今日、人工知能が膨大なエネルギー消費の問題を引き起こす理由は、人工知能が知能を実現する方法と密接に関係しています。

この段階での人工ニューラル ネットワークの構築と動作は、連携して動作する独立した人工「ニューロン」のグループにたとえることができます。各ニューロンは、情報を取り込み、いくつかの計算を実行し、出力を生成する小さな計算ユニットのようなものです。今日の人工ニューラル ネットワークは、これらのコンピューティング ユニットの接続方法を巧みに設計することによって構築されており、一度訓練されると特定のタスクを実行できるようになります。

しかし、人工ニューラルネットワークにも限界があります。たとえば、ニューラル ネットワークを使用して円と正方形を区別する必要がある場合です。 1 つのアプローチは、出力層に 2 つのニューロンを配置し、1 つは円用、もう 1 つは四角用です。ただし、ニューラル ネットワークに青と赤などの図形の色も区別できるようにしたい場合は、青い円、青い四角、赤い円、赤い四角の 4 つの出力ニューロンが必要になります。

つまり、タスクの複雑さが増すにつれて、ニューラル ネットワークの構造は、より多くの情報を処理するためにより多くのニューロンを必要とします。その理由は、人工ニューラルネットワークが知能を実現する方法は、人間の脳が自然界を認識する方法ではなく、「あらゆる組み合わせに対して、人工知能の神経系が対応するニューロンを持たなければならない」からだという。

対照的に、人間の脳は、脳内の情報が多数のニューロンの活動によって表されるため、ほとんどの学習を難なく行うことができます。つまり、人間の脳による赤い四角の認識は、単一のニューロンの活動としてエンコードされず、数千のニューロンの活動としてエンコードされます。同じニューロンのセットが異なる方法で発火すると、まったく異なる概念を表すことができます。

**ご覧のとおり、人間の脳のコンピューティングはまったく異なるコンピューティング手法です。そして、この計算方法が人工知能技術に適用されれば、人工知能のエネルギー消費が大幅に削減されます。 **そして、この計算方法はいわゆる「超次元計算」です。それは、人間の脳の計算方法を模倣し、高次元の数学空間を使用して計算を実行し、より効率的でインテリジェントな計算プロセスを実現することです。

たとえば、従来の建築設計モデルは 2 次元であり、平面上に図面を描くことしかできず、各図面はフロア レイアウトや配線配線など、建物のさまざまな側面を表します。しかし、建物がますます複雑になるにつれて、すべての詳細を表現するためにますます多くの図面が必要になり、多くの時間と紙が消費されます。

そして、超次元コンピューティングは、私たちに新しい設計手法を提供してくれるようです。建物は 3 次元で設計でき、各次元は長さ、幅、高さ、材質、色などのプロパティを表します。さらに、建物の各時点での変化を4次元で表現するなど、より高次元の空間での設計も可能です。これにより、すべての設計を 1 つのスーパー図面で完了できるため、大量の 2D 図面が必要なくなり、効率が大幅に向上します。

同様に、AI トレーニングにおけるエネルギー消費は建物の設計にたとえることができます。従来の深層学習では、各特徴や属性を処理するために大量のコンピューティング リソースが必要ですが、超次元コンピューティングではすべての特徴を高次元空間に配置して処理します。このようにして、AI は 1 回の計算だけで複数の特徴を同時に認識できるため、計算時間とエネルギー消費が大幅に節約されます。

** 一方、核融合技術などの新しいエネルギー資源の解決策を見つける。 **核融合発電技術は、基本的に核廃棄物を発生せず、製造過程での炭素排出公害がないため、地球規模の炭素排出問題に対する究極の解決策の一つと考えられています。

マイクロソフトは2023年5月に核融合スタートアップ企業のHelion Energyと購入契約を締結し、同社の最初の顧客となり、同社が2028年に世界初の核融合発電所を建設する際に電力を購入することになる。さらに、長期的には、AI が超次元コンピューティング ランプによって演算能力あたりのエネルギー消費量の削減を達成したとしても、核融合技術やその他の低炭素エネルギー技術のブレークスルーにより、AI の開発はもはや炭素に制限されなくなる可能性があります。依然として大きなサポートとプロモーションの重要性を持っています。

結局のところ、テクノロジーによってもたらされるエネルギーと資源の消費の問題は、依然として技術レベルでしか根本的に解決できません。テクノロジーがテクノロジーの発展を制限すると同時に、テクノロジーの発展を促進することは古来からのことです。