持続可能なAI: グリーンコンピューティングが機械学習の排出量にどう取り組むか

持続可能なAIの取り組みは、モデルトレーニング中のエネルギー使用の測定された削減に焦点を当てています。

GoogleとMicrosoftはどちらも、データセンターの電力消費が大規模言語モデルに関連していることを示す2025年のレポートを公開しました。数字は、数週間にわたってフル容量で実行されたトレーニングランを明らかにしました。

ハードウェアチームは専用チップに目を向けました。 これらのチップは、マトリックス演算をより少ない無駄なサイクルで実行します。無駄なサイクルが減るということは、同じ出力に対する電力需要が低くなることを意味します。

Training Runs Now Face Power Caps

企業はプロジェクトごとの総キロワット時に対して社内制限を設定しています。この制限により、チームはより大きなモデルとより長い実行時間のどちらかを選ばざるを得なくなります。多くのチームは、トリミングされたデータセットでの短い実行を選択しています。

Microsoftは環境関連の提出書類でこのトレードオフを強調しました。提出書類では、効率向上は新しいシリコンと、トレーニング開始前の低価値データの剪定の両方から得られたと指摘しています。

Software Side Changes Matter Too

開発者は現在、精度スコアと並んでエネルギー使用を記録しています。この習慣はStanfordとCarnegie Mellonの研究室で始まりました。2つの論文で、小さなハイパーパラメータの調整がエネルギー消費を2桁のパーセント削減できることが示された後、広がりました。

その1つが早期停止です。 モデルは検証スコアが plateau になった時点でトレーニングを停止します。もう1つは混合精度演算で、一部の計算を32ビットから16ビットに落とします。

Hardware Suppliers Ship Efficiency Data

Nvidiaは最新の開発者キットに電力テレメトリを追加しました。このキットにより、チームはネットワークの各レイヤーでのリアルタイムのワット数を確認できます。チームはこの読み取り値を使って、モデルレイヤーがコストに見合うかどうかを判断します。

ArmとIntelはサーバー向けに同様のツールをリリースしました。これらのツールは、異なるチップファミリー間で比較可能なワット数を提供します。

Limits Still Exist on Current Approach

電力レポートは企業提供の数値に依存しています。独立した監査は依然として稀です。一部の研究者は、モデルがラボのクラスタから本番環境のフリートに移行した際に、報告された改善が維持されるかどうかを疑問視しています。

Watch Next Three Months

最大手のクラウドプロバイダーからの四半期ごとの環境関連提出書類を確認してください。Nvidiaからの新チップ世代や、GoogleとAmazonでのカスタムシリコンに関する取り組みの最新情報を探してください。アカデミックカンファレンスが提出必須のメトリクスに電力使用を追加するかどうかを追跡してください。