基礎・機械学習

GPUとは?Graphics Processing Unit・DLの並列計算

読み:じーぴーゆー / 英:Graphics Processing Unit(GPU)

更新日: 読了目安:約7分

GPU(Graphics Processing Unit)は、もともと画像描画向けの並列演算に強いプロセッサです。現代のディープラーニングでは大量の行列演算を高速化するために広く使われます。本記事はチップの世代比較ではなく、試験で問われるCPU/GPU/TPUの役割・なぜDLに向くか・すり替え問題に焦点を当てます。

試験で問われる見方

○:GPUは多数の単純演算を並列処理でき、DLの行列演算に利用される(TF-055G-010)。

○:TPUは機械学習向けに最適化されたプロセッサ(TF-056)。CPUは汎用、GPUは大規模並列が強み。

×:DLは計算量が少なくGPUと無関係TF-335)。GPUを使えば必ず高精度になる(G-010の誤答C)。

演習で確認する

G検定:TF-055TF-056TF-335G-010

なぜDLにGPUか

ニューラルネットの学習は、同じ形の演算を大量のデータ・パラメータに対して繰り返します。GPUは数千のコアで並列に処理でき、この「同じ計算の繰り返し」に向いています。NVIDIA GPUではCUDAがその並列演算のソフトウェア基盤です。

CPUは複雑な分岐処理に強い一方、大規模な行列積ではGPUが有利なことが多いです。試験では「逐次処理専用」などの説明が誤答パターンになります(G-010のA)。

CPU・GPU・TPU

プロセッサ強みAIでの用途
CPU汎用・分岐処理前処理、小規模モデル、推論の一部
GPU大規模並列DLの学習・推論の主流
TPUML向けASICGoogle等の大規模学習基盤(TF-056)

学習と推論

学習は特に計算量が大きくGPUがほぼ必須級です。推論はモデル規模次第でCPUでも動きますが、大規模LLMはGPUや専用チップが使われます。

精度はGPUの有無だけで決まりません。データの質、モデル構造、正則化、ハイパーパラメータなども影響します(G-010)。

DLブームとの関係

第三次AIブームでは、データ・アルゴリズムに加え計算資源(GPU)が重要と語られます(TF-323、TF-330)。AlexNetの成功はGPU活用の象徴的出来事の一つとして試験に登場します。

すり替えに注意

誤った説明正しい理解
GPU=解釈性を自動で高める計算高速化が主目的(G-010のD)
DLはGPU不要実用的なDLではGPUが標準(TF-335は×)
GPU=TPU別チップ。TPUはML特化ASIC
GPUがあればデータ量が不要データとモデル設計も不可欠

よくある質問

GPUがないとDLはできない?

小規模ならCPUでも可能ですが、実用的な深層学習ではGPUまたは同等の計算資源が事実上必要です。

AlexNetとGPUの関係は?

AlexNetはGPU活用がDL実用化の象徴的出来事の一つとして語られます(TF-330)。

クラウドのGPUインスタンスとは?

AWSやGCPなどが提供するGPU付き仮想マシン。自前でGPUを買わずに学習できる選択肢です。