基礎・機械学習

GPUとは?Graphics Processing Unit・DLの並列計算

読み:じーぴーゆー / 英:Graphics Processing Unit(GPU)

更新日: 読了目安:約6分

GPU(Graphics Processing Unit)は、もともと画像描画向けの並列演算に強いプロセッサです。現代のディープラーニングでは大量の行列演算を高速化するために広く使われます。本記事はチップの世代比較ではなく、試験で問われるCPU/GPU/TPUの役割・DLとの関係に焦点を当てます。

試験で問われる見方

○:GPUは多数の単純演算を並列処理でき、DLの行列演算に利用される(TF-055)。

×:DLは計算量が少なくGPUと無関係TF-335)。第三次AIブームではデータ・GPU・アルゴリズムが重要(TF-323)。

TPUは機械学習向けに最適化されたプロセッサ(TF-056)。

演習で確認する

G検定:TF-055TF-056TF-335TF-334ディープラーニングの概要

なぜDLにGPUか

ニューラルネットの学習は、同じ形の演算を大量のデータ・パラメータに対して繰り返します。GPUは数千のコアで並列に処理でき、この「同じ計算の繰り返し」に向いています。CPUは複雑な分岐処理に強い一方、大規模な行列積ではGPUが有利なことが多いです。

CPU・GPU・TPU

プロセッサ強みAIでの用途
CPU汎用・分岐処理前処理、小規模モデル、推論の一部
GPU大規模並列DLの学習・推論の主流
TPUML向けASICGoogle等の大規模学習基盤

学習と推論

学習は特に計算量が大きくGPUがほぼ必須級です。推論はモデル規模次第でCPUでも動きますが、大規模LLMはGPUや専用チップが使われます。電力・コストの観点も試験で触れられることがあります(TF-287)。

よくある質問

GPUがないとDLはできない?

小規模ならCPUでも可能ですが、実用的な深層学習ではGPUまたは同等の計算資源が事実上必要です。

AlexNetとGPUの関係は?

AlexNetはGPU活用がDL実用化の象徴的出来事の一つとして語られます(TF-330)。