半導体の性能って何が違うの？

AIの製造に必要不可欠な製品となっている半導体（GPU）。特にエヌビディア半導体はその性能の高さによって各企業が争うように手に入れようとしており、需要が高騰しています。ただ、半導体にも少し役割分担みたいな部分もあり、推論と学習（トレーニング）と分かれています。

簡単な例えでいうと、「学習（トレーニング）」とはスポーツ選手が行う毎日の練習によって体力と基礎的な技術を付けるような感じで、「推論」とは実際にスポーツ選手が試合に出て普段の練習の成果を披露する場という感じかな。

「学習」は、AIモデルに知識を覚えさせている段階であり、イメージとして子供が教科書や参考書・問題集などを繰り返しながら勉強をして知識を頭の中にため込んで行くといった感じです。膨大な量のデータを入力して正解と比較を行いながら間違いがあればパラメータを修正していきます。これを何億回と繰り返して性能をあげていく（誤差を無くしていく）といった感じになります。

これには、メモリと計算能力を最大限に消費する為、高性能なGPU（例えばエヌビディア製のH100やB200）のような大規模並列演算が必要となっていきます。

一方で「推論」は、学習済みのAIを実際に使う段階であり、イメージとしてはテスト勉強を終えた子供がテストに挑んで回答している感じです。学習済みのAIモデル（例えばチャットGPTとか）に新しい入力を与えて、出力を計算する場合に使用します。生成AIに画像を入れると猫か犬かを判断してくれるように結果を求める事が出来ます。

学習の時のように計算力は不要となり、少ないGPUリソースや専用チップで高速に処理できるようになっていて、電力効率やコストの低さが重視されています。

こうやって違いをみていくと、推論だけが強いGPUがあっても、学習が出来るGPUがなければ新しい性能の生成AIは出来ずに、今は良くてもいずれは時代遅れの生成AIになっていきます。

エヌビディアが強いのは、学習の性能が桁違いに高い事で高性能な生成AIを作り出すことが出来るという事があるみたいだね。