TF-0155 · 生成AIの仕組み

生成AIパスポートの一問一答模擬問題です。解説付きで個別に学習できます（公式の過去問ではありません）。

第2章標準 ID: TF-0155

問題

大規模言語モデルでは、文章をトークンと呼ばれる単位に分けて扱う。

正解: ○

○です。言語モデルは、入力された文章をそのまま一つのかたまりとして扱うのではなく、トークンという処理単位に分けて扱います。トークンは単語そのものとは限らず、語の一部や記号が単位になることもあります。