生成AIの仕組み

問題

大規模言語モデルでは、文章をトークンと呼ばれる単位に分けて扱う。

正解: ○

解説

○です。言語モデルは、入力された文章をそのまま一つのかたまりとして扱うのではなく、トークンという処理単位に分けて扱います。トークンは単語そのものとは限らず、語の一部や記号が単位になることもあります。