問題
トークンとは、AIが必ず一文全体を一つの単位として処理することを意味する。
正解: ×
TF-0156 · 生成AIの仕組み
生成AIパスポートの一問一答模擬問題です。解説付きで個別に学習できます（公式の過去問ではありません）。
解説
×です。トークンは一文全体だけを指すものではありません。文章はより細かな単位に分けられ、単語、語の一部、記号などがトークンとして扱われる場合があります。
生成AIパスポートの一問一答模擬問題です。解説付きで個別に学習できます（公式の過去問ではありません）。
トークンとは、AIが必ず一文全体を一つの単位として処理することを意味する。
正解: ×
×です。トークンは一文全体だけを指すものではありません。文章はより細かな単位に分けられ、単語、語の一部、記号などがトークンとして扱われる場合があります。