深層強化学習

問題

RLHFに関する説明として、最も不適切な選択肢を1つ選べ。

1. A. 人間のフィードバックを報酬モデルなどに反映してモデルを調整する考え方である
2. B. 大規模言語モデルの応答を人間の好みに近づけるために使われることがある
3. C. 強化学習と人間評価を組み合わせる文脈で登場する
4. D. 画像の畳み込みフィルタサイズだけを表すCNN用語である

解説（正解: D）

正解はD。RLHFはReinforcement Learning from Human Feedbackの略で、人間のフィードバックを用いてモデルの出力を望ましい方向へ調整する考え方である。大規模言語モデルの調整でよく知られる。DはRLHFの説明ではない。