人間のフィードバックからの強化学習 (RLHF) とは？

RLHF reinforcement learning human feedbackは、大規模言語モデルを流暢だが信頼性の低いテキスト生成器から、指示に従うアシスタントへと変えた手法です。これは、モデル出力に対する人間の評価を収集し、それらの評価を予測する別のモデルを訓練し、強化学習を使って元のモデルをより高く評価された応答へと導くことで機能します。

この手法は、OpenAIがChatGPTを作成したことで広く知られるようになりました。RLHFがなければ、初期のモデルは文法的に正しくても無関係で反復的、あるいは安全でないテキストを生成することがよくありました。人間のフィードバックを加えることで、開発者はモデル行動をユーザーの期待に合わせる実用的な方法を手に入れました。

Key Takeaways

• RLHFは教師ありファインチューニングから始まり、人間の評価で訓練された報酬モデルを追加し、PPOによる強化学習で終わる3段階のパイプラインです。

• 人間の評価者が唯一の真実の源であり、報酬モデルはその好みを模倣するよう学習するだけです。

• 最終最適化段階は、追加のラベル付きテキストデータを必要とせずに応答品質を向上させます。

• RLHFには限界があり、評価者のバイアスをエンコードする可能性があり、事実の正確性を保証しません。

• 大規模モデルを扱う人はこれらの手順を理解すべきです。なぜなら、ほとんどの公開チャットシステムが今それらに依存しているからです。

パイプラインがどのように連携するかを確認する準備はできましたか？

RLHF Reinforcement Learning Human Feedback Definition

RLHF reinforcement learning human feedbackは、言語モデルの出力を人間の判断に合わせる訓練手法です。デモンストレーションデータに対する教師あり学習と、人間の好みに基づいて応答をスコアリングする報酬モデルによって導かれる強化学習を組み合わせています（Ouyang et al., 2022）。この手法を定義する3つの要素があります。第一に、すでにテキストを生成できる初期モデルが必要です。第二に、人間による出力のランキングで訓練された別の報酬モデルが必要です。第三に、元のモデルを更新してより高い報酬スコアを得る出力にするため、強化学習アルゴリズム（最も一般的にはPPO（Schulman et al., 2017））を使用します。

この手法は、固定ラベルではなく学習された好み関数を最適化するため、標準的な教師ありファインチューニングとは異なります。また、報酬信号がエンジニアリングされた環境ではなく人間のデータから来るため、純粋な強化学習とも異なります。

How RLHF Reinforcement Learning Human Feedback Works

このプロセスは3つの連続した段階に従います。各段階は前の段階に基づいて構築されます。

Stage 1: Supervised Fine-Tuning on Demonstration Data

InstructGPT論文では、40人のラベラーが12,000件のデモンストレーション応答を作成しました。ベースモデルはその後、この新しいデータセットで標準的な教師あり学習を使ってファインチューニングされます。その結果、元の事前学習済みバージョンよりも一貫性があり、指示に従うテキストを生成するモデルが得られます。AnthropicのConstitutional AIは、人間によるデモンストレーションへの依存を減らすために、この段階をAI生成の批評で拡張しています。

Stage 2: Training the Reward Model

ファインチューニングされたモデルは、同じプロンプトに対して複数の候補応答を生成します。人間の評価者はこれらの応答を最善から最悪までランク付けします。これらのランキングは、どの応答を人間が好むかを予測する唯一の仕事を持つ2番目のモデルの訓練データになります。報酬モデルはテキストを生成せず、スカラースコアのみを出力します。

Stage 3: Reinforcement Learning with PPO

元のモデルは、報酬モデルをフィードバック源として扱いながらPPOを使って更新されます。各ラウンドでモデルは応答をサンプリングし、報酬モデルがそれらをスコアリングし、PPOは高スコアの出力の確率を高めるようにモデル重みを調整します。KLペナルティ項は、モデルが教師ありの出発点から離れすぎるのを防ぎます。

この最終段階で、ほとんどのアライメント改善が行われます。これにより、モデルはデモンストレーションデータに明示的に示されたことのない応答スタイルを探求できます。

RLHF Reinforcement Learning Human Feedback Compared with Supervised Fine-Tuning Alone

Training Signal

• RLHF: 新しい応答をスコアリングする学習済み報酬モデルを使用します。

• Supervised fine-tuning: 固定された人間作成のラベルのみを使用します。

Data Efficiency

• RLHF: 完全なデモンストレーションよりも収集が安価なランキングデータで品質を向上させることができます。

• Supervised fine-tuning: すべてのプロンプトに対して完全な正しい応答が必要です。

Risk of Over-Optimization

• RLHF: 報酬モデルが弱い場合、評価者の好みに過剰適合する可能性があります。

• Supervised fine-tuning: ラベル付きセットに存在するパターンに限定されます。

When to Choose Each Approach

高品質のデモンストレーションデータが豊富にある場合は教師ありファインチューニングを使用します。提供された例を超えて一般化する必要があり、ペアワイズランキングの収集が完全な回答を書くよりも速い場合はRLHFに切り替えます。

Worked Example of Human Ranking and Reward Scores

Prompt: "Explain quantum computing to a 10-year-old."

Response A: "Quantum computing uses tiny particles that can be in two states at once, like a coin spinning." (Rater rank: 1; reward model score: 0.92)

Response B: "It is a type of computer based on quantum mechanics principles including superposition." (Rater rank: 2; reward model score: 0.71)

Response C: "Quantum bits are better than normal bits for calculations." (Rater rank: 3; reward model score: 0.45)

Common Failure Modes in RLHF

Reward hackingは、モデルが報酬モデルの欠陥を悪用する場合に発生します。例えば、最初に評価者が高く評価した冗長だが中身のない回答を生成するなどです。Mode collapseは、PPO訓練によりモデルが無関係なプロンプト間で同じ高スコアの表現を繰り返し、出力の多様性を低下させる場合に現れます。

Real-World Applications

カスタマーサポートチームは、RLHFで訓練されたモデルを使って会社のトーンガイドラインに一致する返信を作成します。研究者は同じパイプラインを科学ライティングアシスタントに適用し、要約がドメイン専門家が表明した引用の正確性の好みを尊重するようにします。モデルプロバイダーの安全チームは、ポリシー違反ペアとポリシー準拠ペアで報酬モデルを訓練することにより、有害またはバイアスのある出力を減らすためにRLHFに依存しています。

Common Questions About RLHF Reinforcement Learning Human Feedback

Q: Does RLHF guarantee factual answers?

A: いいえ。報酬モデルはスタイル、有用性、安全性に対する人間の好みを学習するだけです。評価者が明示的に不正確さを罰しない限り、事実を検証しません。

Q: How much human data is needed?

A: 報酬モデル段階では通常、数万件のランキング比較が必要です。正確な数は応答の多様性と評価者の一貫性に依存します。

Q: Can RLHF remove all harmful outputs?

A: 望ましくない応答の頻度を減らしますが、完全に排除することはできません。評価者の意見の相違と報酬モデルのエラーが残存リスクを残します。

Q: Is PPO the only algorithm used?

A: ほとんどの公開システムはPPOを使用しますが、研究者は別個の報酬モデルをスキップするDPOなどの代替案をテストしています。PPOは安定しており十分に理解されているため、デフォルトのままです。

Q: Does RLHF change model weights permanently?

A: はい。ユーザーにリリースされる最終モデルには、PPO段階で更新された重みが含まれています。推論時には外部の報酬モデルは実行されません。