コンテンツにスキップ

reward-modeling

Inference-Time Scaling for Generalist Reward Modeling (1)

こんにちは！今回のエンジニアブログでは、DeepSeek AIと清華大学の研究者によって発表された論文 Inference-Time Scaling for Generalist Reward Modelingで提案された革新的なアプローチについてご紹介します。この研究は、大規模言語モデル(LLM)のアライメント技術における重要なブレークスルーとなる可能性を秘めています。

LLMアライメントの課題：汎用的報酬モデリング

大規模言語モデル(LLM)の性能を向上させ、人間の価値観と整合させるために、強化学習（特にRLHF: 人間のフィードバックからの強化学習）が広く採用されてきました。しかし、強化学習(RL)の成功はReward Signal(報酬信号)の質に大きく依存しています。

正解が明確に定義できる数学やコーディング問題では報酬を設計しやすいですが、実世界の多くの応用場面では、多様で複雑かつ主観的な評価基準が求められる「汎用的」なクエリに対応する必要があります。従来の報酬モデル（RM）には以下のような限界がありました：

  • スカラーRM：単純な数値スコアを出力するため表現力が乏しい
  • ペアワイズRM：応答ペア間の好みを評価するが、入力形式の柔軟性に欠ける

DeepSeekの革新的アプローチ：SPCTとDeepSeek-GRM

本研究ではこれらの課題に対し、以下の革新的技術を提案しています：

1. Self-Principled Critique Tuning (SPCT)

SPCTは生成的報酬モデル(GRM)の品質と推論時スケーラビリティを向上させるために設計された新しい学習手法です。この手法の特徴は、オンラインRLのプロセスを通じて、モデル自身が入力クエリと応答に基づいて適応的に原則（評価基準）と批判を生成する能力を育成する点にあります。

SPCTは2段階の学習プロセスで構成されています：

  1. 段階1: リジェクティブファインチューニング (RFT)
  2. 目的：事前学習済みLLMが多様な入力タイプに対して正しい形式で原則と批判を生成できるよう適応させる

  3. 方法：予測スコアがグラウンドトゥルースの報酬と一致しない軌跡を拒否し、残った「正しい」軌跡でモデルをファインチューニング

  4. 段階2: ルールベースのオンライン強化学習 (RL)

  5. 目的：効果的な推論時スケーリングを可能にするスケーラブルな報酬生成行動を促進
  6. 方法：GRPO (Generative Reward Policy Optimization)のフレームワークを活用し、GRMが生成した原則・批判・予測スコアをルールベースの報酬関数で評価