PPO に関する報道

RLVR は pass@1 を増加させますが、ポリシー ソリューション スペースは縮小し、カウントダウン タスクのカバレッジ率は最大 67% 低下します。以前に RLVR の精度向上に焦点を当てたのと比較して、軌道入口でのダイバーシティ損失を初めて定量化しました。これは、テスト中の拡張の利益逓減が、実行の失敗ではなく、解空間へのアクセスの制限によるものであることを示しています。