К содержанию
Quantoros

Чем Process Reward Model (PRM) отличается от Outcome Reward Model (ORM)?

LLM & AIУровень: ПрактикаProcess Reward Models

Чем Process Reward Model (PRM) отличается от Outcome Reward Model (ORM)?

Подсказки
  • Сравните оценку промежуточного шага рассуждения с оценкой только итогового результата.
  • Какая разметка нужна в каждом случае и как найти неверный шаг при правильном итоговом ответе?

Ответ

ORM оценивает целое решение или итоговый результат, а PRM выдаёт более локальный сигнал по промежуточным шагам. PRM может помочь найти первый неверный переход, направлять поиск и отбрасывать слабые ветки; ORM проще связать с автоматической проверкой финального ответа. Награда бывает вероятностной или непрерывной, не только 0/1. Метки шагов дороже и неоднозначнее, а высокий балл PRM не доказывает логической правильности. Арифметику и посылки проверяют отдельно: например, 370/4=92.5 корректно и не является ошибкой само по себе без противоречащего условия.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы