Чем Process Reward Model (PRM) отличается от Outcome Reward Model (ORM)?
LLM & AIУровень: ПрактикаProcess Reward Models
Чем Process Reward Model (PRM) отличается от Outcome Reward Model (ORM)?
Подсказки
- Сравните оценку промежуточного шага рассуждения с оценкой только итогового результата.
- Какая разметка нужна в каждом случае и как найти неверный шаг при правильном итоговом ответе?
Ответ
ORM оценивает целое решение или итоговый результат, а PRM выдаёт более локальный сигнал по промежуточным шагам. PRM может помочь найти первый неверный переход, направлять поиск и отбрасывать слабые ветки; ORM проще связать с автоматической проверкой финального ответа. Награда бывает вероятностной или непрерывной, не только 0/1. Метки шагов дороже и неоднозначнее, а высокий балл PRM не доказывает логической правильности. Арифметику и посылки проверяют отдельно: например, 370/4=92.5 корректно и не является ошибкой само по себе без противоречащего условия.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros