К содержанию
Quantoros

Чем отличаются жадное декодирование, beam search и сэмплирование?

LLM & AIУровень: ПрактикаInference & Decoding

Чем отличаются жадное декодирование, beam search и сэмплирование?

Подсказки
  • Уточните этап: предобучение, адаптация, генерация или оценка.
  • Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.

Ответ

Жадный алгоритм каждый раз выбирает наиболее вероятный токен, но не гарантирует наиболее вероятную целую последовательность. Beam search хранит несколько лучших частичных гипотез и приблизительно ищет продолжение с высоким суммарным баллом. Сэмплирование случайно выбирает токен из распределения, возможно с temperature и top-p, обеспечивая разнообразие. Вероятность последовательности не тождественна полезности ответа; выбор метода проверяют на целевой задаче.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы