К содержанию
Quantoros

Почему vLLM может дать разный текст на один prompt даже при фиксированном seed?

LLM & AIУровень: ПродвинутыйBatched generation reproducibility

Почему vLLM может дать разный текст на один prompt даже при фиксированном seed?

Подсказки
  • Отделите случайную выборку от численного выполнения.
  • Как расхождение одного раннего токена влияет на продолжение?

Ответ

Этот ответ — часть менторства

К продвинутым вопросам есть полный разбор и тренировочное собеседование с практикующим квант-ресерчером. Первый созвон бесплатный.

Источник и лицензия: vLLM contributors — FAQ · Apache-2.0 · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы