К содержанию
Quantoros

Чем онлайн-инференс отличается от пакетного и когда нужен каждый?

ML System DesignУровень: БазаML system design and MLOps

Чем онлайн-инференс отличается от пакетного и когда нужен каждый?

Подсказки
  • Начните с требований к качеству, нагрузке и задержке.
  • Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.

Ответ

Пакетный инференс рассчитывает предсказания для набора объектов заранее, например ночные оценки оттока, и сохраняет их для чтения. Он проще в обслуживании, но результат может устареть. Онлайн-инференс отвечает на текущий запрос с его свежим контекстом и требует быстрого получения признаков и надёжного сервиса. Предвычисление подходит при допустимой задержке и ограниченном наборе объектов; онлайн нужен, когда важны текущие данные или все входы заранее перечислить невозможно.

Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros

Похожие вопросы