Чем онлайн-инференс отличается от пакетного и когда нужен каждый?
ML System DesignУровень: БазаML system design and MLOps
Чем онлайн-инференс отличается от пакетного и когда нужен каждый?
Подсказки
- Начните с требований к качеству, нагрузке и задержке.
- Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.
Ответ
Пакетный инференс рассчитывает предсказания для набора объектов заранее, например ночные оценки оттока, и сохраняет их для чтения. Он проще в обслуживании, но результат может устареть. Онлайн-инференс отвечает на текущий запрос с его свежим контекстом и требует быстрого получения признаков и надёжного сервиса. Предвычисление подходит при допустимой задержке и ограниченном наборе объектов; онлайн нужен, когда важны текущие данные или все входы заранее перечислить невозможно.
Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros