К содержанию
Quantoros

Статья

Систем-дизайн на собеседовании: контроль отгрузок с камер. Часть 1

Разбор систем-дизайна с собеседования на лида Computer Vision: как камеры, трекинг и весы помогают проверять отгрузки грузовиков на стройке. Первая часть серии.

Это первая часть серии из пяти статей об одном собеседовании.

Недавно проходил собеседование в стартап, который поднял pre-seed. Рассматривали на лида команды Computer Vision и ML. Сначала HR, потом разговор с фаундером на 2,5 часа и затем систем-дизайн с техническим аудитором.

Продукт связан со стройками: камеры, сенсоры и дроны помогают контролировать отгрузки и перемещение материалов. Расскажу, что было на последнем собесе и как я строил свой ответ.

Начнём с грузовиков

Что нужно бизнесу: оценить заполненность или проверить заказ?

Полупустой грузовик может везти ровно столько, сколько заказали. Поэтому сначала уточняем единицы измерения, допустимую ошибку и действие диспетчера.

Допустим, цель: обнаружить неправильную отгрузку до выезда. Тогда нужны задание, измерения и связь с конкретным рейсом. Процент заполнения сам по себе задачу не решает.

Как бы я построил CV-часть

Начал бы с измерительной зоны: камера сверху или под углом должна видеть содержимое кузова. Если виден только борт, большая модель не добавит недостающий ракурс.

Для обнаружения машины взял бы YOLO11s, для выделения кузова проверил бы YOLO11s-seg. Обе модели дообучаем на данных площадки.

Для трекинга начал бы с ByteTrack: он связывает обнаружения по движению и пересечению рамок, используя в том числе слабые детекции для продолжения трека. Если машины часто путаются после перекрытий, сравнил бы с BoT-SORT с ReID, проверенным на грузовиках.

Выделенный кузов вырезаем из исходного кадра и подаём в ResNet-18, обученную различать «пустой, мало, средне, полный». Учитываем порядок категорий: перепутать соседние состояния менее критично, чем пустой кузов с полным.

Результат собираем по нескольким пригодным кадрам после завершения погрузки. Тент, сильное перекрытие или плохое изображение дают «недостаточно данных», а не случайную категорию.

Камера или весы

Камера видит полный кузов, весы показывают недогруз. Кому верить?

Это разные измерения. Визуальная заполненность не заменяет массу. Для массы нужны весы, для физического объёма можно рассмотреть LiDAR и известную геометрию кузова.

Каждому приезду присваиваем session_id. К нему привязываем заказ, измерения и время. track_id для этого недостаточно: трек может оборваться, пока рейс продолжается.

Запоздавшее показание весов связываем по времени измерения, а не получения сообщения. Иначе данные предыдущей машины попадут к следующей.

Как всё работает вместе

На площадке локальный GPU-узел: приём видео через DeepStream, модели в TensorRT, отдельный этап трекинга. Классификатор заполнения запускается только для подходящих наблюдений в измерительной зоне.

Бэк ведёт состояния рейса: приехал, загружается, измерен, проверен, выехал. При расхождении сохраняет событие и отправляет диспетчеру заказ, измерения и кадры. Повторная отправка не должна создавать вторую проблему в учёте.

На тестовых рейсах отдельно проверяем детекцию, трекинг и классификацию. Но главные показатели: доля правильно проверенных рейсов, пропущенные расхождения, ручные проверки и уведомления до выезда. Хороший mAP ещё не означает, что диспетчер получил правильное решение вовремя.

Новые статьи на почту