NovaScan: Обнаружение объектов в реальном времени для логистики склада

Проблема

NovaScan Technologies управляет 12 складскими помещениями в ОАЭ и Саудовской Аравии, обрабатывая более 50 000 товаров ежедневно. Их существующий рабочий процесс требовал от работников вручную сканировать штрих-коды каждого товара — процесс, который создавал значительные узкие места в часы пик и был подвержен человеческим ошибкам.

Основная проблема была трёхсторонней: этикетки со штрих-кодами часто повреждались или закрывались, сканирование требовало от работников обрабатывать каждый товар отдельно (замедляя пропускную способность), и существующая система не могла идентифицировать товары без штрих-кода. NovaScan нуждалась в решении, которое могло бы визуально идентифицировать продукты — по форме, цвету, упаковке и тексту на этикетке — без использования штрих-кодов.

Они уже общались с несколькими агентствами и консалтинговыми фирмами, но большинство предложили облачные решения, требующие постоянного подключения к интернету — неприемлемо для складских помещений с ненадёжным WiFi. Им было нужно локальное машинное обучение, работающее в автономном режиме, в реальном времени и на стандартных iPad, уже развёрнутых у персонала.

Наш подход

Мы начали с двухнедельной фазы исследования. Наша команда посетила два склада NovaScan, наблюдала существующий рабочий процесс сканирования, сфотографировала более 3000 уникальных товаров при различных условиях освещения и провела интервью с сотрудниками склада о проблемных местах. Эта полевая работа информировала каждое техническое решение, которое последовало.

Для модели машинного обучения мы выбрали YOLOv8 как базовую архитектуру — оптимизированную для скорости без потери точности. Мы обучили её на собранном наборе данных складской фотографии (увеличенном до 15 000 изображений с поворотами, вариациями освещения и частичными перекрытиями), а затем преобразовали модель в формат CoreML для локального вывода на iPad.

Приложение было создано нативно на Swift с SwiftUI. Мы выбрали нативную разработку вместо кроссплатформенной специально для производительности CoreML: модель работает на Apple Neural Engine, обрабатывая кадры камеры со скоростью 30fps со средним временем вывода 14ms. Конвейер камеры использует AVFoundation для прямого доступа к аппаратной части, с пользовательской обработкой кадров, которая пропускает дублирующиеся кадры для снижения энергопотребления.

На бэкенде мы создали легкий API Supabase, который синхронизирует данные инвентаря, когда iPad имеет подключение. Приложение работает полностью в автономном режиме — сканирование, идентификация и локальное обновление инвентаря происходят без подключения к сети. Когда WiFi становится доступным, он синхронизирует ожидающие изменения в фоне.

Ключевые технические решения

Компромисс между размером модели и точностью: мы протестировали три варианта YOLOv8 (nano, small, medium). Вариант small достиг 96,8% mAP на нашем тестовом наборе, при этом сохраняя модель CoreML размером менее 25MB — это критически важно для быстрого запуска приложения и малого потребления памяти на общих iPad в складах.

Пороговое значение уверенности: вместо отображения неопределенных предсказаний мы реализовали трехуровневую систему уверенности. Выше 90%: автоматическое совпадение (зеленое наложение). 70-90%: предложенное совпадение (желтое наложение, нажмите для подтверждения). Ниже 70%: предлагается ручной поиск. Это снизило ошибочные идентификации почти к нулю, сохраняя скорость для четких совпадений.

Постепенные обновления модели: мы создали конвейер обновления модели, который позволяет NovaScan переобучать модель ежемесячно по мере добавления новых продуктов в инвентарь. Обновленные модели распространяются через MDM (Mobile Device Management) на все iPad в складах без необходимости обновления приложения через App Store.

Результаты и влияние

Приложение было запущено в качестве пилота в двух складах и дало немедленные результаты. Время ручного сканирования сократилось на 73% — рабочие теперь могли направить iPad на полку и идентифицировать несколько товаров одновременно вместо сканирования их по одному. Точность инвентаря улучшилась с 94,1% до 99,2%, устранив дорогостоящие расхождения в запасах.

После пилота NovaScan развернул приложение на всех 12 локациях в течение 60 дней. Система теперь обрабатывает более 50 000 идентификаций товаров ежедневно по всей сети. ROI была достигнута в первом квартале — сокращение затрат на сканирование и ошибок инвентаря более чем окупило инвестиции в разработку.

NovaScan впоследствии заключил с нами контракт на второй этап: добавление пространственного картирования на уровне полок с использованием LiDAR на iPad Pro, что позволит автоматизировать обнаружение уровня запасов и оповещения о необходимости переоформления заказа.

Извлеченные уроки

Полевые исследования являются обязательными для проектов компьютерного зрения. Наши посещения склада выявили условия освещения, ориентацию предметов и граничные случаи, которые было бы невозможно предусмотреть, работая за столом. Две недели, которые мы потратили на исследование, сэкономили как минимум месяц переделок.

Автономный режим — правильный стандарт для корпоративных приложений. Даже в окружении с WiFi надежность сети варьируется. Разработка с приоритетом автономного режима и добавление синхронизации позже намного проще, чем добавление поддержки автономного режима в уже существующее облачное приложение.