Машинное зрение для производства: разработка и внедрение под задачу

Машинное зрение на производстве смотрит на каждую деталь, без перерывов и одинаково строго в любую смену. На конвейере такая система проверяет сотни и даже тысячи деталей в минуту, а с правильной камерой и оптикой замечает детали мельче тех, что различает глаз. Российская промышленность, по оценке VisionLabs за 2024 год, купила решений компьютерного зрения на 2,27 млрд рублей, в основном чтобы ловить дефекты, следить за регламентными операциями и вести автоматический фотоконтроль.

Из чего состоит система и чем 2D отличается от 3D, разобрано в статье машинное зрение: что это и как работает. Здесь речь о другом: как превратить идею в участок, который сам отбраковывает деталь или наводит робота, и какие решения придётся принять по дороге.

И да, и нет. Национальная стратегия развития искусственного интеллекта в редакции 2024 года прямо включает компьютерное зрение в технологии ИИ, рядом с обработкой естественного языка и распознаванием речи. Но многие заводские задачи решают без нейросетей: найти деталь по шаблону, измерить расстояние между кромками, прочитать код. Такие алгоритмы работают по правилам, которые инженер задаёт руками, и их решения легко объяснить.

Машинное зрение и искусственный интеллект встречаются там, где дефект каждый раз выглядит по-новому: царапины, раковины, непропай, грязь на упаковке. Правила тут ломаются, потому что даже в отлаженном процессе внешний вид детали гуляет от экземпляра к экземпляру. Есть и промежуточный путь. Модель поиска аномалий учится только на снимках годных изделий и отмечает всё, что от них отличается, а ручная разметка брака ей не нужна. Куда движется нейросетевой контроль, рассказано в разборе ИИ-зрение для контроля качества.

Внедрение машинного зрения начинают с вопроса, который кажется очевидным: что считать браком? Вы вместе с технологом и ОТК составляете список дефектов, приносите образцы и решаете, что хуже: пропустить брак или отбраковать годную деталь. От этого выбора зависят порог модели и приёмочные метрики.

Дальше детали снимают на стенде и подбирают камеру, объектив и подсветку. Эту часть удобно пройти до того, как что-то покупать: испытания на роботизированном стенде показывают, видит ли камера дефект вообще. Если не видит, никакая модель его не найдёт.

Потом собирают и размечают снимки, обучают модель и проверяют её на отложенной выборке. Проверочные снимки в обучающий набор не кладут. Иначе метрики выйдут слишком оптимистичными. Готовую систему связывают с оборудованием: дискретные выходы идут в ПЛК ячейки или прямо на соленоид отсекателя брака, данные уходят по Ethernet, в том числе по EtherNet/IP.

Если зрение наводит робота, камеру калибруют в его системе координат, а траекторию проверяют через офлайн программирование роботов и дописывают под новую деталь. Это часть услуги программирование промышленных роботов под заказ. Место камер и подсветки вдоль конвейера закладывают в проект, когда проектируют роботизированную линию.

Последний шаг: опытная эксплуатация. Система работает рядом с контролёром, их результаты сравнивают на одних и тех же деталях. После приёмки модель дообучают, когда меняется материал, поставщик или освещение. Поэтому сопровождение зрения удобно прописать в одном договоре с обслуживанием промышленных роботов.

Для своей модели детекции Ultralytics рекомендует от 1500 изображений и от 10 000 размеченных объектов на каждый класс. Размечать нужно каждый объект на каждом снимке: частичная разметка не работает. Снимки должны быть похожи на реальную линию, то есть сделаны в разное время суток, при разном освещении, под разными углами и разными камерами. Фоновые снимки без объектов добавляют в объёме 0–10% набора, они снижают число ложных срабатываний.

На заводе главная трудность в другом. Брак редок, и тысячу снимков одной раковины можно копить месяцами. Поэтому редкие дефекты часто ищут через аномалии, которым для обучения хватает небольшого числа снимков годных изделий.

Заказные системы машинного зрения удобно писать на Python: на нём доступны и классические алгоритмы, и нейросети. Открытая библиотека OpenCV содержит больше 2500 оптимизированных алгоритмов, распространяется по лицензии Apache 2 и имеет интерфейсы для C++, Python, Java и MATLAB. Для нейросетевых задач берут, например, модели YOLO. YOLO11 вышла 27 сентября 2024 года и умеет обнаруживать объекты, сегментировать их, классифицировать снимки, оценивать позу и находить повёрнутые объекты.

У YOLO11 есть деталь, которую замечают поздно: модели распространяются под лицензиями AGPL-3.0 и Enterprise. Если код системы закрыт и уходит на завод как продукт, вопрос лицензии решают до начала разработки, а не на приёмке. Промышленная альтернатива: коммерческие среды вроде HALCON от MVTec, где модели поиска аномалий создают и переносят на линию готовыми инструментами.

Скорость модели проверяют до закупки вычислителя. Самая лёгкая YOLO11n обрабатывает снимок 640 пикселей на процессоре через ONNX за 56,1 мс, а на видеокарте NVIDIA T4 через TensorRT за 1,5 мс. Разница в десятки раз решает, хватит ли промышленного компьютера без видеокарты (рис. 2).

Тот же подход работает и за пределами цеха. Систему автономного вождения Cognitive Agro Pilot строили на одной видеокамере: свёрточная нейросеть определяет типы и положение объектов, строит траекторию и передаёт команды комбайну. В 2020 году систему собирались поставить на 242 комбайна «Русагро».

Разработка ПО машинного зрения для сельскохозяйственной техники упирается в данные ещё жёстче, чем в цеху: пыль, вибрация, ночь, разные культуры. Ultralytics для любых реальных задач советует снимать в разное время суток, в разные сезоны и в разную погоду, а в поле без этого модель просто не доживёт до следующей уборки.

Запрос «машинное зрение обучение» обычно означает одну из двух работ. Первая касается модели: собрать и разметить снимки, как описано выше. Вторая касается людей. Оператор должен понимать, почему система забраковала деталь. Наладчику нужно уметь добавить снимки нового дефекта и понимать, когда звать разработчика. Программист робота должен знать, как перекалибровать камеру после переналадки.

Эти навыки лучше давать на своей ячейке, а не на демонстрационном стенде. Программа для операторов и наладчиков описана на странице обучение работе с промышленными роботами для операторов и программистов.

Цену проекта складывают камера, оптика и подсветка, вычислитель, разработка и разметка, интеграция с ПЛК или роботом и сопровождение. Точно её считают после съёмки на стенде, когда ясно, виден ли дефект и какой нужен вычислитель. Бизнес сейчас охотнее берёт точечные проекты: по словам Глеба Рыжакова из Центрального университета, частный сектор интересуют решения, которые окупаются за один-два года, например контроль дефектов на производстве.

Чтобы прикинуть эффект, посчитайте, сколько стоит смена контролёра и во что обходится брак, который дошёл до клиента. Логика расчёта, в том числе стоимость внедрения робота, разобрана отдельно, а цифры своего участка можно подставить в калькулятор окупаемости роботизации. А когда зрение, роботы и оснастка ставятся вместе, проще вести их одним проектом, как роботизацию производства под ключ.

Когда машинное зрение не сработает или не окупится

• Камера не видит дефект. Если на стенде дефект не различим ни при какой оптике и подсветке, модель его не найдёт. Что делать? Перенести контроль на другую операцию или поменять способ съёмки.
• Сложная неупорядоченная сцена. Человек лучше качественно оценивает сложную неупорядоченную картину, а машинное зрение сильнее в количественных измерениях упорядоченной сцены. Оценку общего вида изделия «на глаз» иногда честнее оставить контролёру, а машине отдать измерения и типовые дефекты.
• Мало брака для обучения. Модели детекции нужны тысячи размеченных объектов на класс. Редкий дефект собирают долго или ищут через поиск аномалий.
• Лицензия модели. YOLO11 распространяется под AGPL-3.0 или по коммерческой лицензии Enterprise. Для закрытой системы это решают до разработки.
• Дрейф картинки. Новый поставщик металла, другая краска или замена ламп меняют снимок. Без дообучения модель начинает ошибаться чаще.
• Зрение не чинит процесс. Система найдёт брак, но не устранит его причину. Если не разбирать дефекты с технологом, она будет просто его считать.