Машинное зрение: что это, как работает и где применяется на производстве

Машинное зрение, или техническое зрение, состоит из камеры, оптики, подсветки и программы: они снимают изделие и превращают снимок в команду для оборудования. Ассоциация автоматизированной обработки изображений (AIA) относит к машинному зрению любую задачу, промышленную или нет, где аппаратура и программы снимают и обрабатывают изображения, а по ним управляют устройствами. Проще говоря, камера работает глазом контролёра, а программа делает за него вывод: годна ли деталь, где она лежит, какой номер на ней нанесён.

Классический пример даёт пивоварня, где проверяют уровень налива. Бутылка проходит датчик, тот запускает систему зрения, вспыхивает строб, и камера делает снимок. Программа находит на снимке уровень жидкости и отвечает «годен» или «брак». При браке сигнал уходит на отсекатель, который снимает бутылку с линии, а оператор видит отбракованные бутылки и статистику на экране. Возможных ответов у такой системы всего два, поэтому её называют бинарной.

Российские стандарты чаще говорят «система технического зрения». ГОСТ Р 60.0.0.4-2023 называет её среди оборудования, из которого вместе с промышленным роботом, рабочим органом и датчиками складывается робототехнический комплекс. Поэтому техническое зрение роботов рассматривают как часть робототехнического комплекса, а не как отдельный прибор: камера сообщает роботу, где лежит деталь, и проверяет, что он сделал. Промышленные роботы без зрения повторяют заученную траекторию и рассчитывают, что деталь лежит строго на своём месте.

Алгоритмы у них во многом общие: промышленное компьютерное зрение пользуется теми же методами, что учебное или военное, но работает в других условиях. Промышленная система должна работать устойчивее, надёжнее и стабильнее учебной, а стоит она обычно намного меньше военной. Отсюда требования к машинному зрению: невысокая цена, приемлемая точность, высокая надёжность, механическая и температурная стабильность.

Компьютерным зрением в широком смысле называют и видеоаналитику на улицах, и программы, которые узнают лица. Машинное зрение работает в цеху и отдаёт команды станку, роботу или отсекателю. Подробнее о терминах рассказывает статья глоссария о машинном зрении.

Система машинного зрения собрана из пяти основных узлов: освещения, объектива, датчика изображения, обработки и связи. Подсветка делает признаки детали заметными для камеры, объектив собирает изображение и передаёт его на сенсор в виде света, а сенсор превращает свет в цифровое изображение для процессора. Обработкой заняты алгоритмы: они просматривают снимок, достают из него нужные сведения, проверяют деталь и принимают решение. Для связи система обычно выдаёт дискретные сигналы или отправляет данные по последовательному каналу устройству, которое их записывает или использует.

Большинство узлов, включая модули подсветки, сенсоры и процессоры, продаются как готовые покупные изделия (COTS). Систему собирают из них или покупают целиком, когда все компоненты стоят в одном корпусе. Сама промышленная камера машинного зрения, с сенсором и креплением объектива, описана на отдельной странице.

Система зрения анализирует не сам предмет, а отражённый от него свет. Поэтому схему подсветки продумывают раньше, чем выбирают камеру. Удачный свет подавляет одни признаки и усиливает другие: например, силуэт скрывает поверхность и позволяет измерить кромку. Основные приёмы сведены в таблицу.

Объектив определяет качество и разрешение снимка. У камер систем зрения два основных варианта: сменные объективы, обычно с креплением C или CS, и встроенные объективы автономных систем с автофокусом, механическим или на жидкой линзе. Сенсор на технологии ПЗС (CCD) или КМОП (CMOS) превращает свет в электрический сигнал. Чем выше разрешение, тем больше деталей на снимке и тем точнее камера измеряет, а сколько пикселей нужно, диктуют размер детали и допуски.

Кадры уходят в вычислитель по одному из стандартных интерфейсов. Программная основа у них общая, GenICam: камера описывает свои функции XML-файлом, и этот файл понимает программа любого производителя. А различаются интерфейсы тем, сколько данных пропускают и какой длины кабель допускают.

Снимок обрабатывают по шагам. Камера снимает кадр, программа при необходимости сначала улучшает его, чтобы нужные признаки стали заметнее, затем находит элементы детали, измеряет их и сравнивает с нормой. В конце система принимает решение и передаёт результат. Считать можно на внешнем ПК или внутри автономной системы зрения.

Почти любая задача начинается с того, что программа ищет объект в кадре по образцу (pattern matching), будь то простая проверка сборки или 3D-выемка деталей из тары. Если программа не нашла деталь, она не сможет ни навести на неё робота, ни прочитать код, ни проверить, ни сосчитать, ни измерить. Поэтому поиск должен находить деталь, даже когда сильно скачут контраст и освещение, меняется масштаб или деталь повёрнута.

Результат уходит на дискретные входы ПЛК, который управляет ячейкой или сигнальной колонной, либо прямо на клапан отсекателя. Данные передают и по последовательному каналу RS-232 или Ethernet, в том числе по промышленному протоколу EtherNet/IP.

Классическое машинное зрение работает по правилам. Инженер задаёт, где искать деталь и что с ней делать: какие кромки мерить «калипером», какие пятна искать анализом blob, какие контуры сравнивать. Найдя деталь, система выравнивает остальные инструменты по тому, где она лежит, и на одной линии можно выпускать разные изделия без дорогой жёсткой оснастки.

Нейросети берут на себя дефекты, которые трудно описать правилами: царапины на текстуре, вмятины, пятна произвольной формы. Например, обнаружение аномалий у MVTec не требует ручной разметки. Модель учится на снимках годных изделий и отмечает на новых снимках участки, которые от них отличаются, а снимков для обучения нужно немного.

Задачи машинного зрения делят на четыре группы: наведение, идентификация, измерение и инспекция. В англоязычной литературе их запоминают по аббревиатуре GIGI: guidance, identification, gauging, inspection. Во всех четырёх первым делом нужно найти деталь в кадре.

Инспекции посвящена отдельная страница. Соседние задачи, включая измерение и сортировку, собраны в семействе применений «контроль и измерение».

По тому, как система получает изображение, её относят к одному из трёх классов: 1D, 2D или 3D.

1D-системы анализируют сигнал построчно, а не кадр целиком: например, сравнивают последнюю группу из десяти строк с более ранней. Так находят дефекты и сортируют их по типам в материалах, которые выпускают непрерывным процессом: бумаги, металла, пластика, нетканых полотен и другого листового и рулонного материала.

2D-системы снимают плоскую картинку. Большинство камер контроля матричные (area scan) и делают снимок целиком, а линейные (line scan) собирают изображение строка за строкой, пока изделие движется. У линейной камеры свои плюсы. Цилиндр, вращаемый перед ней, «разворачивается» в одну картинку, сама камера помещается в узкий зазор между роликами конвейера и обычно снимает с большим разрешением, чем матричная.

3D-системы снимают форму объекта. Многокамерная система триангулирует, где деталь находится в пространстве, и передаёт роботу, как она повёрнута. Лазерный датчик смещения строит карту высот по сдвигу отражённой лазерной линии и при калиброванном смещении измеряет высоту и плоскостность с точностью до 20 мкм. В камере со структурированным светом проектор наносит на объект полосы, камера снимает, как они искривились, и по этому изгибу программа считает глубину. На выходе получаются обычный снимок, карта глубины и облако точек с координатами XYZ.

Систему машинного зрения собирают на одной из нескольких платформ. Какую взять, зависит от задачи: среды разработки, нужных возможностей, архитектуры и цены. Роботы добавляют к этому списку ещё один вариант, зрение внутри контроллера робота.

Автономные системы со встроенным Ethernet объединяют в сеть, и управляет ею хост. Результаты, снимки и статистику тогда видно с любой рабочей станции завода по TCP/IP. Писать программу на ПК, наоборот, долго и сложно, поэтому этот путь обычно оставляют крупным установкам и опытным программистам.

Роботу зрение нужно прежде всего для наведения. Система находит деталь, определяет, где она лежит и как повёрнута в 2D или 3D, и передаёт это контроллеру робота. По оценке Cognex, так робот раскладывает детали на поддоны и снимает с них, упаковывает изделия с конвейера, совмещает детали при сборке и вынимает их из тары намного быстрее и точнее, чем если позиционировать их вручную.

Производители роботов встраивают зрение в контроллер. У FANUC функция iRVision входит в стандартную комплектацию всех контроллеров. Её 3D-вариант обходится без внешнего ПК: контроллер сам обрабатывает снимок и согласует с ним движение робота, а сравнив изображение с CAD-моделью, робот находит, где лежит деталь, и поправляет движение без точной оснастки. Типовые задачи такой системы, по данным FANUC, это перекладка (pick-and-place), выемка деталей навалом из тары (bin picking) и депаллетирование.

Линейка датчиков FANUC показывает, из чего собирают техническое зрение роботов. К контроллеру подключают 2D-камеру с разрешением 1280 × 1024 пикселя в градациях серого, 3D-датчик со структурированными лазерными щелевыми лучами и 3D-датчики 3DV, которые измеряют сцену по одному проецируемому шаблону. Модель 3DV/400 измеряет в зоне 268 × 262 × 500 мм.

Зрение отвечает на вопрос «где», но не на вопрос «с каким усилием». Когда деталь вставляют с натягом, прижимают инструмент к поверхности или ищут отверстие на ощупь, к камере добавляют датчик силы и момента. Для выемки из тары подбирают ещё и захват, который дотянется до найденной камерой детали. Варианты собраны на странице «захваты для роботов».

Встроенное зрение удобно, пока весь парк одного бренда: 2D-камера FANUC рассчитана на контроллеры семейства R-30iB. На участке с роботами разных производителей камеры подключают по открытым стандартам. GigE Vision задуман так, чтобы оборудование и программы разных поставщиков работали вместе по гигабитному Ethernet. Например, камера Hikrobot MV-CS050-10GM-PRO совместима с протоколом GigE Vision 2.0, стандартом GenICam и сторонним ПО на их основе.

Тогда одна система зрения выдаёт координаты любому роботу, а если поменять робота, зрение переделывать не придётся.

Машинное зрение покупает прежде всего промышленность. По опросу VDMA, 66% выручки отрасли машинного зрения по-прежнему приносит производство. Растущими рынками производители считают электронику, полупроводники, потребительскую электронику, фармацевтику и медицинскую технику, а перспективной называют логистику, где многие процессы ещё не автоматизированы.

Типовые задачи по отраслям сведены в таблицу.

Схему съёмки описывают несколькими величинами:

• поле зрения: видимая часть объекта, которая заполняет сенсор камеры;
• рабочее расстояние: промежуток между передней поверхностью объектива и объектом;
• глубина резкости: наибольшая глубина объекта, которая целиком остаётся в фокусе;
• увеличение: отношение размера сенсора к полю зрения.

Предел разрешения сенсора задаёт частота Найквиста: одна пара линий, светлая и тёмная, занимает два пикселя. Возьмём камеру с сенсором 2448 × 2048 пикселей и пикселем 3,45 мкм, как у Hikrobot MV-CS050-10GM-PRO, и поле зрения 100 мм по горизонтали, как в учебном примере Edmund Optics для сенсора с тем же шагом пикселя.

Формула даёт теоретический предел. Реальный обычно заметно хуже, потому что на результат влияет много других факторов, начиная с контраста объектива. Второе ограничение видно по потоку данных: в полном разрешении 8-битный поток почти целиком занимает гигабитный канал, и 35,6 кадра в секунду камера выдаёт, только если сжимает изображение. Если деталь движется быстро или нужен запас по скорости, выбирают камеру с более быстрым интерфейсом.

Человек лучше разбирается в сложной неупорядоченной сцене. Машинное зрение сильнее там, где сцена упорядочена и нужно мерить: оно быстрее, точнее и раз за разом повторяет результат. На линии оно проверяет сотни и даже тысячи деталей в минуту, а при подходящих камере и оптике видит детали мельче тех, что различает глаз. Система работает без перерывов и круглосуточно держит стабильный результат.

Контроль бесконтактный, поэтому деталь не повреждается, а механика испытательного стенда не изнашивается. Чем меньше людей в процессе, тем меньше грязи попадает в чистые помещения и тем реже людям приходится работать в опасной среде. Коды на деталях связывают изделие с узлами, из которых оно собрано, и по ним проще вести гарантийный ремонт и проверять подлинность.

Контролёр при этом не исчезает из процесса. В круглосуточной работе человек неизбежно отвлекается и пропускает мелкие детали, как отмечает главный инженер компании «Рокет Контрол» Павел Приходько. Зато человек лучше оценивает сложную, неупорядоченную сцену. Поэтому зрение берёт на себя поток, а человек разбирает спорные случаи и отбракованные изделия.

Бюджет складывается из камеры и оптики, подсветки, вычислителя, лицензий на программы и инженерной работы: надо подобрать схему съёмки, настроить алгоритмы, связать систему с ПЛК или роботом и испытать её на реальных деталях.

Окупаемость считают так же, как для робота: сколько контролёров освобождает система, сколько брака перестаёт доходить до клиента, во что обходится простой линии. По словам Глеба Рыжакова из Центрального университета, при высокой ключевой ставке частный бизнес в России ждёт от компьютерного зрения точечных внедрений, которые окупаются за один-два года, например контроля дефектов на производстве.

Проект начинают с образцов: годных деталей и деталей с каждым видом брака. На них подбирают подсветку и оптику и проверяют главное: виден ли дефект на снимке. Только после этого выбирают платформу и алгоритм, связывают систему с ПЛК или роботом, настраивают отбраковку и прогоняют на потоке, проверяя, совпадает ли вердикт системы с мнением контролёра.

• Сначала камера, потом свет. Система видит только отражённый свет. Если при выбранной подсветке дефект не проявляется, его не найдут ни разрешение, ни алгоритм.
• Образцы из одного дня. Даже в хорошо отлаженном процессе внешний вид детали меняется. Образцы берут из разных партий и смен и снимают при разном свете в цеху.
• Глянец под направленным светом. На блестящей поверхности светлое поле даёт горячие точки и блики, и нужен рассеянный свет или купол.
• Смаз на быстрой линии. Движущуюся деталь «замораживают» стробоскопом.
• Вычислитель далеко от камеры. Кабель USB3 Vision рассчитан на 5 м, Camera Link Base на 10 м, GigE Vision на 100 м.
• Разрешение впритык по формуле. Реальный предел часто заметно хуже расчётного, поэтому запас закладывают сразу.

Опубликованные оценки по России охватывают весь рынок компьютерного зрения, и промышленность в них идёт отдельной строкой. По оценке VisionLabs, в 2024 году этот рынок составил 22,6 млрд рублей, а к 2030 году при росте около 14% в год может достичь 49,61 млрд рублей. Больше половины выручки (53%) дают видеоаналитика, распознавание текста и документов (OCR/IDP) и проекты «Безопасный город», а госсектор в целом приносит около 35%.

На промышленность приходится 2,27 млрд рублей, около десятой части рынка. Здесь компьютерным зрением ищут дефекты, следят, чтобы операции шли по регламенту, и автоматически ведут фотоконтроль.

Европейская отрасль три года подряд теряла выручку. По опросу VDMA, в 2025 году продажи производителей систем зрения снизились на 2%: у изготовителей компонентов они выросли на 4%, у поставщиков готовых систем упали на 6%. По регионам сбыта картина разная: в Европе продажи сократились на 6%, в Северной Америке выросли на 9%, в Азии на 3%. На 2026 год VDMA ждёт, что продажи вырастут на 3%.

Глава отделения Machine Vision в VDMA Даниэль Зайлер называет машинное зрение, особенно в связке с робототехникой и ИИ, ключевой технологией конкурентоспособного производства. Китайские компании заметны и на отраслевых выставках. На выставку Vision 2026 в Штутгарте (6–8 октября) к маю записались 400 экспонентов, две трети из них иностранные, и особенно много компаний из Китая.

Поставщики делятся на несколько групп. Одни выпускают компоненты: камеры, оптику, подсветку. Так, Hikrobot делает промышленные камеры, в том числе модель из расчёта выше. Другие пишут программы: у MVTec есть среда разработки HALCON и пакет MERLIC, с которым нейросетевой контроль настраивают, не программируя. Третьи продают готовые системы: Cognex выпускает датчики зрения, системы 3D-зрения и промышленные сканеры кодов. Mech-Mind делает 3D-камеры со структурированным светом, а производители роботов, как FANUC, встраивают зрение в контроллер.

Нейросетевой контроль проще обучать: модели обнаружения аномалий обходятся снимками годных изделий без разметки. 3D-зрение уходит в контроллер робота, и в 2021 году FANUC добавила в iRVision функцию, которая находит детали по 3D-модели. Интерфейсы ускоряются: кроме гигабитных камер выпускают модели на 2,5, 5 и 10 Гбит/с, а стандарт GigE Vision с версии 2.1 2018 года передаёт составные данные, которые нужны для 3D.

• Неупорядоченная сцена. Человек лучше оценивает сложную, неупорядоченную сцену, а машинное зрение сильно там, где деталь подаётся одинаково.
• Поиск детали. Свет, перекрытие, поворот и масштаб меняют вид детали и мешают её найти, а без этого шага не работают ни наведение, ни измерение, ни инспекция.
• Блики. Система анализирует отражённый свет, поэтому на блестящих поверхностях направленная подсветка даёт горячие точки и блики.
• Предел разрешения. Реальное разрешение часто заметно хуже того, что дают формулы.
• Нейросеть знает только годные образцы. Модель обнаружения аномалий отмечает всё, что отличается от снимков годных изделий, поэтому, когда меняется исполнение изделия, его снимки приходится добавлять в обучающий набор.
• Разработка на ПК. Своя программа на ПК даёт свободу, но писать её долго и сложно.
• Привязка к бренду. Встроенное зрение робота рассчитано на контроллеры своего производителя.
• Экономика. При высокой ключевой ставке бизнес осторожен с капиталоёмкими проектами, которые окупаются не сразу.