Статья. Компьютерное зрение на производстве: возможности, ограничения, особенности внедрения

Внедрение компьютерного зрения (CV) на производстве раньше казалось непосильной задачей: дорого, сложно и нет гарантий, что подойдёт. Сегодня промышленность научилась использовать CV с умом – теперь это не просто модный тренд, а мощный инструмент для повышения производительности. 

Давайте разберёмся, как использовать компьютерное зрение эффективно. Так, чтобы не только оправдать вложения, но и существенно сэкономить средства, сделать производство более качественным и прибыльным.

О чём поговорим: 

1. Что можно анализировать с помощью алгоритмов компьютерного зрения
2. Какие у CV ограничения
3. Когда CV выгодно
4. Каким должен быть датасет
5. Как подготовить данные, если их нет и если они есть 
6. Как происходит обработка изображений
7. Как выглядит готовое CV-решение
8. Какой должна быть инфраструктура проекта
9. Какая камера подойдёт для компьютерного зрения

Что можно анализировать с помощью алгоритмов компьютерного зрения

CV может уследить за большой частью параметров, которые относятся к определению качества сырья, продукции и упаковки.

Если использовать компьютерное зрение как инструмент контроля, то от традиционных методов его отличают несколько преимуществ:

• Контроль 24/7. Внимание человека рассеивается через несколько часов. Компьютерное зрение не устаёт и выдаёт стабильный результат на протяжении всей работы. 
• Обзор всего предприятия. При грамотном размещении камер можно исключить слепые зоны и контролировать участок производства целиком.
• Снижение зависимости от персонала. Компьютерное зрение гарантирует бóльшую прозрачность процессов при меньших издержках.

Помимо контроля качества, алгоритмы компьютерного зрения помогают решать разные типы бизнес-задач. Например, CV может:

Собирать данные для статистики

Компьютерное зрение фиксирует заданные события – формируется статистика, на основе которой вы можете принять взвешенное решение. Например, с помощью CV можно посчитать трафик нескольких улиц, чтобы определить, на какой из них строить кафе.

Искать и сравнивать объекты

Компьютерное зрение находит простые дефекты, различает номера машин, вагонов, может сравнивать с эталоном геометрию объектов, работать с оцифрованными данными и справляться с нетривиальными задачами. 

Например, в производстве электронных компонентов CV-система с помощью предварительно обученных моделей может сканировать платы и определять, соответствуют ли норме размеры и форма каждого компонента. Или указывать на наличие ржавчины и классифицировать его по категориям.

Какие у CV ограничения

Хоть компьютерное зрение и не устаёт, видит оно так же, как человек. Если сотрудник физически не может разглядеть какой-то объект, компьютеру он тоже недоступен. 

Вот, что ограничивает работу компьютерного зрения:

Существуют факторы, которые не видно физически: температура, мельчайшие детали, объём объекта при рассмотрении с одной точки. Но их показатели тоже можно контролировать, если расширить инфраструктуру проекта. Тепловизор, специальный объектив или микроскоп, 3D-камера дополнят данными систему контроля качества.

Когда CV выгодно

Экономическая выгода от применения CV на производстве зависит от цены ошибки. Если из-за брака вы теряете миллионы рублей, а компьютерное зрение позволит их сохранить – смысл внедрять есть. 

Также CV выгодно и эффективно, когда важна скорость производства или пропускная способность отдельного этапа. Ручной (человеческий) контроль значительно уступает по этому критерию автоматизированной системе.

Рассмотрим 2 примера.

Ситуация А: CV решило проблему

Производитель кабельной продукции хотел сократить количество недосмотренного брака в 3 раза. Самой большой проблемой был этап ручной проверки качества. Скорость производства достигает 850 метров в минуту, и специалистам не хватает времени, чтобы внимательно, со всех сторон оценить качество изоляции кабеля. 

IT-специалисты разработали систему, которая следит за кабелем на линии с помощью камер, установленных сверху и снизу. CV фиксирует отклонение цвета кабеля или появления на нём переходных цветов – это показатели отсутствия изоляции. Такое решение пропускает на 70% меньше брака, чем человек.

Ситуация Б: CV не решило проблему

Строительная компания хотела контролировать качество установки пластиковых окон и автоматически находить дефекты: недостаточную герметизацию швов, повреждение профиля или стеклопакета, плохую изоляцию откосов и т.д. В качестве источника данных заказчик планировал использовать одну стационарную камеру, установленную вдали на земле и снимающую здание целиком. 

Разбор процесса показал, что ошибки монтажа можно найти только при детальном осмотре с разных ракурсов: например, изоляция откосов видна только снизу, а повреждения профиля – в анфас.

Чтобы CV обнаружило эти недостатки, снимать нужно каждое окно по отдельности. При этом фотографии или видео должны быть отличного качества, сделаны вблизи, с нескольких ракурсов и при хорошем освещении. 

Стационарная камера под такие требования не подходит. А съёмка на смартфон не даёт нужного качества: на фотографиях получаются засветы и нечёткие зоны из-за контрового света. 

В итоге от CV в этом проекте отказались: на подготовку фото и видео в нужном качестве требовалось больше времени, чем на ручной контроль.

Ваша ситуация: проанализируйте с IT-специалистами

Если аргументы выше картину не прояснили, и вы сомневаетесь, нужно ли вам внедрять решения на базе компьютерного зрения – напишите нам, чтобы мы провели аналитику вместе:

• Посмотрим на бизнес-процесс целиком.
• Выделим зоны или этапы, которые содержат наибольшее число ошибок или самые дорогие и критичные ошибки / длиннее всего по времени / самые дорогие в производстве / связаны с травмами и риском для жизни.
• Сформулируем концепцию решения: как будет работать CV на производстве, что именно должно улучшиться после внедрения и на сколько. 

Каким должен быть датасет

Чтобы алгоритмы компьютерного зрения решили проблему предприятия, нужно собрать качественный датасет. В случае CV – это набор фотографий или видео с производства. Каким должен быть качественный датасет:

• отражает проблематику задачи
• собирается с камер, которые будут использоваться во время эксплуатации, и в тех же условиях
• лишён влияния человеческого фактора
• оцифрован
• состоит из фото или видео в разрешении и формате, которые были согласованы на этапе аналитики
• содержит все объекты, во всех нужных положениях и в реальных пропорциях
• достаточный: 2000–5000 кадров на сущность (на определяемый объект)

Как подготовить данные

Если данных нет и их нужно собрать

Чтобы собрать данные и соблюсти все критерии, разработчикам необходимо изучить производство изнутри. Это нужно, чтобы: 

• оценить условия будущей эксплуатации: параметры температуры, влажности и освещённости 
• запланировать места размещения камер, исключив “слепые” зоны 
• собрать первые образцы датасета и оценить их пригодность для работы
• заметить и учесть даже самые “само собой разумеющиеся” аспекты

Обследовать бизнес-процессы на бумаге и потом использовать фотографии из интернета не получится, если вы хотите в результате получить качественный алгоритм, который станет неотъемлемым помощником в производстве. Часто процессы на бумаге и стоковые картинки отличаются от того, что в реальности.

Если данные есть

Если у вас уже есть датасет, смело пропускаем этап со сбором данных и переходим к разметке.

Разметка данных в нашем случае – это процесс добавления тегов и меток к изображениям, чтобы они были структурированы и понятны для компьютера. ML-разработчики делают разметку сами, но к работе обязательно привлекается специалист со стороны заказчика – только он сможет дать правильную оценку тому, что находится в кадре.

Процесс разметки делится на несколько этапов:

1. Заказчик письменно, с конкретными характеристиками описывает объекты, которые будет искать компьютер, или самостоятельно размечает 10–15 снимков.
2. Аннотаторы, специалисты по разметке, размечают небольшую часть данных.
3. Эксперт от предприятия проверяет разметку.
4. При наличии правок аннотаторы снова размечают небольшую часть данных с учётом комментариев.
5. Когда эксперт одобрил разметку аннотаторов, IT-специалисты продолжают работу над оставшимся набором фото.

Как происходит обработка изображений 

После сбора данных за дело берётся компьютерное зрение и определяет то, что нужно. Как это происходит:

1. Компьютер получает исходное изображение, которое нужно обработать.
2. Выполняется предварительная обработка изображения: улучшается качество, изменяется размер, убирается шум. 
3. Во время обработки признаков выделяются важные детали: происходит сегментация объектов, выделение контуров или определение характеристик объектов на изображении.
4. Применяются алгоритмы машинного обучения, в основе которых лежат нейронные сети. Нейросети обучаются на больших объёмах размеченных данных, чтобы извлечь закономерности и паттерны в изображениях.
5. На последнем этапе компьютер возвращает результат обработки. Это может быть классификация объекта, статистика или оповещение о проблеме сотруднику.

Как выглядит готовое CV-решение

Эффективность готового CV-решения во многом зависит от качества интерфейса. Правильный интерфейс должен быть:

• интуитивно понятным и легким в использовании
• гибким и настраиваемым – чтобы пользователи могли адаптировать решение под свои потребности
• с возможностью настройки режима отображения.

Какой должна быть инфраструктура проекта

Для решения бизнес-задач при помощи компьютерного зрения нужны:

• камеры
• алгоритмы компьютерного зрения
• обученная модель
• сетевая инфраструктура
• сервер

Какая камера подойдёт для компьютерного зрения

Без камеры компьютерное зрение работать не сможет. Давайте разберёмся в характеристиках, чтобы подобрать подходящее под задачу оборудование.

1. Разрешение. Измеряется количеством пикселей по горизонтали и вертикали, например, 1920 × 1080 пикселей. Чем этот показатель выше, тем детализированней получается картинка. Если предстоит распознавать мелкие или далёкие объекты, этот показатель особенно важен. 
2. Скорость кадров (FPS). Означает количество кадров, которое камера снимает за секунду. Высокие показатели актуальны для контроля за быстро движущимися объектами, например, конвейерными лентами. 
3. Светочувствительность. Характеризует, насколько хорошо камера может улавливать свет и создавать качественные изображения в условиях низкой освещённости. Светочувствительность камеры отражают параметры ISO и SNR – это отношение уровня полезного сигнала к уровню шума. Чем выше значения у этих показателей, тем чётче получаются кадры при тусклом освещении.
4. Угол обзора. Определяет, какая часть сцены попадает в кадр. Измеряется в градусах и зависит от фокусного расстояния и размера матрицы камеры. Камеры с большим углом обзора сильно искажают геометрию объектов – возникает эффект “рыбьего глаза”. Это не имеет значения для обнаружения объектов, но критично для измерения геометрии. Например, на снимке ширина одной и той же трещины, снятой в центре кадра и с краю, будет значительно отличаться.
5. Минимальное фокусное расстояние. Обозначает наименьшее расстояние, на котором объектив может сфокусироваться на объекте. Полезно для дефектоскопии мелких деталей и объектов.
6. Фокусировка: автоматическая или ручная. Название говорит само за себя. Ручная фокусировка нужна, когда для дефектоскопии используются микроскопы, макросъёмка или требуется фиксировать объекты, например на конвейерной ленте. Если же объекты движутся быстро, больше подойдут автофокусные камеры.
7. Корпус и защита. В зависимости от среды использования камера может требовать определённого уровня защиты от пыли, влаги и механических повреждений.