Системы технического зрения и обработки изображений

Системы зрения теперь считаются неотъемлемой частью многих промышленных процессов, потому что они могут предлагать быстрые, точно воспроизводимые возможности контроля. Например, в пищевой промышленности, где система технического зрения играет решающую роль в процессах, когда скорость и точность чрезвычайно важны и помогают обеспечить конкурентное преимущество для производителей. Сам пищевой продукт проверяется на предмет контроля и качества порций, а также на качество упаковки и маркировки. Кроме того, на фармацевтическом рынке требуются самые требовательные системы видения, которые не только проверяют продукты, но также проверяют использование и настройку систем, обеспечивая правильное дозирование и контроль за процессами изготовления лекарств.

История развития роботозрения

Понятие промышленных роботов появилось с первым официально признанным устройством, которое было создано в 1954 году. Но техническое зрение в системах управления с известными координатами было создано только в 1960 году, и качество его было очень низким, чтобы использовать для широкого применения. Такое положение дел продолжалось до 1983 года, когда появились первые коммерческие системы видения, после чего система стала жизнеспособной технологией, а теперь широко используется во многих отраслях производства.

Видение приносит пользу многим секторам производства, где робототехника является одной из главных областей применения. Одним из ключевых моментов является тот факт, что ее можно рассматривать как технологию включения в систему управления роботом. Роботы хороши в повторяющихся задачах, но плохо учитывают быстро изменяющиеся параметры, поэтому, когда местоположение продукта меняется, робот-система не срабатывает.

Система технического зрения позволяет роботам «видеть» объект и вычислить его X- и Y-позиции. В последнее время роботы стали применяться с возможностью двух- и трех-видения. Таким образом, им стала доступна и третья координата, как правило, высота объекта. Список систем датчиков изображений, программных пакетов и диапазон интеллектуальных камер постоянно растет, поэтому для любого приложения существует техническое зрение в системах управлениях роботами. С появлением недорогих многоядерных процессоров система расширила свои горизонты.

Оценка роботизированных систем зрения

Работа любой системы должна иметь систему оценок для определения ее эффективности. Такая же система есть и у роботозрении. Наиболее важные показатели при разработке систем технического зрения:

1. Адаптивность: большинство приложений для роботизированного зрения полагаются на очень четко определенные приложения с предварительно запрограммированными функциями. Они могут очень хорошо обнаружить конкретный заданный шаблон. Однако если что-то необычное начнет проходить перед камерой, оно может быть пропущено приложением. Хорошим примером этого может быть полностью автоматизированный публичный тест CAPTCHA, где простые буквы слегка деформированы, и любой тип системы зрения не может их обнаружить. Хотя этот пример является проблемой на данный момент, но это всего лишь вопрос времени, скоро это препятствие будет преодолено роботизированными системами зрения.
2. Обнаружение тенденций: если система зрения не была запрограммирована для обнаружения тенденций или моделей, она не сможет их обнаружить. Хотя люди действительно хорошо разбираются и определяют тенденции — техзрение имеет проблемы с ассоциациями. Каждая обнаруженная функция часто обрабатывается индивидуально, например, если список ошибок будет показан работнику-человеку, он может его проанализировать и определить, есть ли проблема с машиной в производственном процессе. Система видения не может этого сделать, вместо того, чтобы определить, какой фрезерный станок сломался и остановить его, она останавливает производственную линию полностью.
3. Основным преимуществом системы видения является ее последовательность и надежность. Если система технического зрения видения находится в правильном месте, она всегда будет видеть, что что-то не так. Она по сравнению с глазами человека не устает и всегда будет использовать одни и те же параметры. Люди более подвержены риску в течение всего дня, так как рабочий может становиться все более усталым и менее внимательным.
4. Еще одна из причин, по которой производители внедряют систему, — согласованность и точность.

Преобразование координат

При разработке систем технического зрения учитывают, что робот должен отрегулировать себя в соответствии с ориентацией деталей, схватить предметы с конвейера, а затем уложить их на паллеты. В этом случае датчики зрения обеспечивают связь между случайно ориентированной частью и роботом. Например, система машинного зрения может быть применена для управления роботами на машине для сборки электронных печатных плат.

Другой распространенный класс приложений состоит из роботов, которые в процессе производства передают детали с одной на следующую операцию. Система видения предоставляет информацию, позволяющую роботам захватывать целевой объект и перемещать его на следующую операцию в производственной или инспекционной системе.

Когда камера машинного зрения обнаружит в поле зрения объект, камера находит его и устанавливает координаты x и y объекта относительно верхнего левого угла изображения — 0, 0 точки. Робот функционирует со собственной системой координат, сосредоточенной на собственной 0-й точке, что обычно не соответствует той, которую использует система видения. Чтобы упростить связь между датчиком зрения и роботом и позволить роботу легко выполнять правильное действие, системы видения преобразовывают координаты робота. Благодаря этой возможности она преобразует информацию о местонахождении точки интереса в системе отсчета камеры в систему координат устройства систем технического зрения.

В дополнение к координатам положения x и y системы часто должны сообщать роботам тета-координату 0 или угол поворота целевого объекта. Включение координаты 0 позволяет роботам определять, где находится эта часть, а также иметь возможность ее поднять. Инструменты Vision могут сообщать о позиции объекта и о том, как он вращается, поэтому робот может отрегулировать себя подходящим образом, прежде чем поднять объект и выполнить задачу.

Координаты x, y и 0 определенной части могут быть установлены с использованием различных инструментов видения, которые являются частью программных компонентов системы видения. Точность, доступная в этих инструментах, различается, как и время, необходимое для анализа интересующей точки. Например, инструменты предоставляют координаты x и y для случаев, когда ребро находится на продукте. В системе технического зрения в робототехнике, если несколько инструментов обнаружения края объединены с инструментом анализа, можно определить угол или координату 0.

Кластеризация краев

Обнаружение краев для выделения определенных деталей из сложного изображения. Как только система находит часть, она использует данные, собранные из визуальной информации, для изменения своей программы и выполнения задач по назначению. Это позволяет роботу работать с деталями, которые смещены, наклонены, перемешаны в контейнере или иным образом выведены из расчетного положения. Чтобы использовать систему видения таким образом, должна быть определенная форма калибровки, где робот может связывать визуальные данные с расстоянием. Эти свойства применяются в системах технического зрения для контроля качества.

При использовании 2D-зрения или одной камеры, она должна находиться в одном и том же положении каждый раз, когда требуется найти изображение и расстояния от этой точки, т. е. должна быть какая-то форма калибровки. При трехмерном видении две камеры или изображения из двух мест определяют расстояние.

3D-система также требует калибровки, а в случае двух камер местоположение камер относительно друг друга, что является частью калибровки. 3D-система технического зрения ds1000 может измерять функции деталей на микроном уровне, обеспечивая качество каждой детали во время работы. Системы видения «все в одном», которые подключаются непосредственно к роботу и обрабатывают всю обработку данных, не являются чем-то новым для рынка робототехники.

Например, CMUcam5 Pixy — это все в одной системе видения, которая работает с Arduino, Raspberry Pi и BeagleBone для распознавания цвета, объектов и распознаванием лица на этом пути. Раньше для обеспечения этой функциональности для хобби-роботов потребовалось либо большое количество работы, либо дорогостоящая система, но Pixy упростил предоставление возможностей системе технического зрения мобильного робота.

Камера для обработки изображений

Для всех систем промышленного зрения требуется элемент программного обеспечения для системы зрения, будь то просто управление камерой или выполнение индивидуального приложения, все равно нужна хорошая камера. Для многих потребностей в области промышленного контроля простая конфигурация среды разработки техзрения с использованием простых пользовательских интерфейсов позволяет развертывать наиболее экономичные решения. Для более требовательных компаний, с хорошими навыками разработки программного обеспечения часто используют существующую библиотеку программного обеспечения.

Благодаря сложным средствам обработки и измерения изображений и простым пользовательским интерфейсам точек и кликов, системы видения играют свою роль в процессе автоматизации, но также обеспечивают мощную связь с робототехникой. Это часть системы, которая будет освещать внешний мир и преобразовывать его в цифровые данные и могут обрабатываться и анализироваться системой технического зрения insight.

Первоначально камеры состояли из небольшого количества фотоэлементов (около 2 тыс. пикселей), расположенных за объективом, и чтобы определить форму изображений, обрабатывали серый цвет из 256 разных оттенков. Сегодня камеры, используемые в системе, варьируются от 2 мегапикселей до полного цвета и используют для работы 4095 различных оттенков. Этот большой объем данных упростил обработку изображений, поскольку он предоставляет множество информации, и не обязательно скоростную.

Процессорный компонент

Это следующий основной компонент системы видения. Процессор преобразует все необработанные данные с камеры в полезную информацию для робота. Существует два основных метода обработки информации с точки зрения обнаружения и кластеризации.

При обнаружении кромок процессор ищет резкие различия в световых данных от камеры, которые затем рассматривает край. Как только он находит преимущество, процессор смотрит на данные из пикселей поблизости, чтобы увидеть, где еще он может найти аналогичную разницу. Этот процесс продолжается до тех пор, пока не найдет заданную контурную информацию для изображения.

При кластеризации процессор находит пиксели, которые имеют идентичные данные, а затем ищет другие пиксели рядом с одинаковыми или близкими к ним данными. Этот процесс создает изображение, используя данные, снятые камерой. Как только процессор определить его, как изображение, он форматирует информацию во что-то, что робот может использовать, и отправляет в систему.

Последняя ключевая часть технического зрения в системах управления мобильными объектами — кабельная разводка. В более ранних технологиях кабели связи, используемые для систем видеонаблюдения, были неудобными и ограниченными в том, как далеко они могли отправлять данные без потерь.

Примерно в 2009 году Adimec разработал новый способ отправки данных, которые позволили передавать более 6 Гбит/с по коаксиальному кабелю, и назвал его CoaXPress. Этот протокол и те, которые были выпущены позже, обеспечили использование одного коаксиального кабеля для передачи данных, несмотря на то, что объем данных, которые нужны для передачи, продолжает расти.

Не все системы видения используют только один коаксиальный кабель для передачи данных, поэтому важно, чтобы те, кто работает с системами видения, понимали специфику и ограничения системы, которые у них есть.

Приложения Vision System

Когда дело доходит до приложений системы видения, некоторые из захватывающих и популярных вариантов имеют возможность распознавания лиц, системы безопасности, поиск деталей и контроль качества.

Распознавание лиц — это способность система технического зрения сопоставлять изображение человека с данными, хранящимися в его памяти. Во многих отношениях это всего лишь адаптация распознавания деталей, но результат — гораздо более точная работа с роботом. Например, можно запрограммировать робота NAO Aldebaran, чтобы распознать лицо, а затем ответить сообщением, используя имя, создавая персонализированный опыт при взаимодействии с ним.

Помимо социальных применений, эта технология также имеет отличные приложения для обеспечения безопасности. Вместо того чтобы рисковать жизнью людей, можно использовать робота для отказа в регистрации или поиска неавторизованных лиц на основе базы данных одобренных сканирований лица. Робот Baxter, созданный Rethink Robotics, является прекрасным примером этого благодаря его 360-градусной гидролокатору и фронтальной передней панели.

В любое время, когда Бакстер чувствует человека, робот замедляется до безопасной скорости и внимательно следит за обратной связью системы за любыми указаниями на столкновение, останавливая все движения, прежде чем кто-то может пострадать. Кроме того, Baxter использует свою систему видения для поиска деталей и, при необходимости, регулировки положения.

Известные программные пакеты для машинного зрения, такие как Common Vision Blox, программное обеспечение Scorpion Vision, Halcon, Matrox Imaging Library или Cognex VisionPro — это приложения, которые запускаются в Microsoft Windows и используются для создания расширенного и мощного программного обеспечения для автоматизации, принимающего входные и выходные данные изображения на основе заданного изображения. В конечном счете, в коммерческом видении машины, обработка изображений используется для классификации, чтения символов, распознавания фигур или измерения.

Расположение камер обзора

В зависимости от применения система технического зрения будет размещаться в роботизированной камере в разных местах. Со всеми различными типами роботов, камер и приложений есть бесконечное количество решений относительно того, где можно разместить камеру и что с ней делать. Однако существуют основные способы настройки камеры:

1. Конец руки. Различные приложения должны следить за тем, что робот захватывает, некоторые производители роботов встраивают камеры непосредственно на запястье робота. Это позволяет камере перемещаться в разных направлениях в пространстве, находить часть и, в соответствии с кинематикой робота, захватить ее. Поскольку камера часто находится рядом с захватом, она также может отслеживать, правильно ли захвачена часть или если она была удалена во время манипуляции. Размещение камеры на конце руки робота означает, что она постоянно перемещается. Если требуется изображение захватной области, останавливают робота в правильном положении, убеждаются, что камера стабильная, а затем делают снимок. Если для приложения требуется очень короткое время цикла, может потребоваться перенастроить эту опцию.
2. Применение сцены — другой вид системы, в ней можно фиксировать и постоянно смотреть на сцену, например, где детали представлены в разных положениях и ориентациях на конвейере. Как только часть проходит перед камерой, снимок берется и анализируется, чтобы увидеть, где находится деталь и ее ориентация относительно робота. Мониторинг сотовой связи.
3. Существует также вид системы технического зрения роботов, который используется для требований безопасности. Камера или набор камер можно установить непосредственно на роботе или на площадке, где он размещен, чтобы контролировать, входит ли человек в рабочее пространство робота. Поскольку большинство совместных роботов не имеют внешней безопасности, этот метод можно использовать для регулирования скорости робота в соответствии с расстоянием между роботом и человеком.

Система 3D-видения

Применение изображений 3D-камер быстро растет по сравнению с использованием 2D-камеры. Используя несколько датчиков объема и положения, в сочетании с 3D-лазерным сканером времени, можно подробно создавать 3D-модели продуктов производства. Такие 3D-сканы создаются с помощью лазера времени пролета, который измеряет время, необходимое для прохождения света между деталями или продуктами. Самое большое преимущество этого метода заключается в том, что его можно использовать для любой поверхности и размерности. Это позволяет роботу распознавать случайно размещенные объекты и перемещать их для упорядочивания расположения одних и тех же продуктов.

Креветка Мантиса имеет самые впечатляющие глаза в природе, в четыре раза больше рецепторов цвета, чем у людей. Производители долгое время полагались на человеческое видение сложных процессов комплектования и сборки, но системы 3D-зрения начинают превосходить возможности человека в системах технического зрения роботов. Abandon CAD — продвинутые 3D-системы видения резко контрастируют с программным обеспечением видения прошлого. Многие существующие системы по-прежнему требуют профессионального программирования САПР, чтобы робот мог распознавать формы. Однако это программное обеспечение может испытывать трудности с одновременным распознаванием нескольких элементов.

Общим приложением для систем видения является удаление и сортировка товаров из контейнера. В то время как системы на базе САПР могут идентифицировать элементы в контейнере, задача заключается в распознавании позиции каждого элемента при его представлении в произвольном порядке, не говоря уже об определении оптимальности для робота. Расширенные системы видения устраняют эту проблему, используя пассивную визуализацию, чтобы робот мог автоматически идентифицировать предметы независимо от их формы или порядка.

Система зрения Toshiba Machine, TSVision3D, использует две высокоскоростные камеры для непрерывного захвата трехмерных изображений системами технического зрения, применяемые в лазерных технологиях. Используя интеллектуальное программное обеспечение, система может обрабатывать эти изображения и определять точное положение элемента. Это определяет наиболее логичный порядок подбора их и делает это с точностью до миллиметра, с той же легкостью, что и рабочий.

Перспектива развития отрасли

В такой отрасли, как машинное зрение, новые стандарты и технологии вводятся беспрецедентно быстро. Ожидается, что в 2018 году промышленность отрасли систем технического зрения робототехники вырастет на десять процентов и более. Фактически промышленные источники в настоящее время прогнозируют, что глобальные продажи компонентов машинного зрения достигнут ошеломляющих 19 миллиардов долларов США к 2025 году или почти вдвое превысят его текущую стоимость. Такой рост обеспечен необходимым уровнем финансированием для новых передовых технологий и для обновления существующих.

Ведущие разработчики технического зрения в робототехнике:

1. VS Technology Corp с 1997 года является ведущим производителем оптических линз, оптических компонентов и системы освещения в индустрии машинного зрения.
2. NorPix ведущий разработчик программного обеспечения для цифровой видеозаписи и высокоскоростной видеозаписи с использованием одной или нескольких камер.
3. Lumenera, структура Roper Technologies, Inc. производит высокопроизводительные цифровые камеры и пользовательские OEM-решения изображений, используемых для промышленных, научных, наблюдательных и астрономических приложений.
4. Vieworks Co Ltd, фирма, основанная в 1999 году, активно работает на рынках цифровых изображений с использованием своих замечательных технологий визуализации.
5. Euresys, ведущий производитель компонентов для сбора изображений, видео и программного обеспечения для обработки изображений, обладает более чем 25-летним опытом в области визуализации изображений, здравоохранения, ИТС и видео наблюдения. Saber1 Technologies LLC с 2000 года является ведущим поставщиком цифровых изображений, аксессуаров, систем и решений.
6. Teledyne DALSA, более 30 лет является мировым лидером в предоставлении компонентов и решений для машинного зрения. Teledyne DALSA — единственная в мире компания, обладающая основными технологиями, необходимыми для восприятия, захвата и обработки изображений с использованием мощных, инновационных датчиков изображения, камер и плат сбора данных для сложного программного обеспечения для зрения и интеллектуальных систем видения.
7. IMPERX, INC — американский производитель высокопрочных изделий для машинного зрения в течение почти двух десятилетий, имеет обширный набор линий CMOS и CCD—камер, а также широкий ассортимент ноутбуков и настольных Framegrabbers.
8. DAHENG IMAGING, основанная в 1991 году на технологиях, накопленных в Академии наук Китая, является ведущей компанией в Китае, которая создает, разрабатывает, производит и продает машины-роботы, компоненты и решения медицинского сектора.

Таким образом, можно подвести итог, что всего лишь несколько лет назад, когда система стояла у истоков своего развития, она была довольно примитивной. Поскольку промышленные камеры не были такими передовыми, как сегодня, а роботизированная логика была ненадежной, большинство рассматриваемых приложений были из разряда мечты и технически невозможными. Теперь, благодаря смартфонам, процесс технологии камер рванул вперед, а продвижение удобных для пользователя «интеллектуальных камер» сделал технологию технического зрения проще, чем когда-либо.

Техническое зрение и обработка изображений

National Instruments предлагает своим пользователям серию продуктов для осуществления сбора и анализа видеоинформации с помощью цифровых и аналоговых камер. Системы технического зрения National Instruments могут быть тесно интегрированы с другим оборудованием компании, таким, как системы сбора данных, модульные приборы, системы распределенного ввода/вывода, системы управления движением и др.

Надежные компактные системы технического зрения реального времени

Компактные системы технического зрения NI CVS-145x обладают гибкостью, возможностями интеграции и надежностью, необходимыми в промышленных приложениях визуальной инспекции, выравнивания, измерений и идентификации. Высокопроизводительный процессор реального времени и встроенная ПЛИС позволяют системам NI CVS-145x выполнять любые задачи видеоинспекции. Наличие цифрового ввода/вывода означает, что системы CVS-145x способны взаимодействовать с широким спектром приборов автоматизации, в том числе с ПЛК, реле и робототехникой. Системы CVS-145x разработаны для работы в экстремальных условиях, свойственных различным процессам производства. Вы больше не будете ограничены возможностями по обработке изображений, размерами сенсоров и их скоростями, присущими традиционным смарт-камерам.

Прикладное программное обеспечение Vision Development Module

National Instruments Vision Development Module предназначен для инженеров и ученых, использующих технологии технического зрения в промышленных и научных задачах. Модуль включает в себя интерактивную оболочку NI Vision Assistant, предназначенную для разработки прототипов приложений без программирования, и мощную библиотеку из более чем 200 функций обработки изображений IMAQ Vision.

Возможность совместного использования NI Vision Assistant и IMAQ Vision позволяет сократить сроки создания систем машинного зрения, в силу того, что NI Vision Assistant может осуществлять автоматическую генерацию кодов в Lab VIEW, C/C++ и Visual Basic с той же последовательностью операций, что использовалась при работе в NI Vision Assistant. Вы можете с легкостью интегрировать диаграмму видеосбора в промышленную систему измерений и автоматизации, которая помимо этого может включать в себя управление движением, измерительными приборами или устройствами ввода/вывода сигналов.

NI Vision Builder for Automated Inspection

NI Vision Builder for Automated Inspection представляет собой настраиваемое ПО для систем технического зрения, предназначенное для моделирования, испытаний и внедрения приложений. Работа в NI Vision Builder for Automated Inspection осуществляется без программирования, однако позволяет реализовывать мощные приложения на уровне возможностей Lab VIEW. Программа содержит встроенные средства сбора и анализа изображений и решения задач идентификации и сортировки. Кроме того, имеются возможности определения соответствия объекта шаблону, управления цифровыми линиями ввода/вывода и взаимодействия с внешними устройствами, например, промышленными контроллерами.

• Интерактивная оболочка разработки приложений технического зрения

• Автоматическая генерация кодов Lab VIEW

• Управление цифровым вводом/выводом, ПЛК и другими устройствами через последовательный порт

• Взаимодействие с устройствами ввода изображений компании NI для PCI, PXI и промышленными FireWire камерами.

Подключение IEEE-1394 камер

Оборудование

*MIPS: миллион операций в секунду (Million Instructions Per Second)

Особенности и преимущества системы технического зрения

Система технического зрения — это специальное сенсорное устройство, с помощью которого можно обеспечить получение качественных изображений, их последующую обработку и преобразование. Стоит отметить, что СТЗ имеет огромную информативную емкость и на более чем 80% влияет на уровень информативности полученных данных.

На сегодняшний день системы визуального контроля широко востребованы в разных областях науки, промышленности и техники. В частности, они используются для получения данных о местонахождении, контроля состояния объектов, распознавания любых объектов разных форм.

Обработка полученных при помощи систем технического зрения данных осуществляется иерархически. Для снижения уровня помех изображения применяется несколько видеопроцессоров.

Являясь одним из наиболее современных средств визуального контроля, СТЗ гарантирует максимальную эффективность производства. Качественная система обеспечивает рост производительности, а также существенное упрощение выполнения поставленной задачи. Рациональное использование таких элементов визуального контроля, как система технического зрения, позволяет сэкономить количество расходуемых материалов, время работы и электричество.

Компоненты системы технического зрения

В стандартном исполнении СТЗ состоит из нескольких значимых элементов:

• Цифровые камеры с оптической системой для получения изображения.
• Процессор (в большинстве случаев — встроенный, но иногда используется многоядерный процессор ПК) для работы с информацией.
• Программное обеспечение для изучения специфических параметров объектов, определения их форм, размеров.
• Каналы связи с любыми типами оборудования.
• Источники света (светодиоды, люминесцентные лампы и др.).

Принципы работы системы технического зрения

Работа данного устройства базируется на использовании компьютерного зрения. Машинное зрение невозможно сравнить с человеческим. Оно осуществляется с помощью изучения компонентов изображения, проведения быстрого и качественного анализа, а также сравнения полученных сведений с ранее заложенными в базе.

Система технического зрения применяет несколько методов обработки информации: сегментация, подсчет пикселей, декодирование, работа по контуру, бинаризация, символьное распознавание, сопоставление шаблонов и др.

Основные преимущества СТЗ

Современные системы технического зрения отличаются рядом значительных преимуществ:

• Понятный, простой интерфейс. Для обучения работе с программным обеспечением СТЗ достаточно элементарных знаний работы с техникой. Даже пользователь, никогда не имевший дело с таблицами, может использовать СТЗ. Устройство простое в настройке и не требует от работников глубоких знаний в области программирования.
• Прекрасные рабочие характеристики. СТЗ отличается высокой скоростью работы, производительностью, максимальной точностью измерений, работой в круглосуточном режиме, небольшим количеством ошибок.
• Многофункциональность. Для решения широкого спектра задач производства и науки используются специализированные системы, которые производят подсчет количества элементов на конвейере, чтение номеров серии, контроль качества приклеивания различных элементов и т.д.

Использование СТЗ гарантирует сведение к минимуму риска пропуска бракованных объектов к сбыту и позволяет довести практически до нуля возможность производственной ошибки.

Наша компания предлагает широкий спектр услуг в области установки СТЗ под ключ для контроля качества продукции. Мы специализируемся на изготовлении различных элементов системы, в зависимости от пожеланий заказчика.

Датчики и системы технического зрения Omron

Алексей Никитов (КОМПЭЛ)

В последнее время все более актуальными становятся так называемые адаптивные производственные системы, способные быстро и легко перенастраиваться для решения различного рода задач, позволяющие добиться большей эффективности производства и более широких возможностей конкуренции. Для перехода к адаптивному производству компания должна обладать гибкостью и подвижностью, для чего, в свою очередь, требуются современные технологические решения. Одним из таких решений являются системы технического зрения, которые превращают производство в информационный процесс. Техническое зрение подразумевает распознавание реальных объектов на изображении и определение свойств этих объектов, что позволяет решать одновременно несколько задач контроля с высокой скоростью, точностью и надежностью. Зрение в этом смысле делает такие этапы производства, как каталогизация, транспортировка, оборудование и сборка, гораздо более эффективными, а также позволяет снизить затраты на поддержание и контроль качества.

Комплекс устройств, которые входят в состав системы, включает в себя определенный набор технических средств. Основными являются камера, осуществляющая захват изображения, и блок обработки изображения или контроллер. Дополнительными устройствами, но не менее важными, являются оптика, определяющая границы обзора камеры, подсветка, освещающая объект наблюдения, и дисплей, необходимый для отображения информации в реальном времени и для настройки системы. Эти компоненты могут совмещаться. Например, камера может иметь встроенный объектив с автофокусировкой и интеллектуальную подсветку. А контроллер или блок обработки может иметь встроенный дисплей. Таким образом, обеспечивается компактность системы.

В зависимости от функционала и сложности устройства делятся на датчики изображения и системы технического зрения. Первые отличаются простотой в настройке и использовании, а также небольшим набором функций. Вторые предоставляют широкий выбор инструментов для решения большого круга задач и содержат сложное программное обеспечение. Настройка сложных систем может потребовать подключения внешнего компьютера.

Компания Omron выпускает целый ряд качественных устройств для технического зрения различной сложности, от простых датчиков до сложных систем. Omron предлагает свои решения исходя из требований низкой стоимости, простоты установки и ввода в эксплуатацию. На рисунке 1 представлен спектр основных изделий технического зрения в порядке возрастания функционала от простоты в использовании до максимальной гибкости. Рассмотрим каждую серию подробнее.

Рис. 1. Линейка поставок устройств технического зрения Omron

Самыми младшими в линейке изделий для технического зрения Omron являются датчики серии ZFV. Это новые модульные системы обработки изображения. Сами датчики состоят из двух отдельных блоков – камеры со встроенным источником света и модуля обработки данных. Причем существуют две разновидности – с распознаванием цвета и без. В функциональном отношении их возможности одинаковы, однако использование цветовой информации в качестве дополнительного критерия («третьего измерения») позволяет значительно повысить стабильность и надежность системы контроля (рис. 2). В зависимости от модели контроллера на выбор предоставляется до восьми различных инструментов контроля и большое количество разнообразных головок датчиков с дальностью действия до 150 мм.

Рис. 2. Различие в обработке изображения датчика с «серой шкалой» и цветного датчика.
Контрастность лучше.

Блок обработки данных имеет встроенный ЖК-дисплей. Во время работы на дисплее отображаются изображения и результаты измерения, благодаря чему обеспечивается оперативный визуальный контроль процесса измерения. Нет необходимости подключать внешнее устройство для настройки и наблюдения за процессом: такое устройство встроено в датчик и предоставляет всю необходимую информацию (рис. 3).

Рис. 3. Удобный интерфейс и простая настройка датчика ZVF

Переход к настройке параметров и управлению излучением света производится нажатием одной кнопки. Интеллектуальный пользовательский интерфейс позволяет выполнять настройку с помощью нескольких клавиш и встроенного ЖК-дисплея.

Если для решения поставленной задачи одного контроллера недостаточно, функциональные возможности системы можно расширить путем подключения дополнительных контроллеров, соединяя их друг с другом в один ряд. Для выполнения одновременно нескольких задач контроля можно соединить вместе до 5 контроллеров – как с камерами, так и без них (рис. 4).

Рис. 4. Пример построения модульной системы на базе ZFV

Машинное зрение. Что это и как им пользоваться? Обработка изображений оптического источника

Машинное зрение — это научное направление в области искусственного интеллекта, в частности робототехники, и связанные с ним технологии получения изображений объектов реального мира, их обработки и использования полученных данных для решения разного рода прикладных задач без участия (полного или частичного) человека.

Исторические прорывы в машинном зрении

• 1955 год – Оливер Селфридж. Статья «Глаза и уши компьютера».
• 1958 год – Фрэнк Розенблатт. Компьютерная реализация персептрона.
• 1960-е годы – первые системы обработки изображений.
• 1970-е годы – Лавренсе Робертс. Концепция машинного построения трёхмерных образов объектов.
• 1979 год – Ганс-Хельмут Нагель. Теория анализа динамических сцен.
• 1990-е годы – Первые беспилотные системы управления автотранспортом.
• 2003 год – Корпоративные системы распознавания лиц.

Компоненты системы машинного зрения

• Одна или несколько цифровых или аналоговых камер (черно-белые или цветные) с подходящей оптикой для получения изображений
• Программное обеспечение для изготовления изображений для обработки. Для аналоговых камер это оцифровщик изображений
• Процессор (современный ПК c многоядерным процессором или встроенный процессор, например — ЦСП)
• Программное обеспечение машинного зрения, которое предоставляет инструменты для разработки отдельных приложений программного обеспечения.
• Оборудование ввода-вывода или каналы связи для доклада о полученных результатах
• Умная камера: одно устройство, которое включает в себя все вышеперечисленные пункты.
• Очень специализированные источники света (светодиоды, люминесцентные и галогенные лампы и т. д.)
• Специфичные приложения программного обеспечения для обработки изображений и обнаружения соответствующих свойств.
• Датчик для синхронизации частей обнаружения (часто оптический или магнитный датчик) для захвата и обработки изображений.
• Приводы определенной формы используемые для сортировки или отбрасывания бракованных деталей.

Машинное зрение сосредотачивается на применении, в основном промышленном, например, автономные роботы и системы визуальной проверки и измерений. Это значит, что технологии датчиков изображения и теории управления связаны с обработкой видеоданных для управления роботом и обработка полученных данных в реальном времени осуществляется программно или аппаратно.

Обработка изображений и анализ изображений в основном сосредоточены на работе с 2D изображениями, т.е. как преобразовать одно изображение в другое. Например, попиксельные операции увеличения контрастности, операции по выделению краёв, устранению шумов или геометрические преобразования, такие как вращение изображения. Данные операции предполагают, что обработка/анализ изображения действуют независимо от содержания самих изображений.

Компьютерное зрение сосредотачивается на обработке трехмерных сцен, спроектированных на одно или несколько изображений. Например, восстановлением структуры или другой информации о 3D сцене по одному или нескольким изображениям. Компьютерное зрение часто зависит от более или менее сложных допущений относительно того, что представлено на изображениях.

Также существует область названная визуализация, которая первоначально была связана с процессом создания изображений, но иногда имела дело с обработкой и анализом. Например, рентгенография работает с анализом видеоданных медицинского применения.

Наконец, распознавание образов является областью, которая использует различные методы для получения информации из видеоданных, в основном, основанные на статистическом подходе. Значительная часть этой области посвящена практическому применению этих методов.

Таким образом, можно сделать вывод, что понятие «машинное зрение» на сегодняшний день включает в себя: компьютерное зрение, распознавание зрительных образов, анализ и обработка изображений и т.д.

Задачи машинного зрения

• Распознавание
• Идентификация
• Обнаружение
• Распознавание текста
• Восстановление 3D формы по 2D изображениям
• Оценка движения
• Восстановление сцены
• Восстановление изображений
• Выделение на изображениях структур определенного вида, сегментация изображений
• Анализ оптического потока

Распознавание

Классическая задача в компьютерном зрении, обработке изображений и машинном зрении это определение содержат ли видеоданные некоторый характерный объект, особенность или активность.

Эта задача может быть достоверно и легко решена человеком, но до сих пор не решена удовлетворительно в компьютерном зрении в общем случае: случайные объекты в случайных ситуациях.

Один или несколько предварительно заданных или изученных объектов или классов объектов могут быть распознаны (обычно вместе с их двухмерным положением на изображении или трехмерным положением в сцене).

Идентификация

Распознается индивидуальный экземпляр объекта принадлежащего к какому-либо классу.
Примеры: идентификация определённого человеческого лица или отпечатка пальцев или автомобиля.

Обнаружение

Видеоданные проверяются на наличие определенного условия.

Обнаружение, основанное на относительно простых и быстрых вычислениях иногда используется для нахождения небольших участков в анализируемом изображении, которые затем анализируются с помощью приемов, более требовательных к ресурсам, для получения правильной интерпретации.

Распознавание текста

Поиск изображений по содержанию: нахождение всех изображений в большом наборе изображений, которые имеют определенное различными путями содержание.

Оценка положения: определение положения или ориентации определенного объекта относительно камеры.

Оптическое распознавание знаков: распознавание символов на изображениях печатного или рукописного текста (обычно для перевода в текстовый формат, наиболее удобный для редактирования или индексации. Например, ASCII).

Восстановление 3D формы по 2D изображениям осуществляется с помощью стереореконструкции карты глубины, реконструкции поля нормалей и карты глубины по закраске полутонового изображения, реконструкции карты глубины по текстуре и определения формы по перемещению

Пример восстановления 3D формы по 2D изображеню

Оценка движения

Несколько задач, связанных с оценкой движения, в которых последовательность изображений (видеоданные) обрабатываются для нахождения оценки скорости каждой точки изображения или 3D сцены. Примерами таких задач являются: определение трехмерного движения камеры, слежение, то есть следование за перемещениями объекта (например, машин или людей)

Восстановление сцены

Даны два или больше изображения сцены, или видеоданные. Восстановление сцены имеет задачей воссоздать трехмерную модель сцены. В простейшем случае, моделью может быть набор точек трехмерного пространства. Более сложные методы воспроизводят полную трехмерную модель.

Восстановление изображений

Задача восстановления изображений это удаление шума (шум датчика, размытость движущегося объекта и т.д.).

Наиболее простым подходом к решению этой задачи являются различные типы фильтров, таких как фильтры нижних или средних частот.

Более высокий уровень удаления шумов достигается в ходе первоначального анализа видеоданных на наличие различных структур, таких как линии или границы, а затем управления процессом фильтрации на основе этих данных.

Восстановление изображений

Анализ оптического потока (нахождения перемещения пикселей между двумя изображениями).
Несколько задач, связанных с оценкой движения, в которых последовательность изображений (видеоданные) обрабатываются для нахождения оценки скорости каждой точки изображения или 3D сцены.

Примерами таких задач являются: определение трехмерного движения камеры, слежение, т.е. следование за перемещениями объекта (например, машин или людей).

Методы обработки изображений

• Счетчик пикселей
• Бинаризация
• Сегментация
• Чтение штрих-кодов
• Оптическое распознавание символов
• Измерение
• Обнаружение краев
• Сопоставление шаблонов

Счетчик пикселей

Подсчитывает количество светлых или темных пикселей.
С помощью счетчика пикселей пользователь может выделить на экране прямоугольную область в интересующем месте, например там, где он ожидает увидеть лица проходящих людей. Камера в ответ немедленно даст сведения о количестве пикселей, представленных сторонами прямоугольника.

Счетчик пикселей дает возможность быстро проверить, соответствует ли смонтированная камера нормативным требованиям или требованиям заказчика относительно пиксельного разрешения, например, для лиц людей, входящих в двери, которые контролируются камерой, или в целях распознавания номерных знаков.

Бинаризация

Преобразует изображение в серых тонах в бинарное (белые и черные пиксели).
Значения каждого пикселя условно кодируются, как «0» и «1». Значение «0» условно называют задним планом или фоном а «1» — передним планом.

Часто при хранении цифровых бинарных изображений применяется битовая карта, где используют один бит информации для представления одного пикселя.

Также, особенно на ранних этапах развития техники, двумя возможными цветами были чёрный и белый, что не является обязательным.

Сегментация

Используется для поиска и (или) подсчета деталей.

Цель сегментации заключается в упрощении и/или изменении представления изображения, чтобы его было проще и легче анализировать.

Сегментация изображений обычно используется для того, чтобы выделить объекты и границы (линии, кривые, и т. д.) на изображениях. Более точно, сегментация изображений — это процесс присвоения таких меток каждому пикселю изображения, что пиксели с одинаковыми метками имеют общие визуальные характеристики.

Результатом сегментации изображения является множество сегментов, которые вместе покрывают всё изображение, или множество контуров, выделенных из изображения. Все пиксели в сегменте похожи по некоторой характеристике или вычисленному свойству, например, по цвету, яркости или текстуре. Соседние сегменты значительно отличаются по этой характеристике.

Чтение штрих-кодов

Штрих-код — графическая информация, наносимая на поверхность, маркировку или упаковку изделий, представляющая возможность считывания её техническими средствами — последовательность чёрных и белых полос либо других геометрических фигур.
В машинном зрении штрих-коды используют для декодирования 1D и 2D кодов, разработанных для считывания или сканирования машинами.

Оптическое распознавание символов

Оптическое распознавание символов: автоматизированное чтение текста, например, серийных номеров.

Распознавание используется для конвертации книг и документов в электронный вид, для автоматизации систем учёта в бизнесе или для публикации текста на веб-странице.

Оптическое распознавание текста позволяет редактировать текст, осуществлять поиск слов или фраз, хранить его в более компактной форме, демонстрировать или распечатывать материал, не теряя качества, анализировать информацию, а также применять к тексту электронный перевод, форматирование или преобразование в речь.

Моя программа, написанная на LabView по работе с изображениями

Использовано компьютерное зрение для неразрушающего контроля качества сверхпроводящих материалов.

Введение. Решение задач обеспечения комплексной безопасности (как антитеррористической и механической безопасности объектов, так и технологической безопасности инженерных систем), в настоящее время, требует системной организации контроля, текущего состояния объектов. Одними из наиболее перспективных способов контроля текущего состояния объектов являются оптические и оптико-электронные методы, основанные на технологиях обработки видеоизображений оптического источника. К ним относятся: программы по работе с изображениями; новейшие способы обработки изображений; оборудования для получения, анализа и обработки изображений, т.е. комплекс средств и методов относящихся к области компьютерного и машинного зрения. Компьютерное зрение — это общий набор методов, позволяющих компьютерам видеть и распознавать трех- или двухмерные объекты, как инженерного направления, так и нет. Для работы с компьютерным зрение требуются цифровые или аналоговые устройства ввода-вывода, а также вычислительные сети и IP анализаторы локаций, предназначенные для контроля производственного процесса и подготовки информации для принятия оперативных решений в кратчайшие сроки.

Постановка проблемы. На сегодняшний день, главной задачей для проектируемых комплексов машинного зрения остаётся обнаружение, распознавание, идентификация и квалификация объектов потенциального риска, находящихся в случайном месте в зоне оперативной ответственности комплекса. Существующие на данный момент программные продукты, направленные на решение перечисленных задач обладают рядом существенных недостатков, а именно: значительная сложность, связанная с высокой детализацией оптических образов; высокая потребляемая мощность и достаточно узкий спектр возможностей. Расширение задач обнаружения объектов потенциального риска, до области поиска случайных объектов в случайных ситуациях, находящихся в случайном месте, имеющимися программными продуктами не возможно, даже с задействованием суперкомпьютера.

Цель. Разработка универсальной программы обработки изображений оптического источника, с возможностью потокового анализа данных, то есть программа должна быть лёгкой и быстрой для того, чтобы её можно было записать на малогабаритное ЭВМ устройство.

• разработка математической модели программы;
• написание программы;
• опробирование программы в условиях лабораторного эксперимента, с полной подготовкой и проведением эксперимента;
• исследование возможности применения программы в смежных областях деятельности.

• отсутствием на рынке программного обеспечения программ обработки изображений с выводом подробного анализа инженерных составляющих объектов;
• постоянно растущими требованиями к качеству и скорости получения визуальной информации, резко повышающими востребованность программ обработки изображений;
• существующей потребность в программах высокой производительности, надежных и простых с точки зрения пользователя;
• высокой стоимостью профессиональных программ обработки визуальной информации.

• отсутствием на рынке программного обеспечения программ обработки изображений с выводом подробного анализа инженерных составляющих объектов;
• постоянно растущими требованиями к качеству и скорости получения визуальной информации, резко повышающими востребованность программ обработки изображений;
• существующей потребность в программах высокой производительности, надежных и простых с точки зрения пользователя;
• существует потребность программ высокой производительности и простого управления, чего добиться в наше время крайне сложно. Для примера я взял Adobe Photoshop. Данный графический редактор обладает гармоничным сочетанием функциональности и простоты использования для рядового пользователя, но в данной программе невозможно работать со сложными инструментами по обработке изображения (например, анализ изображения путём построения математической зависимости (функции) или же интегральной обработкой изображений);
• высокой стоимостью профессиональных программ обработки визуальной информации. Если программное обеспечение качественно, то цена на него крайне высока, вплоть до отдельных функции того или иного набора программ. На графике ниже представлена зависимость цены/качества простых аналогов программы.

Для упрощения решения задач данного типа, мною была разработана математическая модель и написана программа для ЭВМ устройства по анализу изображения при помощи простейших преобразований исходных изображений.

Программа работает с преобразованиями типа бинаризации, яркости, контраста изображения и т.д. Принцип действия программы продемонстрирован на примере анализа сверхпроводящих материалов.

При создании композиционных сверхпроводников на основе Nb3Sn варьируется объемное соотношение бронзы и ниобия, размер и количество волокон в нем, равномерность их распределения по сечению бронзовой матрицы, наличие диффузионных барьеров и стабилизирующих материалов. При заданной объемной доле ниобия в проводнике увеличение количества волокон приводит, соответственно, к уменьшению их диаметра. Это ведет к заметному возрастанию поверхности взаимодействия Nb / Cu-Sn, что в значительной степени ускоряет процесс нарастания сверхпроводящей фазы. Такое увеличение количества сверхпроводящей фазы при повышении числа волокон в проводнике обеспечивает возрастание критических характеристик сверхпроводника. В связи с этим необходимо наличие инструмента для контроля объемной доли сверхпроводящей фазы в конечном продукте (композиционном сверхпроводнике).

При создании программы учитывалась важность проведения исследований материалов, из которых создаётся сверхпроводящие кабели, так как при неправильном соотношении ниобия к бронзе возможен взрыв проводов, а, следовательно, людские жертвы, денежные затраты и потеря времени. Данная программа позволяет определить качество проводов на основе химическо физического анализа объекта.

Блок-диаграмма программы

Описание этапов исследования.

1 этап. Пробоподготовка: резка композиционного сверхпроводника на электроэрозионном станке; запрессовка образца в пластмассовую матрицу; полировка образца до зеркального состояния; травление образца для выделения волокон ниобия на бронзовой матрице. Получены образцы запрессованных композиционных сверхпроводниковых образцов;

2 этап. Получение изображений: получение металлографических изображений на сканирующем электронном микроскопе.

3 этап. Обработка изображений: создание инструмента для определения объемной доли сверхпроводящей фазы на металлографическом изображении; набор статистически значимых данных на конкретном типе образцов. Созданы математические модели различных инструментов по обработке изображений; создана программная разработка для оценки объемной доли сверхпроводящий фазы; программа была облегчена путём соединения нескольких математических функций в одну; было получено среднее значение объемной доли волокон ниобия в бронзовой матрице 24.7±0,1 %. Низкий процент отклонения свидетельствует о высокой повторяемости структуры композиционного провода.

Электронномикроскопическое изображения композиционных сверхпроводников

Методы обработки изображений в программе.

• Идентификация — распознается индивидуальный экземпляр объекта, принадлежащего к какому-либо классу.
• Бинаризация – процесс перевода цветного (или в градациях серого) изображения в двухцветное черно-белое.
• Сегментация — это процесс разделения цифрового изображения на несколько сегментов (множество пикселей, также называемых суперпикселями).
• Эрозия – сложный процесс, при выполнении которого структурный элемент проходит по всем пикселам изображения. Если в некоторой позиции каждый единичный пиксел структурного элемента совпадет с единичным пикселом бинарного изображения, то выполняется логическое сложение центрального пиксела структурного элемента с соответствующим пикселом выходного изображения.
• Дилатация — свертка изображения или выделенной области изображения с некоторым ядром. Ядро может иметь произвольную форму и размер. При этом в ядре выделяется единственная ведущая позиция, которая совмещается с текущим пикселем при вычислении свертки.

Формулы работы программы

Формула бинаризации (метод Оцу):

Формула эрозии:

Формула дилатации:

Схема дилатации и эрозии

Формулы сегментации порогами цвета:

Определение модуля градиента яркости для каждого пикселя изображения:

Вычисление порога:

• CHMER GX-320L с ЧПУ — станок для электроэрозионной резки образцов
• SimpliMet 1000 — станок для горячей запрессовки
• AutoMet 250 Buehler – машина для шлифовки и полировки
• Axio Scope A1 Carl Zeiss – оптический микроскоп для контроля качества шлифов
• Hitachi TM-1000 — сканирующий электронный микроскоп для получения металлографических изображений

Хардкорная конфа по С++. Мы приглашаем только профи.