Камера машинного зрения что это такое

Как выбрать камеру для приложений машинного зрения

Когда вы настраиваете систему машинного зрения, ваш выбор камеры будет зависеть от объектов, которые вы хотите, чтобы наблюдала система, необходимой скорости, освещения и температуры, а также доступного пространства. И не стоит забывать – все это стоит денег.

В данном материале мы поможем советами с выбором камеры для приложений машинного зрения, предоставив небольшой обзор видов существующих решений и параметры, по которым следует делать свой выбор.

Машинное зрение vs Системы наблюдения

Для большинства применений в автоматизации производства или в медицинской сфере вам понадобится камера машинного зрения. Камера машинного зрения захватывает данные изображения и отправляет их без сжатия на ПК. По этой причине картинки выглядят менее «красиво», чем с мобильных телефонов. В бытовых камерах данные изображения сжимаются и сглаживаются, поэтому они выглядят хорошо, но это не обеспечивает качество, необходимое для обнаружения дефектов и чтения кода.

Сетевые камеры или IP-камеры записывают видео и сжимают его. Их преимуществом является надежность и устойчивость к вибрации и скачкам температуры. Они также устойчивы к плохим условиям освещения и прямого солнечного света. IP-камеры в основном используются в устройствах видеонаблюдения и интеллектуальных системах дорожного движения.

Сканирование области vs Линейное сканирование

Если у вас высокоскоростное приложение с конвейерной лентой, вам понадобится камера линейного сканирования. Эти камеры используют одну линию пикселей (иногда 2 или 3 строки) для захвата данных изображения. Они могут проверять качество печати газет на скорости до 60 миль в час, быстро сортировать письма и посылки в логистике, проверять продукты на предмет повреждений. Они также контролируют качество пластиковых пленок, стали, текстиля, пластин и электроники.

Если вам нужен тщательный осмотр некоторой области, камеры с зональным сканированием – ваш выбор. Они имеют прямоугольный сенсор, состоящий из нескольких линий пикселей, и фиксируют все изображение одновременно. К таким, например, относятся высококачественные basler камеры, имеющие хорошее разрешение и различные интерфейсы. Камеры с пространственным сканированием используются в системах обеспечения качества, считывания кодов, а также для сбора и размещения объектов в робототехнике. Они также интегрируются в микроскопы, стоматологические сканеры и другие медицинские устройства.

Монохромные камеры vs Цветные камеры

Монохромные камеры в большинстве случаев являются лучшим выбором, если приложение не требует анализа цвета. Поскольку им не нужен цветной фильтр, они более чувствительны, чем цветные камеры, и обеспечивают более детальное изображение.

Большинство камер цветного машинного зрения используют матрицу Байера для получения цветовых данных. Каждый пиксель имеет цветной фильтр, половина из которых зеленая, а четверть – красная и синяя. Алгоритм дебайеринга использует информацию от смежных пикселей для определения цвета каждого пикселя. Таким образом, дебейринг 2 × 2 считывает информацию из трех смежных пикселей, а дебайеринг 5 × 5 считывает информацию из 24 смежных пикселей. Поэтому, если вам нужна цветная камера, чем больше число дебайеринга, тем лучше.

В камерах CMOS (КМОП) электроника, которая преобразует свет в сигналы, встроена в поверхность датчика. Это делает передачу данных особенно быстрой. КМОП-датчики дешевле, не имеют распускания или размытия и имеют более высокий динамический диапазон. Это позволяет им, например, запечатлеть как ярко освещенный номерной знак, так и затененного человека в автомобиле на одном и том же изображении.

Поскольку датчики CCD (ПЗС) не имеют преобразовательной электроники на поверхности датчика, они могут захватывать больше света и поэтому имеют более низкий коэффициент шума, высокий коэффициент заполнения и более высокую точность цветопередачи. Эти свойства делают ПЗС-камеры хорошим выбором для приложений с низкой освещенностью и низкой скоростью, таких как астрономия.

Частота кадров – это количество изображений, которые датчик может захватывать и передавать в секунду. Человеческий мозг обнаруживает приблизительно от 14 до 16 изображений в секунду; частота кадров фильма обычно составляет 24 кадра в секунду. Для быстро движущихся приложений, таких как проверка газет, камера должна «снимать» за миллисекунды. С другой стороны, существуют микроскопические приложения, для которых требуется низкая частота кадров, сопоставимая с частотой кадров человеческого глаза.

На сегодняшний день самый популярный размер компактной камеры составляет около 30 мм с каждой стороны. Миниатюризация продолжается, и поэтому существует новый класс камер с голыми платами без корпуса и толщиной всего 6 мм. Эти камеры подходят для ограниченных по размеру и экономически эффективных приложений. Для этого требуется другая инфраструктура: компьютер на чипе вместо ПК, архитектура процессора ARM вместо x86; Linux, Windows IoT или Android вместо Windows. Некоторые настройки могут использовать интерфейс USB 3.0, но интерфейсы на основе MIPI и LVDS обеспечивают большую гибкость и компактность. Поэтому сегодня лучше купить камеру машинного зрения более современного типа с компактными размерами и широкими возможностями, чтобы повысить эффективность приложений машинного зрения.

Люди часто не вполне точно представляют, на что способно и чего не может сделать машинное зрение в составе производственной линии и в процессе изготовления продукции. Знание того, как действует эта технология, поможет вам определить, насколько полезной она окажется в решении проблем узких мест в конкретном технологическом и производственном процессе. Так что же представляет собой машинное зрение и как оно работает?

Если говорить в общем, машинное зрение — это применение одной или нескольких видеокамер в промышленной среде для автоматического анализа и проверки объектов производства на соответствие тем или иным требованиям. Полученные таким способом данные могут быть впоследствии использованы для управления производственным или технологическим процессом или в системе управления деятельностью предприятия. Одна из типичных областей применения систем машинного зрения — в составе конвейера. Здесь автоматически, после выполнения какой-либо операции над деталью, включается камера для захвата и обработки изображения интересующего объекта. Камера может быть запрограммирована для проверки положения чего-либо, в частности установленной детали, а также цвета, размера или формы объекта, а кроме того, сможет определить наличие или отсутствие самого объекта в зоне обзора. Система машинного зрения также может просматривать и расшифровывать стандартный или двумерный матричный штрихкод и считывать напечатанные специальные символы.

После проверки изделия обычно генерируется сигнал, позволяющий принять решение о дальнейших действиях. При отслеживании результатов проверки через систему деталь может быть забракована и сброшена в контейнер для изоляции брака, или направлена на отводящий конвейер, или передана для выполнения дополнительных сборочных операций. В любом случае, системы машинного зрения могут предоставить гораздо больше информации об объекте, чем простые датчики его отсутствия/присутствия.

Типичные области применения машинного зрения включают:

• контроль качества;
• управление роботом/машиной, станком или инструментом;
• тестирование и калибровку;
• управление производственным или технологическим процессом в режиме реального времени;
• сбор информации;
• мониторинг оборудования;
• сортировку/подсчет объектов.

Многие изготовители серийной продукции используют автоматическое машинное зрение вместо сотрудников службы контроля качества (отдела технического контроля), потому что оно предпочтительнее для решения монотонных повторяющихся задач. Эти системы работают быстрее, объективнее и, главное — непрерывно, без снижения производительности. Системы машинного зрения могут проверять сотни или даже тысячи деталей в минуту и обеспечивают более последовательные и надежные результаты проверки, чем при работе человека.

Сокращая количество дефектов, увеличивая объем выпуска качественной продукции и облегчая соблюдение правил контроля через отслеживание деталей с помощью машинного зрения, производители конечной продукции могут сэкономить расходы и повысить свою рентабельность, увеличив прибыль.

Аналоговые датчики в системах машинного зрения

Одним из основных датчиков в системах промышленной автоматизации является фотоэлемент с дискретным откликом. Причина, по которой мы называем его «дискретным» (иногда его именуют «цифровым», что не совсем корректно), заключается в том, что он имеет только два состояния: «включено» или «выключено» (рис. 1).

Рис. 1. Дискретный фотоэлектрический датчик, работающий на отражение, сообщает, измерено ли заданное значение (характеристика), идентифицирующее объект

Основная идея фотоэлемента, работающего на отражение, состоит в том, что он испускает луч света и определяет, отражается ли этот свет от какого-либо объекта. Если объект отсутствует, свет обратно в приемник фотоэлемента, естественно, не отражается. К приемнику подведено электрическое напряжение — как правило, это обычно стандартные для индустрии средств промышленной автоматизации 24 В. Если объект присутствует, то выход приемника активируется (включается), и сигнал может быть использован в системе управления, чтобы произошло то или иное заданное событие (отклик). Если объект вышел из зоны контроля датчика, приемник снова деактивируется (его выход выключается).

Фотоэлемент, работающий на отражение, может быть как с дискретным откликом, так и с аналоговым. Данный элемент не только имеет два состояния — «выключено» и «включено», но и дает на выходе число, показывающее, сколько света возвращается в приемник после отражения. Фотоэлемент (рис. 2) может содержать до 256 градаций (условных значений или единиц). При этом значение 0 означает отсутствие отражения света, то есть наличие темного или черного, а 255 — большое отражение света или наличие белого. Фотодатчик, расположенный с левой стороны (рис. 2), показывает значение 76 единиц или темно-серый оттенок. Это примерно 30% от максимального значения 255. Если перед датчиком поместить более светлый объект, то датчик даст нам большее число. Если это будет 217, что составляет около 85% от полного диапазона в 255 единиц, это указывает на гораздо более светлый оттенок по отношению к предыдущему темно-серому.

Рис. 2. Аналоговый фотоэлектрический датчик, работающий на отражение, может обеспечить необходимую шкалу измерений уровня отражения света от объекта

А теперь представим, что в виде квадратного или прямоугольного массива (матрицы) могут быть расположены и направлены на объект тысячи крошечных аналоговых фотоэлементов. Это (основываясь на отражательной способности того участка, куда был направлен такой датчик) создаст изображение объекта в черно-белом режиме.

Отдельные точки восприятия на этих изображениях называются «пиксели». Конечно, с практической точки зрения тысячи отдельных (в конструктивном исполнении) крошечных фотоэлектрических датчиков не используются для создания изображения. Вместо этого объектив фокусирует изображение на твердотельную матрицу со светочувствительными элементами. В такой матрице предусмотрены либо устройства с зарядовой связью — ПЗС (charge coupled device, CCD), либо комплементарная матрица на основе кремниевых металл-оксид-полупроводниковых — КМОП (metal-oxide-semiconductor, CMOS) светочувствительных твердотельных устройств. Отдельные датчики в матрице — это и есть пиксели.

Серия изображений, представленных на рис. 3, демонстрирует лишь небольшой фрагмент картинки, снятой камерой. Эта область считается «областью интереса» для конкретной инспекции.

Рис. 3. Датчики машинного зрения оборудования создают изображения, используя массивы (матрицы) пикселей

Машинное зрение может использовать и цветочувствительные ячейки-пиксели. Кроме того, в таких системах часто имеются матрицы из пикселей гораздо большего размера. К захваченным изображениям для определения размеров, расположения кромок, перемещения и взаимного расположения компонентов относительно друг друга применяются специальные программные инструменты. На рис. 4 показано изображение, полученное от матрицы технологии ПЗС.

Рис. 4. Изображение было получено с помощью устройства с зарядовой связью размером 640×480. Оно используется при осмотре стеклянных шприцев с пластиковым колпачком, а целью применения является определение того, достаточно ли плотно надет колпачок

Четыре основных компонента систем машинного зрения

Основными четырьмя составляющими системы зрения являются объектив и система освещения (подсветки объекта), датчик изображения или камера, процессор и способ передачи результатов, будь то с помощью физических входов/выходов (I/O) или с помощью других средств коммуникации на основе, как правило, стандартных протоколов и общепринятых интерфейсов.

Объектив захватывает изображение и передает его сенсору в виде световой проекции. Чтобы оптимизировать систему зрения, видеокамера должна иметь соответствующий объектив. Хотя существует много типов объективов, в приложениях машинного зрения для простоты управления обычно используются объективы с фиксированным фокусным расстоянием.

В процессе выбора важно учитывать три определяющих фактора:

• поле зрения;
• рабочее расстояние до объекта;
• размер сенсора (матрицы) камеры.

Для получения изображения, достаточного для его последующей обработки и достижения нужного качества, существует много разных способов передачи к целевому объекту необходимого уровня освещения. Направление, из которого исходит свет, его яркость, цвет или длина волны по сравнению с цветом объекта — все это важные элементы, которые следует учитывать при проектировании системы машинного зрения для конкретной среды применения. В то время как освещение является важной частью получения хорошего изображения, есть и другие моменты, оказывающие влияние на интенсивность отраженного света от объекта.

Так, объектив имеет регулируемый параметр, называемый апертурой, или диафрагмой, а если говорить точнее — это отверстие диафрагмы объектива, которое открывается или закрывается, чтобы позволить большему или меньшему количеству света проникать в объектив. В сочетании с временем экспозиции это определяет количество света на матрице пикселей, прежде чем будет проведен захват изображения объекта. Время срабатывания затвора, или экспозиция (иногда это называют «выдержка»), определяет, как долго изображение накладывается на массив пикселей. В машинном зрении затвор управляется электроникой, а время экспозиции составляет обычно миллисекунды.

После захвата изображения, как уже было сказано, в дело вступают программные инструменты. Некоторые из них применяются до анализа (предварительной обработки), другие используются для определения заданных свойств исследуемого объекта. На этапе предварительной обработки к изображению можно применить эффекты для повышения резкости краев, увеличения контрастности или заполнения пробелов (бликов). Это сделано для улучшения возможностей других программных инструментов, которые вступают в действие позже.

Цель машинного зрения

Ниже приведен перечень некоторых распространенных инструментов, которые можно применять для получения информации о целевом объекте:

• Подсчет пикселей: подсчитывает количество светлых или темных пикселей в объекте.
• Обнаружение краев (граней): поиск краев (граней) объекта.
• Измерение размеров: измерение размеров объекта в таких единицах, как пиксели, дюймы или миллиметры.
• Распознавание образов объектов или сопоставление их с шаблоном: поиск, сопоставление и/или подсчет определенных образцов целевых объектов. Это может включать определение местоположения объектов различного размера.
• Оптическое распознавание символов (Optical character recognition, OCR): автоматическое считывание текста, такого как, например, серийные номера.
• Считывание штрихкода, матричного и «двумерного»: сбор данных, содержащихся в различных стандартных штрихкодах.
• Обнаружение и извлечение blob-объектов: проверка изображения на наличие отдельных областей (blob — буквально «капель») на цифровом изображении, которые отличаются по своим свойствам, таким как яркость или цвет, по сравнению с окружающими областями.
• Цветовой анализ: идентификация деталей, продуктов и предметов путем использования цвета, а также оценка их качества и выявление особенностей.

Конечной целью сбора данных в системах оценки качества зачастую является их использование для сравнения с целевыми значениями и определения результата «пройден тест или не пройден» или «можно ли пропускать целевой объект дальше». Например, при проверке кода или штрихкода прочитанное значение сравнивается с сохраненным целевым значением, а для измерений полученные данные сравниваются с надлежащим значением и допусками. Для проверки буквенно-цифрового кода текстовое значение OCR сравнивается с правильным или целевым значением. Что касается проверки дефектов, измеренный размер дефекта можно сравнить с максимально допустимыми стандартами качества.

Связь систем машинного зрения с общей системой управления

После того как система машинного зрения извлекла информацию, эти сведения с помощью процессора и программных средств могут быть переданы в систему управления посредством целого ряда стандартных промышленных протоколов связи. Обычно системы машинного зрения поддерживают EtherNet/IP, Profinet и Modbus TCP. Также распространены и последовательные протоколы на основе RS-232 и RS-485. Часто в систему для запуска того или иного ответа или простого отчета о результатах встроен цифровой ввод/вывод. Также доступны стандарты связи, специально ориентированные на системы машинного зрения.

Понимание физики и возможностей систем машинного зрения может помочь определить, подходит данное приложение для систем на базе видеокамер или нет. В целом, то, что видит человеческий глаз, — это то, что может видеть и камера (иногда в большем или меньшем приближении), а вот расшифровка и передача информации могут быть уже более сложными процессами. Кроме того, использование надежного поставщика, хорошо осведомленного в системах, освещении и технологиях, может сэкономить много времени и денег и быть полезным не только на текущий момент, но и в долгосрочной перспективе.

Машинное зрение – альтернатива современным системам видеонаблюдения

Системы видеонаблюдения – это далеко не новшество, но в то же время они не теряют актуальности с течением времени. Их сегодня можно встретить повсюду: в торговых центрах, на промышленных предприятиях, в частном секторе и даже на городских улицах. Полноценная система видеонаблюдения необходима для усиления мер безопасности и понижения риска совершения неправомерных действий.

Классификация камер видеонаблюдения

Они могут быть различных форм-факторов. В зависимости от принципа работы и методов обработки информации все камеры делятся на 3 типа.

1. Аналоговые. Для получения изображения используются камеры с фиксированным фокусным расстоянием и диафрагмой, а для передачи сигнала применяется коаксиальный кабель. По этой причине изображение не отличается особым качеством (до 480р), передается с задержками, а обработка сигнала не превышает отметку 25 кадров за секунду.
2. Цифровые. Современный вариант видеокамер, которые стали применяться повсеместно. Специальные технологии позволяют обрабатывать до 60 кадров за одну секунду, а качество изображения достигает формата HD и Full-HD.
3. Сетевые. IP-видеонаблюдение – беспроводное, его принято считать одним из подразделов цифрового видеонаблюдения. Камеры привязываются к сетевому адресу, и получить доступ к ним возможно из любой точки земного шара. Оптоволоконная («витая») пара позволяет передавать изображение без задержек, с высокой скоростью, потому следить за ситуацией на выбранном объекте стало возможным в режиме реального времени.

СПРАВКА. Комплектация аналогового, цифрового и беспроводного видеонаблюдения отличается. Компоненты разных систем часто несовместимы между собой. Перед покупкой обратите на это внимание.

Какие задачи решаются установкой видеонаблюдения?

Установка камер централизованного удаленного видеонаблюдения помогает решить следующие задачи.

1. Фиксация неправомерных действий.
2. Предупреждение вторжения злоумышленников. Экспериментальная психология личности показала, что шанс возникновения преступления на 80 % выше в местах, где камеры отсутствуют. Преступник уверен в своей безнаказанности, поскольку его личность невозможно будет идентифицировать.
3. Определение личности, расследование чрезвычайных ситуаций.
4. Контроль работы персонала на производстве, повышение производительности работников.
5. Визуальный контроль территории, где установлены камеры наблюдения.

ВАЖНО! Установкой системы должен заниматься только высококвалифицированный и опытный человек. Отсутствие навыков подключения и монтажа может привести к неисправности оборудования.

В XXI веке человек стремится к автоматизации большей части процессов в своей жизни. За счет этого появилась технология компьютерного (машинного) зрения, благодаря которой присутствие человека за мониторами, передающими изображения от камер, стало не обязательным. Первые сведения о машинном зрении датируются 1983 годом. Тогда было продемонстрировано устройство, которое позволило облегчить сортировку и выявление бракованного товара на заводах. Аппарат включал в себя штативную камеру с мощной подсветкой, изображение от которой передавалось на экран.

Принцип работы и необходимые элементы для машинного зрения

Камеры, которые располагаются над конвейером, фиксируют изображение и передают его в центральный компьютер. Там происходит сравнение стандарта качества и полученной информации. Если продукт не соответствует стандарту, его отправляют в брак. В противном случае изделие продолжает движение по конвейеру. Процесс фиксации, обработки и сортировки длится считаные миллисекунды.

Чтобы создать систему компьютерного зрения, необходимо иметь:

• несколько цифровых, аналоговых камер с высокоточными объективами;
• мощную вычислительную систему для обработки полученной информации;
• ПО для сравнения полученной информации с исходными данными;
• оборудование для ввода/вывода.

Машинное зрение на производстве невозможно без специальных датчиков, сортировочных приводов и специальных источников света. Сегодня комплекс вышеперечисленных программ и устройств можно заменить специальной «умной» камерой. Последняя имеет встроенный процессор, датчики для захвата, обработки и сравнения полученного изображения. «Умные» камеры постепенно вытесняют с рынка аналоговые и цифровые камеры, что делает систему машинного зрения более удобной на практике и менее затратной в обслуживании.

А где используется машинное зрение?

Оно нашло широкое применение в промышленности и производстве. Благодаря этой технологии была решена главная проблема всех концернов-производителей, а именно бракованная продукция. Компьютерное зрение позволило избавиться от человеческого фактора, значительно снизить процент возникновения брака, повысить объем выпускаемых товаров. В отличие от человека компьютер лишен усталости, заболеваний глаз и снижения зрения, что не отражается на качестве выполняемой работы.

Компьютерное зрение постепенно внедряется и в системы видеонаблюдения. На рынке уже можно найти домофоны, которые определяют владельцев жилища по чертам лица. Машинное видеонаблюдение позволяет контролировать число людей, которые находятся на территории компании, анализировать их перемещения и сигнализировать о неправомерных действиях. Комплектация различными датчиками позволила расширить область применения системы, проводить наблюдение в ночное время и передавать звук.

Компьютерное зрение – технология, за которой стоит будущее видеонаблюдения. Контроль ситуации на территории будет лишен человеческого фактора, а компьютерная система позволит немедленно сообщать о чрезвычайных ситуациях на территории. Такие системы существенно повысят уровень безопасности населения и сведут к нулю риск возникновения преступлений.

Статья подготовлена совместно с компанией REDLINE.

Выбор камеры: как подобрать камеру для системы обработки изображений?

Запутались в многочисленных функциях?

Если перед вами стоит задача проектирования системы обработки изображений, вы рискуете потеряться в бесконечном выборе моделей, технических характеристик, полезных функций и возможностей применения камер.

Вам нужен кто-то, кто поможет сделать выбор. Кто не даст потеряться в ошеломляющем количестве предложений, укажет путь к принятию правильных решений и подскажет, как подобрать подходящую камеру для вашей системы машинного зрения.

Мы предлагаем руководство, в котором подробно рассматриваются все критерии выбора камеры. Оно поможет шаг за шагом принимать правильные решения, чтобы выбрать самую лучшую камеру, соответствующую всем вашим требованиям.

Начните с объективного самостоятельного анализа. Задайте себе два вопроса:

Ответа на этот вопрос обычно достаточно, чтобы определиться, в каком из двух основных направлений двигаться дальше:

Решение 1. Сетевая или промышленная камера?

Камеры для систем обработки изображений подразделяются на промышленные камеры (камеры машинного зрения) и сетевые камеры (IP-камеры).

Сетевые камеры предназначены для видеосъемки. Они часто используются для решения классических задач видеонаблюдения, а также в сочетании с промышленными камерами. Типичные характеристики сетевых камер:

Типичные характеристики промышленных камер:

Экскурс. Способы получения изображения матричными и линейными камерами

Матричные камеры

Линейные камеры

Сетевые камеры

Решение 2. Монохромная или цветная камера?

Ответить на этот вопрос относительно просто, надо только определиться, какое изображение необходимо для решения поставленной задачи, – оно должно быть цветным для оценки требуемой характеристики, или достаточно черно-белого? Если цвет не является обязательным условием, то рекомендуется остановить свой выбор на монохромной камере, тем более что монохромные камеры отличаются более высокой чувствительностью и позволяют получать более резкие и четкие изображения. Кроме того, во многих областях, например в интеллектуальных транспортных системах, монохромные и цветные камеры часто применяются в комбинации в целях обеспечения соблюдения определенных законодательных требований, предъявляемых в конкретной стране к фотографиям, используемым в качестве доказательств.

Решение 3. Типы сенсоров, исполнение затвора, кадровая частота

На следующем этапе выбираем подходящий сенсор (на базе технологии КМОП или ПЗC) и тип затвора (глобальный или скользящий). Затем необходимо подобрать частоту кадров, то есть количество изображений, которое камера должна снять в секунду для решения поставленной задачи.

Типы сенсоров

Экскурс. ПЗC или КМОП?

Фундаментальное различие между этими двумя технологиями сенсоров заключается в их технической конструкции.

В сенсорах на базе технологии КМОП преобразование лучей света (а именно фотонов) в электронные сигналы (электроны) осуществляется с помощью электронных схем, интегрированных непосредственно в поверхность сенсора. Эти сенсоры отличаются высоким быстродействием, поскольку с них быстрее считываются данные изображения, а кроме того, они предоставляют пользователю гибкие возможности работы с набором изображений. КМОП-сенсоры широко распространены в потребительском сегменте рынка, например, представляют собой стандартную технологию для зеркальных фотоаппаратов.

В ПЗС-сенсорах все пиксели участвуют в преобразовании фотонов, то есть на его поверхности отсутствуют какие-либо электронные схемы. Благодаря этому на поверхности сенсора можно разместить больше пикселей, что, в свою очередь, означает возможность захвата большего количества фотонов. Таким образом, сенсоры этого типа отличаются повышенной светочувствительностью, что является их основным преимуществом для применения в условиях низкой освещенности, например в астрономии. ПЗС-сенсоры обеспечивают превосходное качество изображения в областях, где не требуется высокая скорость съемки, хотя они уже практически достигли максимума своего быстродействия, что обусловлено их архитектурой и способом передачи и обработки данных изображения.

На протяжении многих лет технология КМОП была настолько усовершенствована, что сегодня сенсоры на ее основе подходят для решения практически любых задач обработки изображений. Преимущества КМОП-сенсоров:

Эти характеристики помогли КМОП-сенсорам прочно занять ниши, в которых ранее доминировали ПЗС-сенсоры. Особенно сильный коммерческий аргумент в пользу современного поколения КМОП-сенсоров – это высокая скорость съемки при отсутствии потерь качества изображения.

Типы затвора

Одно простое, но решающее условие: тип затвора следует выбирать с учетом задачи, которую решает камера. Затвор препятствует попаданию света на сенсор камеры и открывается только на время экспозиции. Заданная длительность экспозиции определяет правильное «дозирование» света и указывает на то, как долго затвор остается открытым. Разница между глобальным и скользящим затвором заключается в том, как они обеспечивают экспозицию.

Экскурс. Как устроены глобальный затвор и скользящий затвор?

Глобальный затвор полностью открывается, чтобы свет попал на всю поверхность сенсора. В зависимости от кадровой частоты, съемка движущегося объекта осуществляется в виде быстрой смены кадров. Глобальный затвор станет оптимальным выбором в тех областях, где требуется снимать быстродвижущиеся объекты, например дорожно-транспортная отрасль, логистика, а также контроль качества печатных материалов.

Скользящий затвор обеспечивает построчную экспозицию матрицы. В зависимости от заданной длительности экспозиции, на изображении могут возникать искажения в случае перемещения объекта в то время, когда затвор открыт, – так называемый, «эффект плавающего затвора». Однако это не означает, что следует отказаться от скользящего затвора только потому, что объекты съемки движутся. Во многих случаях «эффект плавающего затвора» можно предупредить за счет правильной настройки длительности экспозиции в сочетании с использованием внешней вспышки.

Для получения дополнительной информации о типах затвора см. технический документ
Глобальный затвор и скользящий затвор: функциональные возможности и характеристики двух способов экспозиции.

Кадровая частота

Выражается в кадрах в секунду и часто обозначается «кадр/с». В случае линейных камер используется термин «частота строчного сканирования». Этот термин означает количество кадров, которые сенсор может отснять и передать за одну секунду.

Чем выше кадровая частота, тем выше быстродействие сенсора. => Чем выше быстродействие сенсора, тем больше кадров он может отснять за секунду. => Чем больше кадров, тем больше объем данных.

Решение 4. Разрешение, сенсор и размеры пикселя

Разрешение

Допустим, в технических характеристиках камеры указано 2048×1088. Что именно имеется в виду?

Эти числа означают количество пикселей в строке, в данном случае – 2048 пикселей по горизонтали и 1088 пикселей по вертикали. Если их перемножить, получим разрешение 2 228 224 пикселей, или 2,2 мегапикселя, то есть 2,2 миллиона пикселей (сокращенно – Мп).

Чтобы определить, какое разрешение требуется для решения конкретной задачи, необходимо выполнить простые математические расчеты:

Разрешение = (Размер объекта) / (Размер рассматриваемой детали объекта)

Экскурс. Как определить необходимое разрешение?

Предположим, требуется получить точный снимок цвета глаз человека ростом примерно 2 м, стоящего в конкретном месте:

Разрешение = (рост человека)/(участок глаза) = (2 м)/(1 мм) = 2.000 пикс (x;y) = 4 Mп

= > Для четкого различения на изображении объекта размером 1 мм потребуется разрешение 4 Мп.

Сенсор и размеры пикселя

Факт № 1.
Начнем с простого. Чем больше поверхность самого сенсора и отдельных пикселей, тем больше света попадает на него во время экспозиции. Свет преобразуется в сигналы, которые используются сенсором для создания и обработки данных изображения. Пока что все просто, но пойдем дальше. Чем больше эта площадь, тем выше соотношение «сигнал – шум», что в особенности касается пикселей большого размера – 3,5 мкм и больше. Более высокое соотношение «сигнал – шум» подразумевает более высокое качество изображения. Значение 42 дБ считается хорошим результатом.

Факт № 2.
Большой сенсор вмещает большее количество пикселей, а значит, обеспечивает более высокое разрешение. Реальное преимущество состоит в том, что отдельные пиксели при этом будут достаточно большого размера, чтобы обеспечить высокое соотношение «сигнал – шум», в отличие от сенсоров меньшего размера и, следовательно, меньшей площади, для которых необходимы пиксели меньшего размера.

Факт № 3.
И все же, даже большой сенсор с большим количеством пикселей большого размера сможет обеспечить высокое качество изображения только при условии использования надлежащей оптической системы. Его потенциал будет полностью реализован только в случае выбора подходящего объектива, способного передать такое высокое разрешение.

Факт № 4.
Сенсоры большого размера всегда будут более дорогостоящими, поскольку чем больше площадь, тем больше кремния требуется для их изготовления.

Машинное зрение. Что это и как им пользоваться? Обработка изображений оптического источника

Машинное зрение — это научное направление в области искусственного интеллекта, в частности робототехники, и связанные с ним технологии получения изображений объектов реального мира, их обработки и использования полученных данных для решения разного рода прикладных задач без участия (полного или частичного) человека.

Исторические прорывы в машинном зрении

• 1955 год – Оливер Селфридж. Статья «Глаза и уши компьютера».
• 1958 год – Фрэнк Розенблатт. Компьютерная реализация персептрона.
• 1960-е годы – первые системы обработки изображений.
• 1970-е годы – Лавренсе Робертс. Концепция машинного построения трёхмерных образов объектов.
• 1979 год – Ганс-Хельмут Нагель. Теория анализа динамических сцен.
• 1990-е годы – Первые беспилотные системы управления автотранспортом.
• 2003 год – Корпоративные системы распознавания лиц.

Компоненты системы машинного зрения

• Одна или несколько цифровых или аналоговых камер (черно-белые или цветные) с подходящей оптикой для получения изображений
• Программное обеспечение для изготовления изображений для обработки. Для аналоговых камер это оцифровщик изображений
• Процессор (современный ПК c многоядерным процессором или встроенный процессор, например — ЦСП)
• Программное обеспечение машинного зрения, которое предоставляет инструменты для разработки отдельных приложений программного обеспечения.
• Оборудование ввода-вывода или каналы связи для доклада о полученных результатах
• Умная камера: одно устройство, которое включает в себя все вышеперечисленные пункты.
• Очень специализированные источники света (светодиоды, люминесцентные и галогенные лампы и т. д.)
• Специфичные приложения программного обеспечения для обработки изображений и обнаружения соответствующих свойств.
• Датчик для синхронизации частей обнаружения (часто оптический или магнитный датчик) для захвата и обработки изображений.
• Приводы определенной формы используемые для сортировки или отбрасывания бракованных деталей.

Машинное зрение сосредотачивается на применении, в основном промышленном, например, автономные роботы и системы визуальной проверки и измерений. Это значит, что технологии датчиков изображения и теории управления связаны с обработкой видеоданных для управления роботом и обработка полученных данных в реальном времени осуществляется программно или аппаратно.

Обработка изображений и анализ изображений в основном сосредоточены на работе с 2D изображениями, т.е. как преобразовать одно изображение в другое. Например, попиксельные операции увеличения контрастности, операции по выделению краёв, устранению шумов или геометрические преобразования, такие как вращение изображения. Данные операции предполагают, что обработка/анализ изображения действуют независимо от содержания самих изображений.

Компьютерное зрение сосредотачивается на обработке трехмерных сцен, спроектированных на одно или несколько изображений. Например, восстановлением структуры или другой информации о 3D сцене по одному или нескольким изображениям. Компьютерное зрение часто зависит от более или менее сложных допущений относительно того, что представлено на изображениях.

Также существует область названная визуализация, которая первоначально была связана с процессом создания изображений, но иногда имела дело с обработкой и анализом. Например, рентгенография работает с анализом видеоданных медицинского применения.

Наконец, распознавание образов является областью, которая использует различные методы для получения информации из видеоданных, в основном, основанные на статистическом подходе. Значительная часть этой области посвящена практическому применению этих методов.

Таким образом, можно сделать вывод, что понятие «машинное зрение» на сегодняшний день включает в себя: компьютерное зрение, распознавание зрительных образов, анализ и обработка изображений и т.д.

Задачи машинного зрения

• Распознавание
• Идентификация
• Обнаружение
• Распознавание текста
• Восстановление 3D формы по 2D изображениям
• Оценка движения
• Восстановление сцены
• Восстановление изображений
• Выделение на изображениях структур определенного вида, сегментация изображений
• Анализ оптического потока

Распознавание

Классическая задача в компьютерном зрении, обработке изображений и машинном зрении это определение содержат ли видеоданные некоторый характерный объект, особенность или активность.

Эта задача может быть достоверно и легко решена человеком, но до сих пор не решена удовлетворительно в компьютерном зрении в общем случае: случайные объекты в случайных ситуациях.

Один или несколько предварительно заданных или изученных объектов или классов объектов могут быть распознаны (обычно вместе с их двухмерным положением на изображении или трехмерным положением в сцене).

Идентификация

Распознается индивидуальный экземпляр объекта принадлежащего к какому-либо классу.
Примеры: идентификация определённого человеческого лица или отпечатка пальцев или автомобиля.

Обнаружение

Видеоданные проверяются на наличие определенного условия.

Обнаружение, основанное на относительно простых и быстрых вычислениях иногда используется для нахождения небольших участков в анализируемом изображении, которые затем анализируются с помощью приемов, более требовательных к ресурсам, для получения правильной интерпретации.

Распознавание текста

Поиск изображений по содержанию: нахождение всех изображений в большом наборе изображений, которые имеют определенное различными путями содержание.

Оценка положения: определение положения или ориентации определенного объекта относительно камеры.

Оптическое распознавание знаков: распознавание символов на изображениях печатного или рукописного текста (обычно для перевода в текстовый формат, наиболее удобный для редактирования или индексации. Например, ASCII).

Восстановление 3D формы по 2D изображениям осуществляется с помощью стереореконструкции карты глубины, реконструкции поля нормалей и карты глубины по закраске полутонового изображения, реконструкции карты глубины по текстуре и определения формы по перемещению

Пример восстановления 3D формы по 2D изображеню

Оценка движения

Несколько задач, связанных с оценкой движения, в которых последовательность изображений (видеоданные) обрабатываются для нахождения оценки скорости каждой точки изображения или 3D сцены. Примерами таких задач являются: определение трехмерного движения камеры, слежение, то есть следование за перемещениями объекта (например, машин или людей)

Восстановление сцены

Даны два или больше изображения сцены, или видеоданные. Восстановление сцены имеет задачей воссоздать трехмерную модель сцены. В простейшем случае, моделью может быть набор точек трехмерного пространства. Более сложные методы воспроизводят полную трехмерную модель.

Восстановление изображений

Задача восстановления изображений это удаление шума (шум датчика, размытость движущегося объекта и т.д.).

Наиболее простым подходом к решению этой задачи являются различные типы фильтров, таких как фильтры нижних или средних частот.

Более высокий уровень удаления шумов достигается в ходе первоначального анализа видеоданных на наличие различных структур, таких как линии или границы, а затем управления процессом фильтрации на основе этих данных.

Восстановление изображений

Анализ оптического потока (нахождения перемещения пикселей между двумя изображениями).
Несколько задач, связанных с оценкой движения, в которых последовательность изображений (видеоданные) обрабатываются для нахождения оценки скорости каждой точки изображения или 3D сцены.

Примерами таких задач являются: определение трехмерного движения камеры, слежение, т.е. следование за перемещениями объекта (например, машин или людей).

Методы обработки изображений

• Счетчик пикселей
• Бинаризация
• Сегментация
• Чтение штрих-кодов
• Оптическое распознавание символов
• Измерение
• Обнаружение краев
• Сопоставление шаблонов

Счетчик пикселей

Подсчитывает количество светлых или темных пикселей.
С помощью счетчика пикселей пользователь может выделить на экране прямоугольную область в интересующем месте, например там, где он ожидает увидеть лица проходящих людей. Камера в ответ немедленно даст сведения о количестве пикселей, представленных сторонами прямоугольника.

Счетчик пикселей дает возможность быстро проверить, соответствует ли смонтированная камера нормативным требованиям или требованиям заказчика относительно пиксельного разрешения, например, для лиц людей, входящих в двери, которые контролируются камерой, или в целях распознавания номерных знаков.

Бинаризация

Преобразует изображение в серых тонах в бинарное (белые и черные пиксели).
Значения каждого пикселя условно кодируются, как «0» и «1». Значение «0» условно называют задним планом или фоном а «1» — передним планом.

Часто при хранении цифровых бинарных изображений применяется битовая карта, где используют один бит информации для представления одного пикселя.

Также, особенно на ранних этапах развития техники, двумя возможными цветами были чёрный и белый, что не является обязательным.

Сегментация

Используется для поиска и (или) подсчета деталей.

Цель сегментации заключается в упрощении и/или изменении представления изображения, чтобы его было проще и легче анализировать.

Сегментация изображений обычно используется для того, чтобы выделить объекты и границы (линии, кривые, и т. д.) на изображениях. Более точно, сегментация изображений — это процесс присвоения таких меток каждому пикселю изображения, что пиксели с одинаковыми метками имеют общие визуальные характеристики.

Результатом сегментации изображения является множество сегментов, которые вместе покрывают всё изображение, или множество контуров, выделенных из изображения. Все пиксели в сегменте похожи по некоторой характеристике или вычисленному свойству, например, по цвету, яркости или текстуре. Соседние сегменты значительно отличаются по этой характеристике.

Чтение штрих-кодов

Штрих-код — графическая информация, наносимая на поверхность, маркировку или упаковку изделий, представляющая возможность считывания её техническими средствами — последовательность чёрных и белых полос либо других геометрических фигур.
В машинном зрении штрих-коды используют для декодирования 1D и 2D кодов, разработанных для считывания или сканирования машинами.

Оптическое распознавание символов

Оптическое распознавание символов: автоматизированное чтение текста, например, серийных номеров.

Распознавание используется для конвертации книг и документов в электронный вид, для автоматизации систем учёта в бизнесе или для публикации текста на веб-странице.

Оптическое распознавание текста позволяет редактировать текст, осуществлять поиск слов или фраз, хранить его в более компактной форме, демонстрировать или распечатывать материал, не теряя качества, анализировать информацию, а также применять к тексту электронный перевод, форматирование или преобразование в речь.

Моя программа, написанная на LabView по работе с изображениями

Использовано компьютерное зрение для неразрушающего контроля качества сверхпроводящих материалов.

Введение. Решение задач обеспечения комплексной безопасности (как антитеррористической и механической безопасности объектов, так и технологической безопасности инженерных систем), в настоящее время, требует системной организации контроля, текущего состояния объектов. Одними из наиболее перспективных способов контроля текущего состояния объектов являются оптические и оптико-электронные методы, основанные на технологиях обработки видеоизображений оптического источника. К ним относятся: программы по работе с изображениями; новейшие способы обработки изображений; оборудования для получения, анализа и обработки изображений, т.е. комплекс средств и методов относящихся к области компьютерного и машинного зрения. Компьютерное зрение — это общий набор методов, позволяющих компьютерам видеть и распознавать трех- или двухмерные объекты, как инженерного направления, так и нет. Для работы с компьютерным зрение требуются цифровые или аналоговые устройства ввода-вывода, а также вычислительные сети и IP анализаторы локаций, предназначенные для контроля производственного процесса и подготовки информации для принятия оперативных решений в кратчайшие сроки.

Постановка проблемы. На сегодняшний день, главной задачей для проектируемых комплексов машинного зрения остаётся обнаружение, распознавание, идентификация и квалификация объектов потенциального риска, находящихся в случайном месте в зоне оперативной ответственности комплекса. Существующие на данный момент программные продукты, направленные на решение перечисленных задач обладают рядом существенных недостатков, а именно: значительная сложность, связанная с высокой детализацией оптических образов; высокая потребляемая мощность и достаточно узкий спектр возможностей. Расширение задач обнаружения объектов потенциального риска, до области поиска случайных объектов в случайных ситуациях, находящихся в случайном месте, имеющимися программными продуктами не возможно, даже с задействованием суперкомпьютера.

Цель. Разработка универсальной программы обработки изображений оптического источника, с возможностью потокового анализа данных, то есть программа должна быть лёгкой и быстрой для того, чтобы её можно было записать на малогабаритное ЭВМ устройство.

• разработка математической модели программы;
• написание программы;
• опробирование программы в условиях лабораторного эксперимента, с полной подготовкой и проведением эксперимента;
• исследование возможности применения программы в смежных областях деятельности.

• отсутствием на рынке программного обеспечения программ обработки изображений с выводом подробного анализа инженерных составляющих объектов;
• постоянно растущими требованиями к качеству и скорости получения визуальной информации, резко повышающими востребованность программ обработки изображений;
• существующей потребность в программах высокой производительности, надежных и простых с точки зрения пользователя;
• высокой стоимостью профессиональных программ обработки визуальной информации.

• отсутствием на рынке программного обеспечения программ обработки изображений с выводом подробного анализа инженерных составляющих объектов;
• постоянно растущими требованиями к качеству и скорости получения визуальной информации, резко повышающими востребованность программ обработки изображений;
• существующей потребность в программах высокой производительности, надежных и простых с точки зрения пользователя;
• существует потребность программ высокой производительности и простого управления, чего добиться в наше время крайне сложно. Для примера я взял Adobe Photoshop. Данный графический редактор обладает гармоничным сочетанием функциональности и простоты использования для рядового пользователя, но в данной программе невозможно работать со сложными инструментами по обработке изображения (например, анализ изображения путём построения математической зависимости (функции) или же интегральной обработкой изображений);
• высокой стоимостью профессиональных программ обработки визуальной информации. Если программное обеспечение качественно, то цена на него крайне высока, вплоть до отдельных функции того или иного набора программ. На графике ниже представлена зависимость цены/качества простых аналогов программы.

Для упрощения решения задач данного типа, мною была разработана математическая модель и написана программа для ЭВМ устройства по анализу изображения при помощи простейших преобразований исходных изображений.

Программа работает с преобразованиями типа бинаризации, яркости, контраста изображения и т.д. Принцип действия программы продемонстрирован на примере анализа сверхпроводящих материалов.

При создании композиционных сверхпроводников на основе Nb3Sn варьируется объемное соотношение бронзы и ниобия, размер и количество волокон в нем, равномерность их распределения по сечению бронзовой матрицы, наличие диффузионных барьеров и стабилизирующих материалов. При заданной объемной доле ниобия в проводнике увеличение количества волокон приводит, соответственно, к уменьшению их диаметра. Это ведет к заметному возрастанию поверхности взаимодействия Nb / Cu-Sn, что в значительной степени ускоряет процесс нарастания сверхпроводящей фазы. Такое увеличение количества сверхпроводящей фазы при повышении числа волокон в проводнике обеспечивает возрастание критических характеристик сверхпроводника. В связи с этим необходимо наличие инструмента для контроля объемной доли сверхпроводящей фазы в конечном продукте (композиционном сверхпроводнике).

При создании программы учитывалась важность проведения исследований материалов, из которых создаётся сверхпроводящие кабели, так как при неправильном соотношении ниобия к бронзе возможен взрыв проводов, а, следовательно, людские жертвы, денежные затраты и потеря времени. Данная программа позволяет определить качество проводов на основе химическо физического анализа объекта.

Блок-диаграмма программы

Описание этапов исследования.

1 этап. Пробоподготовка: резка композиционного сверхпроводника на электроэрозионном станке; запрессовка образца в пластмассовую матрицу; полировка образца до зеркального состояния; травление образца для выделения волокон ниобия на бронзовой матрице. Получены образцы запрессованных композиционных сверхпроводниковых образцов;

2 этап. Получение изображений: получение металлографических изображений на сканирующем электронном микроскопе.

3 этап. Обработка изображений: создание инструмента для определения объемной доли сверхпроводящей фазы на металлографическом изображении; набор статистически значимых данных на конкретном типе образцов. Созданы математические модели различных инструментов по обработке изображений; создана программная разработка для оценки объемной доли сверхпроводящий фазы; программа была облегчена путём соединения нескольких математических функций в одну; было получено среднее значение объемной доли волокон ниобия в бронзовой матрице 24.7±0,1 %. Низкий процент отклонения свидетельствует о высокой повторяемости структуры композиционного провода.

Электронномикроскопическое изображения композиционных сверхпроводников

Методы обработки изображений в программе.

• Идентификация — распознается индивидуальный экземпляр объекта, принадлежащего к какому-либо классу.
• Бинаризация – процесс перевода цветного (или в градациях серого) изображения в двухцветное черно-белое.
• Сегментация — это процесс разделения цифрового изображения на несколько сегментов (множество пикселей, также называемых суперпикселями).
• Эрозия – сложный процесс, при выполнении которого структурный элемент проходит по всем пикселам изображения. Если в некоторой позиции каждый единичный пиксел структурного элемента совпадет с единичным пикселом бинарного изображения, то выполняется логическое сложение центрального пиксела структурного элемента с соответствующим пикселом выходного изображения.
• Дилатация — свертка изображения или выделенной области изображения с некоторым ядром. Ядро может иметь произвольную форму и размер. При этом в ядре выделяется единственная ведущая позиция, которая совмещается с текущим пикселем при вычислении свертки.

Формулы работы программы

Формула бинаризации (метод Оцу):

Формула эрозии:

Формула дилатации:

Схема дилатации и эрозии

Формулы сегментации порогами цвета:

Определение модуля градиента яркости для каждого пикселя изображения:

Вычисление порога:

• CHMER GX-320L с ЧПУ — станок для электроэрозионной резки образцов
• SimpliMet 1000 — станок для горячей запрессовки
• AutoMet 250 Buehler – машина для шлифовки и полировки
• Axio Scope A1 Carl Zeiss – оптический микроскоп для контроля качества шлифов
• Hitachi TM-1000 — сканирующий электронный микроскоп для получения металлографических изображений

Хардкорная конфа по С++. Мы приглашаем только профи.