Меню Рубрики

Нейронные сети в системах технического зрения

Рассмотрен метод автоматического анализа микроскопических изображений для обнаружения и классификации клеток крови. Описан алгоритм обнаружения клеток на изображении. Для классификации клеток применяется глубокая нейронная сеть с логистической регрессией в выходном слое.

Похожие темы научных работ по кибернетике , автор научной работы — Прукс Виталий Эдуардович,

Example of computer vision system based on neural network >The method of automatic analysis of images made with microscope for detection and classification of blood cells is proposed. The algorithm of cell detection on the image is described. Deep neural network with logistic regression layer as an output layer is used to classify images of blood cells.

Текст научной работы на тему «Пример системы технического зрения на основе нейросетевого классификатора»

ПРИМЕР СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ НА ОСНОВЕ НЕЙРОСЕТЕВОГО КЛАССИФИКАТОРА

Рассмотрен метод автоматического анализа микроскопических изображений для обнаружения и классификации клеток крови. Описан алгоритм обнаружения клеток на изображении. Для классификации клеток применяется глубокая нейронная сеть с логистической регрессией в выходном слое.

The method of automatic analysis of images made with microscope for detection and classification of blood cells is proposed. The algorithm of cell detection on the image is described. Deep neural network with logistic regression layer as an output layer is used to classify images of blood cells.

Ключевые слова: система технического зрения, искусственный интеллект, нейронная сеть, распознавание образов, обнаружение объектов, подсчет клеточности.

Key words: computer vision system, artificial intelligence, neural network, image recognition, object detection, cell counting.

В рамках общеклинического исследования крови достаточно важную роль играет задача подсчета количества эритроцитов в крови (RBC) — это один из наиболее важных показателей системы крови [1]. Изменение количества эритроцитов является признаком некоторых заболеваний. Также величина параметра RBC применяется при вычислении других параметров гематологического анализа крови, как средний корпускулярный объем (MCV), среднее содержание гемоглобина в эритроците (MCH) и так далее.

Параметр RBC можно оценивать с применением автоматических гематологических анализаторов, однако в некоторых случаях подсчет лейкоцитов производится с использованием микроскопа и камеры Горяева. Этот метод требует гораздо более дешевого оборудования, чем в случае гематологического анализатора, и при этом возможно достичь более высокой точности результатов анализа.

Было предложено ускорить и упростить процесс подсчета клеточности крови благодаря применению системы технического зрения. На вход системе зрения подается изображение с микроскопа, далее на изображении выделяются клетки и классифицируются нейронной сетью, что обеспечивает возможность быстрого и достаточно точного подсчета количества клеток эритроцитов в крови, при этом с высокой точностью оцениваются размеры клеток.

1. Предварительная обработка изображения

Для получения снимков с микроскопа используются фотоаппарат и переходная насадка для присоединения фотоаппарата к микроскопу. Полученные снимки сначала предварительно обрабатываются, в резуль-

Вестник Балтийского федерального университета им. И. Канта. 2012. Вып. 10. С. 99 — 103.

тате чего выполняется сегментация входного изображения [2]. Сегментами изображения становятся всевозможные неоднородности на общем зрительном поле. Таким образом, удается выделить практически все клетки на изображении в виде отдельных картинок. Полученный набор картинок далее подается на вход нейросетевого классификатора, который расставляет метки в соответствии с типом клетки. На изображении могут попадаться лейкоциты, тромбоциты, эритроциты и случайные частицы.

1. Сглаживание изображения алгоритмом билатерального фильтрования [2].

2. Преобразование входного изображения в полутоновое.

3. Бинаризация изображения с использованием адаптивного порога по среднему на заданной квадратной области [3].

4. Морфологическая эрозия и расширение для сглаживания полученных пятен на бинарном изображении.

5. Обнаружение контуров пятен.

6. Построение объемлющих окружностей вокруг обнаруженных контуров. Поскольку обнаруживаемые на изображении объекты имеют приблизительно круглую форму, то данный способ достаточно эффективен для рассматриваемой задачи.

7. Объединение перекрывающихся контуров. Иногда в результате предыдущих шагов на месте клетки получается несколько пятен с индивидуальными контурами.

Данный шаг позволяет объединить эти фрагменты в общий контур. Для обнаружения перекрытий все объемлющие окружности помещаются в граф, вершинами которых являются центры окружностей, а дугами — расстояния между окружностями. Если расстояние между двумя окружностями не превышает 90 % от суммы радиусов, то данные окружности содержат в себе контуры одной и той же клетки, поэтому контуры, находящиеся внутри пересекающихся кругов, объединяются в общий контур. Строится объемлющая окружность вокруг объединенных контуров.

8. С помощью выщеленных окружностей исходное изображение делится на множество квадратных изображений. Центры квадратов совпадают с центрами окружностей, стороны квадратов имеют длиной удвоенный радиус окружностей.

Выходом данного алгоритма является множество изображений частиц, выщеленных на исходном изображении, которые сначала масштабируются на квадраты размером 32 х 32 пикселя, далее подвергаются классификации нейронной сетью.

2. Нейросетевой классификатор

Обучающее множество строится путем расстановки меток изображениям клеток вручную. Полученный набор разбивается в заданном соотношении на множества обучения, валидации и тестирования [4].

Классификация изображений частиц, выщеленных на фотографии раствора, вышолняется многослойным персептроном глубокой архитектуры [5].

Введем следующие обозначения. Пусть Ь — количество слоев в нейронной сети, Ьк — выходной вектор к-го слоя, к = 0, 1, 2, . Ь, причем Ь0 = х — входной вектор, а — выход нейронной сети, Ьк — вектор смещений к-го слоя; Wk — матрица весов соединений к-го и к-1-го слоя, к = 1, 2, . Ь. Обозначим количество нейронов в каждом из слоев пк. Теперь можно описать архитектуру нейронной сети следующим образом.

Функция активации скрытых слоев — это гиперболический тангенс

Функция активации выходного слоя — логистическая регрессия

= Р(у = г I , Ьь) = 80£1тах, (Ьь + ) = _еХР(Ь(Ь’ + +^’Ььь1,‘> ) ,

где У — номер предполагаемой категории, г = 0, . пь; пь — количество категорий для распознавания (количество нейронов выходного слоя). При этом выход нейронной сети — наиболее вероятная категория

Использовался алгоритм обратного распространения ошибки.

Также обучающее множество разбивается на мини-пакеты, которые составляют от 2 до 20 обучающих примеров каждый [5].

После обучения нейросети на вход автоматическому классификатору подается изображение, прошедшее все этапы предварительной обработки, после чего нейросеть автоматически расставляет метки.

Входными изображениями для автоматического классификатора являются фотографии раствора крови, сделанные с помощью микроскопа. В экспериментах было использовано две такие фотографии: одна — для построения обучающего множества (рис. 1, а), другая — для тестирования алгоритма распознавания (рис. 1, б).

Ь к = Л(Ъ к + Wk Ь к-1), к = 1, 2, Ь.

Ургесі = агб “ах, Р(У = , \ Ьь-1, Щ, Ъь ).

Веса инициализируются случайными величинами из отрезка

Рис. 1. Фотографии растворов крови: а — используемая для построения обучающего множества; б — используемая для тестирования нейросетевого классификатора

Результаты автоматической классификации сравнивались с ручной классификацией. На первом изображении были выделены клетки, а метки расставлены вручную (рис. 2).

Рис. 2. Фрагмент входного изображения с метками, расставленными вручную. Окружностью обведены лейкоциты, квадратами — прочие клетки

После этого изображения клеток, обнаруженных на фотографии, были собраны в обучающее множество (рис. 3).

Рис. 3. Пример изображений из обучающей выборки: а — лейкоциты; б — прочие клетки

Наконец, на вход автоматического классификатора подавалось другое изображение раствора с кровью, в котором метки расставляла обученная нейросеть (рис. 4). Поскольку первостепенной задачей, поставленной перед автоматической системой подсчета клеточности крови, стал подсчет количества эритроцитов, то всем элементам изображения присваивались метки: 1 — эритроцит, 0 — неэритроцит.

Параметры нейронной сети: 5 слоев, размеры входного слоя 1024 (поскольку входные изображения имеют размер 32 * 32 пикселя). Все скрыггые слои содержат 1024 нейрона. Использован алгоритм обратного распространения ошибки, в процессе которого минимизируется критерий обратного логарифмического правдоподобия.

Результаты обучения следующие. Входное изображение (рис. 1, а) разбито на 1124 объектов интереса. Входная выборка состояла из 562 обучающих примеров, поделенных на мини-группы по 2 примера; вся обучающая выборка была разбита на множества обучения, валидации и тестирования в соотношении 80 %/10 %/10 %. За пять эпох достигнута ошибка валидации 2,85 % при ошибке тестирования 5,00 %.

Рис. 4. Фрагмент фотографии раствора крови с метками, расставленными нейросетевым классификатором. Окружностью обведены лейкоциты, квадратами — прочие клетки

Автоматическая классификация клеток на изображении (рис. 1, б) дала ошибку 69,8 % в сравнении с классификацией вручную. Это достаточно неплохой результат, если учитывать, что два рассматриваемых входных изображения сделаны для разных растворов, а для обучения нейронной сети использовалось достаточно маленькое обучающее множество.

Результатом работы стал алгоритм сегментации фотографий раствора крови, на котором автоматически выделяются клетки. Обнаруженные клетки возможно классифицировать вручную, чтобы построить обучающее множество нейронной сети. Нейронная сеть представляет собой сеть глубокой архитектуры, содержащей пять скрытых слоев и выходной слой, выполненный в виде вероятностного классификатора — логистической регрессии. Обученная нейронная сеть способна классифицировать изображения клеток для дальнейшего определения параметров раствора крови.

1. Назаренко Г. И., Кишкун А. А. Клиническая оценка результатов лабораторных исследований. М., 2005.

2. Szeliski R. Computer Vision: Algorithms and Applications. London: Springer-Verlag, 2011.

3. Bradsky G., Kaehler A. Learning OpenCV: Computer Vision with the OpenCV Library. CA: O’Reilly Media, Inc., 2009.

4. Хайкин С. Нейронные сети : полный курс. М., 2006.

5. Yoshua Bengio. Learning deep architectures for AI, foundations and trends® in machine learning. 2009. Vol. 2, №. 1. P. 1—127.

Виталий Эдуардович Прукс — асп., Балтийский федеральный университет им. И. Канта, vitaliy.e.prooks@gmail.com.

Vitaliy Prooks — PhD student, I. Kant Baltic Federal University.

автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему: Высокоточное нейросетевое распознавание в системах технического зрения

Автореферат диссертации по теме «Высокоточное нейросетевое распознавание в системах технического зрения»

На правах рукописи

00500’//^° Руденко Ольга Валентиновна ДИ^

ВЫСОКОТОЧНОЕ НЕЙРОСЕТЕВОЕ РАСПОЗНАВАНИЕ В СИСТЕМАХ ТЕХНИЧЕСКОГО ЗРЕНИЯ

Специальность 05.13.01- «Системный анализ, управление и обработка информации (информационные и технические системы)»

диссертации на соискание ученой степени кандидата технических наук

Работа выполнена в ФГБОУ ВПО «Кубанский государственный технологический университет»

Научный руководитель: доктор физико-математических наук, доцент

Усатиков Сергей Васильевич

Официальные оппоненты: доктор технических наук, профессор

Плахотнюк Александр Николаевич; кандидат технических наук, профессор Бухонский Михаил Иванович

Ведущая организация: ФГБОУ ВПО «Кубанский государственный

Защита диссертации состоится «7» декабря 2011 г. в 1400 часов на заседании диссертационного совета Д 212.100.04 в ФГБОУ ВПО «Кубанский государственный технологический университет» по адресу : 350072, г. Краснодар, ул. Московская, 2 , Г-251

С диссертацией можно ознакомиться в библиотеке Кубанского государственного технологического университета

Автореферат разослан «7» ноября 2011 г.

диссертационного совета Д 212.100.04 канд. техн. наук, доцент

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Последние десятилетия для автоматизации производства активно ведутся разработки систем технического зрения (СТЗ). Для повышения эффективности функционирования СТЗ необходимо постоянно пополнять арсенал методов и средств предварительной обработки изображения и построения классификаторов, сочетающих требуемые показатели по быстродействию и достоверности идентификации. Перспективные СТЗ экспертного уровня точности для объектов природного происхождения в задачах пищевой и зерноперерабатывающей промышленности рассмотрены в работах А.Ю. Шаззо с сотр., Русанова И.А. с сотр. и др. на основе различных методов распознавания: статистических, нейросетей (НС), байесовских сетей и т.д. Нейросетевые алгоритмы и технологии построения нейросетевых экспертных систем разработаны в трудах как зарубежных, так и российских ученых: А.Н. Горбанем, В.В. Кругловым, Е.М. Миркесом, В.А. Дуниным-Барковским и др. Основная трудность при разработке НС с заданными свойствами является отсутствие теоретического проектирования их топологий и предсказание точности распознавания. В связи с этим изучение возможной достижимой для НС точности распознавания массовых объектов с сильной внутриклассовой визуальной вариабельностью и разработка соответствующих методов, гарантирующих достаточную заданную точность, является актуальной задачей.

Читайте также:  Что такое зло с философской точки зрения

Цель работы: разработка методов и алгоритмов по применению в СТЗ нейронных сетей для распознавания с достаточной заданной точностью массового количества объектов природного происхождения с сильной визуальной внутриклассовой вариабельностью.

Предмет исследования: совокупность математических моделей и основных архитектур нейронных сетей, позволяющих проводить

классификацию объектов с большой визуальной внутриклассовой вариабельностью, реализуемых программно на нейроимитаторах.

Объект исследования: процесс распознавания экспертного уровня точности объектов природного происхождения.

Основными задачами исследования являются:

1) совершенствование методик и технологий для распознавания объектов природного происхождения с большой визуальной внутриклассовой вариабельностью в промышленных СТЗ с заданной точностью;

2) отбор информативных признаков, участвующих в классификации;

3) выбор топологии и обучение нейронной сети;

4) создание «обучающей» базы данных программного комплекса нейросетевого распознавания;

5) разработка программного обеспечения, позволяющего проводить высокоточное распознавание, на основе нейронных сетей;

6) оценка точности распознающего алгоритма;

7) обоснование эффективности нейросетевого метода распознавания по сравнению с другими методами.

Методы исследования. В диссертации использованы методы системного анализа, распознавания образов, компьютерного зрения, нейронных сетей, математической статистики, спектрального анализа. Положения, выносимые на защиту:

1) выбор типа признакового пространства для распознавания объектов с большой визуальной внутриклассовой вариабельностью;

2) выбор типа пользовательской топологии и подбор методов обучения нейронной сети для высокоточного распознавания;

3) оценка точности работы нейронной сети на реальном наборе данных;

4) блок экспертной системы на основе нейронной сети для контроля качества пищевой продукции.

Научная новизна работы:

• повышение точности распознавания с использованием нейронной сети на основе объединения геометрических параметров и цветовых составляющих объектов пищевой и зерноперерабатывающей промышленности;

• предложена методика выбора топологии и методов обучения нейронной сети для задачи высокоточного распознавания;

• проведены экспериментальные исследования по проверке эффективности разработанной системы.

Достоверность и обоснованность научных результатов и выводов основана на корректности постановок задач и используемого математического аппарата, адекватности математических моделей и согласованностью теоретических расчетов с экспериментальными результатами.

Практическая значимость. Результаты работы использованы при разработке программного обеспечения базы данных для лабораторного стенда экспертного уровня для целей семеноводства и для создания блока распознавания сырья экспертной системы мониторинга показателей безопасности и качества.

Реализация и внедрение результатов работы. Диссертационные исследования выполнены в рамках госбюджетной темы НИР №8.5.06-10 «Исследования математических моделей для естественнонаучных приложений» по кафедре Общей математики КубГТУ и гранта РФФИ и Администрации Краснодарского края №08-07-99033-р_офи 2008-2009 г.г.

Результаты работы внедрены на кафедре Пищевой инженерии и высоких технологий (КубГТУ, г. Краснодар) и в Краснодарском научно-исследовательском институте хранения и переработки сельскохозяйственной продукции ГУ КНИИХП (г. Краснодар).

Публикации. Основные положения диссертации достаточно полно изложены в 7 печатных работах, из них 5 статей (3 статьи в изданиях из перечня ВАК для публикации научных результатов диссертаций на соискание ученой степени доктора и кандидата наук) и 2 тезиса докладов.

Получено 2 свидетельства о государственной регистрации программы для ЭВМ №2011613332 и №2011615407.

Апробация работы. Основные результаты диссертации обсуждались на международной, всероссийской и региональной научных конференциях:

• V Международная научная конференция «Научный потенциал XXI века», Ставрополь, 2011 г.;

• конференция получателей грантов регионального конкурса РФФИ и Администрации Краснодарского края «Юг», 2007-2008 гг.;

• I межвузовская научно-практическая конференция «Автоматизированные информационные и электроэнергетические системы, Краснодар, 2010 г.

• международная научно-практическая конференция «Хлебобулочные, кондитерские и макаронные изделия XXI века», Краснодар, 2011 г. Объем и структура работы. Диссертационная работа включает в

себя введение, 4 главы, заключение, список используемой литературы из 95 наименований и 3 приложения. Работа изложена на 125 страницах, содержит 41 рисунок и 19 таблиц.

СОДЕРЖАНИЕ РАБОТЫ Во введении показана актуальность работы, ее научная новизна, теоретическая и практическая значимость. Приведена цель и поставлены задачи диссертационного исследования.

В первой главе проведен аналитический обзор существующих подходов к разработке СТЗ, позволивший сделать выводы, определяющие направление диссертационного исследования. Определены математичес-

кие методы, составляющие алгоритм формализованного подхода к построению СТЗ. Исследованы модели информативных признаков, позволяющих повысить точность распознавания по сравнению с существующими методами. Выбрано программное обеспечение для имитационного моделирования работы сети.

Делается вывод о том, что методы идентификации объектов для решения ряда актуальных задач селекции и семеноводства, управления технологическими процессами и др. не обладают экспертным уровнем точности распознавания. Установлено, что наличие большой вариабельности оптических свойств внутри одного класса объектов природного происхождения является основной проблемой идентификации. В результате проведенного анализа существующих методов идентификации выбраны искусственные нейронные сети как один из наиболее перспективных подходов для решения ряда задач с объектами пищевой и зерноперерабатывающей промышленности.

Во второй главе рассмотрен системный подход к созданию классификатора на основе нейронной сети; методы решения задачи распознавания в системах технического зрения; рассмотрены варианты принятия решения.

Процесс системного анализа включает ряд этапов, реализация которых необходима для решения проблемы. Сочетание этих этапов в определенной последовательности, диктуемой структурой проблемы и причинно-следственными связями, и приводит к системному решению.

Алгоритм распознавания изображений состоит из трех компонент: 1) преобразование исходного изображения (предобработка и/или математическое преобразование); 2) выделение ключевых характеристик (анализ главных компонент, генетический алгоритм и др.); 3) механизм классификации: статистические методы, метод дискриминационных функций, нейронная сеть и т.п. (рис. 1).

Рисунок 1 — Структура метода распознавания

Каждый компонент системы нужно разработать так, чтобы для системы в целом обеспечить достижение поставленных перед ней цели с требуемой эффективностью.

Для обеспечения инвариантности объектов по отношению к геометрическим трансформациям является предварительная обработка изображения и приведение его к стандартной позиции, масштабу и ориентации. Для начальной обработки изображения применен метод цветовых гистограмм для выполнения пороговой бинаризации полутоновых изображений. Алгоритм определяет наличие в изображении пикселей двух классов — текстовых и фоновых. После проведения операции бинаризации происходит поиск смежных областей в изображении. На основе разделения изображения на смежные области создается массив объектов, который представляет собой изображение, сохраненное в отдельной матрице (отдельный объект и его контур). Контур плоского изображения некоторого компонента задается в виде дискретного набора (х,, у;), 1 У, аргумент которой принадлежит признаковому пространству входов, а значение — выходному признаковому пространству. Каждый нейрон нейронной сети выполняет суммирование сигналов, поступающих от других нейронов, которые прошли через нелинейное преобразование. Таким образом, персептрон аппроксимирует зависимости, которые в общем случае являются функциями многих аргументов, причем эту аппроксимацию персептрон выполняет с помощью суммы функций, каждая из которых является функцией только одного аргумента. Теорема Хехт-Нильсена обобщила теорему Колмогорова и Арнольда о том, что любая непрерывная функция п переменных 1″(Х|, х2, . х„) всегда может быть представлена в виде суммы непрерывных функций одного переменного и показала, что она может быть аппроксимирована помощью двухслойной нейронной сети с прямыми полными связями с п нейронами входного слоя, (2п +1) нейронами скрытого слоя с заранее известными ограниченными функциями активации (например, сигмоидальными) и ш нейронами выходного слоя с неизвестными функциями активации.

В качестве инструмента для построения искусственной нейронной сети были использованы три наиболее известных и популярных пакета —

STATISTICA Neural Networks 6.1 (SNN), NeuroPro 0.25 и пакет Neural Networks Тоо1Ьох(пакет расширения MatLab 7.0.1).

Экспериментальная установка (рис. 3), разработанная на кафедре Пищевой инженерии и высоких технологий и на кафедре Общей математики (КубГТУ, г. Краснодар), включает следующие этапы создания «обучающей» базы данных (БД) для спектрального анализа плоского изображения и последующего распознавания изображений:

1) фото/видеосъёмка плодов на однотонном фоне; для «обучающей» БД — известного сорта, для рабочего режима — сортосмеси, подлежащей распознаванию;

2) применение алгоритмов отделения фона и выделения пиксельных изображений отдельных единичных плодов;

3) установление центра масс объекта, угла поворота относительно начальной системы координат и размера каждого изображения, перенос начало координат в центр масс объекта и поворот осей координат таким образом, чтобы ось абсцисс проходила вдоль максимального удлинения объекта;

4) нормализация размера объекта таким образом, чтобы вне зависимости от разрешения анализируемого изображения геометрические размеры всех объектов совпадали;

5) проведение дискретного вейвлет — преобразование цветовых составляющих всех точек (пикселей), принадлежащих выделенной в предыдущих пунктах области; упорядочить полученные коэффициенты; отбросить незначащие элементы полученного упорядоченного массива;

6) для «обучающей» БД — сохранить полученные данные в БД единичных вейвлет-спектров;

7) для нейросетевых (НС) методов распознавания БД единичных вейвлет — спектров является обучающей выборкой;

8) для рабочего режима вейвлет — спектр элементов сортосмеси, подлежащей распознаванию, подаётся на вход разработанной НС. Выход НС идентифицирует элементы сортосмеси.

Рисунок 3 — Схема лабораторной установки и этапы создания «обучающей» БД: 1 — ёмкость с непрозрачными стенками, 2- матовое стекло, 3 — отверстие для фотоаппарата, 4 — лампы искусственного освещения, 5 — поддон для зерна, 6 — зёрна

Объектами исследований являлись: элитные сорта нешлифованного риса, рис шлифованный и шелушенный, бобовые и масличные культуры, тритикале и пшеница. Сорта риса Краснодарский 424, Лиман, Кулон, Регул, Изумруд произведены на сортучастках ВНИИ риса (рис.4). . Более 1000 зерновок дали материал для составления обучающей, тестирующей и контрольной выборки. Анализ объектов исследования показал, что показатель Ь/А(отношения длины к ширине риса) у исследованных сортов риса варьирует в широком диапазоне. При сопоставлении показателей уровня варьирования Ь/А обнаружены существенные отличительные особенности. Пределы варьирования показателя Ь/А существенно превышают пределы доверительной области, что не позволяет точно осуществлять идентификацию риса.

Рисунок 4 а — сорт Краснодарский 424; б — сорт Лиман; д — сорт Кулон;

ж — сорт Регул; и — сорт Изумруд; б, г, е, з, к — вариабельность контура соответствующего сорта

Для создания нейросетей важной задачей является нахождение оптимального размера сети — такого числа скрытых слоев и нейронов в слоях, которые дадут минимум ошибки обобщения. Использовано два подхода: теоретический, как следствие из теорем Арнольда-Колмогорова-Хехт-Нильсена и практический, с использованием «кривых обучения» -зависимостей ошибок обучения и обобщения от размеров нейросети. Оптимуму соответствуют локальные минимумы или моменты выхода графиков на асимптоты (рис. 56). Эксперимент поводился для задачи классификации 5 сортов не шлифованного риса. Архитектура: многослойный персептрон с 249 нейронами на входе, в промежуточном слое находилось от 1 до 126 нейронов (рис. 5а).

5 а — топология сети, Д — нейроны входного слоя, □ — нейроны с сигмоидной функций активации; б — зависимость ошибки распознавания от количества нейронов в скрытом слое

Необходимое количество нейронов в скрытых слоях персептрона определяется по формуле, являющейся следствием из теорем Арнольда-Колмогорова-Хехт-Нильсена:

где Ny — размерность выходного сигнала, Q — число обучающих примеров; Nw — необходимое число синаптических связей; N, -размерность входного сигнала.

Оценив с помощью этой формулы необходимое число синаптических связей Nw, рассчитано необходимое число нейронов в скрытых слоях. Число нейронов скрытого слоя двухслойного персептрона будет равно:

N = • И теоретические вычисления и кривая обучения определяют

оптимальный размер от 40 до 50 нейронов в промежуточном слое.

По требованию теоремы Хехт-Нильсена в нейронных сетях как для первого (скрытого), так и для второго (выходного) слоя использованы сигмоидальные передаточные функции с настраиваемыми параметрами.

При заданном наборе обучающих примеров и виде функции ошибки, обучение нейронной сети является многоэкстремальной невыпуклой задачей оптимизации. Ее целью является нахождение на многомерной поверхности самую низкую точку. Отталкиваясь от случайной точки поверхности, алгоритм обучения постепенно отыскивает глобальный минимум. Для сети типа Многослойный персептрон (MLP) очень хороший результат показывает метод сопряженных градиентов и классический алгоритм обратного распространения ошибки. Ошибка обучения для построенной нейронной сети вычисляется путем сравнения выходных и целевых (желаемых) значений. Из полученных разностей формируется функция ошибок. Функция ошибок — это целевая функция, требующая минимизации в процессе управляемого обучения нейронной

Читайте также:  Логистика рассмотрена с точки зрения управления

сети. С помощью функции ошибок можно оценить качество работы нейронной сети во время обучения.

Чтобы оценить полученный метод классификации, был проведен эксперимент по разделению 5 сортов не шлифованного риса с помощью нейронной сети (табл. 1). Таблица 1 — Матрица классификации для многослойного персептрона в

Класс (кол-во) Доля правил. (%) Регул Изумруд Красн.-424 Кулон Лиман

Регул 98 266 0 2 1 0

Изумруд 100 0 284 0 0 0

Красн.-424 97 0 0 181 1 1

Кулон 97 2 0 1 132 3

Лиман 97 1 0 1 2 135

Всего 98,5 269 284 185 136 139

Архитектурой сети является двухслойный персептрон (рис. 6), функция активации — сигмоидная (логистическая), функция ошибки -805(равна сумме (взятой по всем наблюдениям) квадратов разностей целевых и фактических значений). Для определения способности сети заданной конфигурации решить задачу, оценивали константу Липшица сети (2) и сравнивали ее с выборочной оценкой (3). л„ =5ир|/г(х)-Г

Л, =тах|/(х’)-/(г’|/|х’ где Г -значения функции в точках х1 (3)

В случае Л„ автор диссертации — кандидата технических наук Руденко, Ольга Валентиновна

ВВЕДЕНИЕ 5 1. Анализ современных подходов к разработке систем технического зрения

1.1. Структурная организация систем технического зрения

1.2. Модели информативных признаков для распознавания

1.2.1. Общая модель классификации

1.2.2. Выбор информативных признаков

1.3. Нейросетевой метод распознавания и способы его реализации

1.3.1. Математическая модель нейрона и нейронной сети

1.3.2. Применение нейросетевого метода

1.3.3. Применение нейронных сетей в экспертных системах

1.3.4. Программное обеспечение для имитационного моделирования нейронной сети

1.4. Основные проблемы разработки и адаптации систем технического зрения в промышленности

1.5. Цели и задачи исследований

2. Методы решения задачи распознавания в системах технического зрения

2.1. Структура методов распознавания

2.2 Методы и алгоритмы предварительной обработки изображений

2.2.1. Отделение объекта от фона методом связных компонент 42 2.2.2 Преобразование реальных контуров изображений

2.3. Вейвлет- спектр цветовой окраски и формы исследуемых объектов

2.4. Исследование и понижение размерности признакового пространства

2.4.1 .Генетический алгоритм

2.4.2. Анализ главных компонент

2.4.3. Факторный анализ

3. Алгоритм нейросетевого распознавания

3.1. Выбор объектов исследования для нейросетевого алгоритма

3.2. Математическое описание нейронной сети

3.3. Структура нейронной сети

3.4. Оценка сложности задачи классификации

3.5. Минимизация функции ошибки обучения с помощью градиентных методов

3.6. Оценка точности работы распознающего устройства по экспериментальным данным

3.7. Сравнение точности распознавания нейросетевого алгоритма с другими методами классификации

4. Нейросетевой блок распознавания экспертной системы мониторинга качества при производстве консервов из растительного сырья

4.1. Автоматизация инспекции сырья как этап технологического процесса и часть вычислительного ядра ЭС

4.2. Нейросетевой блок контроля сырья экспертной системы (ЭС) мониторинга показателей безопасности и качества

4.3. Работа нейросетвого алгоритма по выделению примесей из сырья

4.4. Оценка точности работы нейросетевого блока контроля сырья экспертной системы

4.5. Выводы 122 Заключение 123 Список литературы 126 Приложение А. Свидетельство о государственной регистрации программы для ЭВМ «Нейросетевая модель для классификации сортов риса»

Введение 2011 год, диссертация по информатике, вычислительной технике и управлению, Руденко, Ольга Валентиновна

Актуальность темы. В настоящее время заметно повышение спроса в отечественной промышленности на новые разработки в области высоких технологий на средства автоматизации производства и их важную часть -системы технического зрения (СТЗ). Одно из применений систем технического зрения — это автоматическая классификация по параметрам формы, цвета, размеров плодов, семян и других объектов с высокой производительностью. Перспективные СТЗ экспертного уровня точности для объектов природного происхождения в задачах пищевой и зерноперерабатывающей промышленности рассмотрены в работах [54, 55, 56, 57] на основе различных методов распознавания: статистических, нейросетей (НС), байесовских сетей и т.д. В условиях ужесточающейся конкуренции производители вынуждены беспокоиться о качестве используемого сырья и выпускаемой продукции, чтобы производимый продукт пользовался спросом. А на производствах малой и средней мощности, где качество сырья и тестовых заготовок на этапах технологического процесса оценивается «на глаз» и зависит от личного опыта технолога, без объективных методов контроля добиться стабильного качества продукции невозможно.

Нейросетевые алгоритмы и технологии построения нейросетевых экспертных систем расмотрены в работах [12, 27, 28, 47] Для создания эффективных технологий разрабатываемые методы и алгоритмы должны обладать быстродействием и точностью. Обычно каждый разрабатываемый алгоритм специализируется на своем типе изображений. Поэтому в системах технического зрения (СТЗ) необходимо сочетание нескольких методов, которые обеспечивают необходимые показатели по быстродействию и достоверности идентификации. Для эффективного функционирования СТЗ необходимо постоянно пополнять арсенал методов и средств предварительной обработки изображения и построения классификаторов.

Нейронные сети и нейрокомпьютеры быстро становятся новой конкурентоспособной технологией будущего. Нейросетевые алгоритмы решения типовых прикладных задач обработки цифровых изображений: фильтрации и сегментации; сжатия и кодирования видеоряда; распознавания, классификации и обнаружения различных объектов трехмерной визуализации сцен в системах машинной графики; а также вопросы аппаратной реализации нейрокомпьютеров для обработки изображений становятся все чаще объектами исследований [1,12,35,46,67].

Высокоточное распознавание изображений зерновых культур требуется для ряда актуальных задач в зерноперерабатывающей промышленности, селекции и семеноводстве. Зерновка даже определённого сорта любой культуры обладает широко вариабельными свойствами, в том числе цветовой гаммы и геометрической формы. Широкая вариабельность признаков зерновок — одна из основных проблем при идентификации. Существующая методика идентификации зерновок по геометрической форме их контуров, основанная на Фурье-анализе и статистической теории распознавании образов, имеет погрешность при разделении сортов в доли процентов. Но если для риса очертания контура — генетически наследуемый признак, то для прочих культур очертания позволяют распознать не сорта, а только виды (пшеница или рис, или соя и т.д.) между собой. Дальнейшее развитие метода возможно, если при анализе каждого объекта учитывать не только его контур, но и цветовые характеристики — общий цветовой фон, локальные всплески отдельных оттенков и т.д.

Основными задачами исследования являются:

1) совершенствование методик и технологий для распознавания объектов природного происхождения с большой визуальной внутриклассовой вариабельностью в промышленных СТЗ с заданной точностью;

2) отбор информативных признаков, участвующих в классификации;

3) выбор топологии и обучение нейронной сети;

4) создание «обучающей» базы данных программного комплекса нейросетевого распознавания;

5) разработка программного обеспечения, позволяющего проводить высокоточное распознавание, на основе нейронных сетей;

6) оценка точности распознающего алгоритма;

7) обоснование эффективности нейросетевого метода распознавания по сравнению с другими методами.

Предмет исследования: совокупность математических моделей и основных архитектур нейронных сетей, позволяющих проводить классификацию объектов с большой визуальной внутриклассовой вариабельностью, реализуемых программно на нейроимитаторах.

Объект исследования: процесс распознавания экспертного уровня точности объектов природного происхождения.

В первой главе проведен аналитический обзор существующих подходов к разработке СТЗ, позволивший сделать выводы, определяющие направление диссертационного исследования. Определены математические методы, составляющие алгоритм формализованного подхода к построению СТЗ. Исследованы модели информативных признаков, позволяющих повысить точность распознавания по сравнению с существующими методами. Выбрано программное обеспечение для имитационного моделирования работы сети.

Во второй главе рассмотрен системный подход к созданию классификатора на основе нейронной сети; методы решения задачи распознавания в системах технического зрения; рассмотрены варианты принятия решения.

В третьей главе определены принципы построения и предложена методика создания НС для высокоточного распознавания в СТЗ. Предложен подход к построению нейронной сети на основе многослойного персептрона, позволяющей провести распознавание максимально уровня точности, выбран подходящий алгоритм обучения

В четвертой главе рассмотрены вопросы практического применения приложений, созданных на основе разработанных методов и алгоритмов. Рассмотрена нейросетевая реализация блока распознавания вычислительного ядра ЭС. В нейросетевом блоке видеоизображение семян и плодов, подвергнутое спектральному вейвлет-преобразованию, является входом многослойной нейронной сети, выходной нейрон которой принимает решение об отбраковке и др.

1. Анализ современных подходов к разработке систем технического зрения.

Заключение диссертация на тему «Высокоточное нейросетевое распознавание в системах технического зрения»

Результаты работы внедрены на кафедре Пищевой инженерии и высоких технологий (КубГТУ, г.Краснодар) и в Краснодарском научно-исследовательском институте хранения и переработки сельскохозяйственной продукции ГУ КНИИХП (г.Краснодар).

Выполненные исследования позволили сделать следующие выводы: основными моделями информативных признаков, наиболее полно характеризующие исследуемые объекты, является спектральный анализ вейвлетами Хаара с последующим понижением размерности; обучающая база данных для программного комплекса нейросетевого распознавания сортов злаковых дает репрезентативную обучающую выборку для последующей классификации; топология многослойный персептрон в программе 81ай5йса позволяет провести наиболее точное распознавание; алгоритмом обучения нейронной сети для решения задачи классификации являются градиентные методы первого и второго порядка; эксперимент по проверке работоспособности и эффективности разработанной нейронной сети показал ее эффективность, программно реализован блок ЭС системы контроля качества пищевой продукции для проведения входного контроля качества продукции с высокой точностью.

Научная новизна работы:

• повышение точности распознавания с использованием нейронной сети на основе объединения геометрических параметров и цветовых составляющих объектов пищевой и зерноперерабатывающей промышленности;

• предложена методика выбора топологии и методов обучения нейронной сети для задачи высокоточного распознавания;

• проведены экспериментальные исследования по проверке эффективности разработанной системы.

Основные теоретические и практические результаты работы:

В результате системного исследования показано, что для решения ряда актуальных задач селекции и семеноводства, управления технологическими процессами и др., необходимое повышение эффективности функционирования СТЗ до экспертного уровня точности, для распознавания массовых объектов природного происхождения с сильной внутриклассовой вариабельностью, достигается методом нейронных сетей.

2. Обоснован выбор признакового пространства на основе вейвлет-преобразований Хаара для распознавания объектов с большой визуальной внутриклассовой вариабельностью.

3. Составлена обучающая база данных из вейвлет-спектров функций цвета для программного комплекса нейросетевого распознавания объектов природного происхождения, имеющих сильную визуальную вариабельность внутриклассовых свойств.

4. Предложен подход к построению нейронной сети на основе многослойного персептрона, позволяющей провести распознавание максимально уровня точности, выбран подходящий алгоритм обучения.

5. Проведены эксперименты по проверке работоспособности и эффективности разработанной нейронной сети на различных объектах природного происхождения. Применение нейросетевого механизма классификации позволяет провести 98,5% правильного разделения по сортам злаковых, масличных и бобовых культур, а также производить 100% выделение примесей из сортосмеси .

6. Разработано программное обеспечение для базы данных для лабораторного стенда экспертного уровня распознавания сортов злаковых, масличных и бобовых культур.

7. Программно реализована система распознавания сортов и выделения примесей нейросетевого блока экспертной системы контроля качества при производстве консервов из растительного сырья.

Основные положения диссертации достаточно полно изложены в 7 печатных работах, из них 5 статей (3 статьи в изданиях из перечня ВАК для публикации научных результатов диссертаций на соискание ученой степени доктора и кандидата наук) и 2 тезиса докладов.

По результатам работы получено 2 свидетельства о государственной регистрации программы для ЭВМ № 2011613332 «Нейросетевая модель для классификации сортов риса» и №2011615407 «Программная оболочка для базы данных обучающей выборки для высокоточного распознавания плоских изображений сортов зерновых культур».

Библиография Руденко, Ольга Валентиновна, диссертация по теме Системный анализ, управление и обработка информации (по отраслям)

1. Анисимов,Б. В. Распознавание и цифровая обработка изображений. Б.В.Анисимов, В. Д.Курганов, В. К. Злобин—М.: Высшая школа, 1983.

2. Астафьева,Н.М. Вейвлет-анализ: основы теории и примеры применения/ Н.М.Астафьева //Успехи физических наук. 1996, т. 166,№11.- С.1145-1170.

3. Вапник В. Н., Червоненкис А. Я. Теория распознавания образов. — М.: Наука, 1974. С. 416

4. Васильев, В.Г. Гистограммные методы обработки изображений./ В.Г.Васильев.— Изд-во ТГТУ, 2002.

5. Васильева,Н.С. Методы поиска изображений по содержанию/ Васильева Н. С. // Программирование. — 2009. — Т. 35, № 3. — С. 130.

Читайте также:  Противопоказания по зрению при управлении транспортным средством

6. Воробьев В.И., Грибунин В.Г. Теория и практика вейвлет-преобразования. СПб. :ВУС, 1999.203 с.

7. Вороновский, Г.К.Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. / Г.К. Вороновский, К.В. Махотило, С.Н.Петрашев, С.А.Сергеев -Харьков: Основа 1997.- 112с.

8. Галушкин А.И. Синтез многослойных систем распознавания образов. /

9. A.И. Галушкин. — М.: «Энергия», 1974. — 368 с.

10. Галушкин, А.И. Теория нейронных сетей / А.И. Галушкин. М.: ИПРЖР, 2000. -415 с.

11. Ю.Гладков Л.А. Генетические алгоритмы , / Л.А. Гладков, В.В. Курейчик,

12. B.М. Курейчик — М: ФИЗМАТЛИТ, 2006. — 320 с. П.Гильберт Д. Избранные труды. Т. 1,2. М.: Факториал, 1998.

13. Головко, В.А. Нейроинтеллект: теория и применение / В.А. Головко. Брест: Изд-во БПИ, 1999.-260 с.

14. Горбань, А.Н. Нейроинформатика. / А.Н.Горбань и др.- Новосибирск, Наука, Сибирское предприятие РАН, 1998 г.

15. Н.Горелик А.Л., Скрипкин В.А. Методы распознавания. Изд.2. — М.: Высшая школа, 1984. — 219 с.

16. Девятериков И. П., Пропой А. И., Цыпкин Я. 3., О рекуррентных алгоритмах обучения распознаванию образов. Автоматика и телемеханика, № 1, 1967.

17. Добеши И. Десять лекций по вейвлетам. М.: Регулярная и хаотическая динамика, 2001.

18. Дьяконов В.П. Вейвлеты. От теории к практике. Изд. 2-ое, перераб. и доп. М.: СОЛОН-Пресс, 2004.

19. Дьяконов В., Круглов В. Математические пакеты расширения МаЛаЬ. изд.дом Питер,2001 г.

20. Дюк В.А. От данных к знаниям новые возможности обработки баз данных// Тр. Межд. научн. конф. «Интеллектуальные системы и информационные технологии управления (Псков, 19-23 июня 2000 г.). — СПб.: Изд-во СПбГТУ, 2000. — С. 438-440.

21. Иванов Ю.К. Инструментарий для построения мультиплатформенных экспертных систем // Науч. сессия МИФИ-2006: Сб. науч. тр.: в 13 т., М.: МИФИ, 2006. Т.З.

22. Ким Н.В., Семенченко С.А. Алгоритмы обработки информации в системах технического зрения: Учебное пособие. -М.: Изд-во МАИ, 1995. -52с.: ил.

23. Каллан Р. Основные концепции нейронных сетей. Москва, изд.дом Вильяме, 2001 г.

24. Ларичев О.И. Наука и искусство принятия решений. — М: Наука, 1979. —200 с

25. Ларичев О.И., Мечитов А.И., Мошкович Е.М., Фуремс Е. М. Выявление экспертных знаний. — М.:Наука, 1989. — 128 с.

26. Минский, М., Пейперт, С. Персептроны = Perceptions. — М.: Мир, 1971. —261 с.

27. Миркес Е.М., Нейрокомпьютер. Проект стандарта Новосибирск: Наука, Сибирская издательская фирма РАН, 1998.

28. Новиков Л.В.Основы вейвлет-анализа сигналов, учебное пособие, Санкт-Петербург, 1999 г., 152 с.

29. Павлидис Т. Алгоритмы машинной графики и обработки изображений. — М.: Радио и Связь, 1986.

30. Писаревский А. Н. Системы технического зрения: (Принципиальные основы, аппаратное и математическое обеспечение). — «П.: Машиностроение,. 1988.

31. Потапов А. С. Распознавание образов и машинное восприятие. — СПб.: Политехника, 2007.

32. Русанов И.А. Применений нейронных сетей для классификации сортов озимой пшеницы, «Mathtmatics Computing Education», XV conference, 2008 г.(Электронный журнал).

33. Садыхов Р.Х., Дудкин A.A. Обработка изображений и идентификация объектов в системах технического зрения, «Искусственный интеллект» вып.З, 2006 г., стр.634-643.

34. Симанков B.C., Луценко Е.В. Адаптивное управление сложными системами на основе теории распознавания образов , Краснодар: Техн. ун-т Кубан. гос. технол. ун-та, 1999. — 318 с.

35. Системы технического зрения (принципиальные основы, аппаратное и математическое обеспечение)/А.Н.Писаревкий, А.Ф.Чернявский, Г.К.Афанасьев и др.; Под общ. Ред. А.Н.Писаревского, А.Ф.Чернявского. Л. Машиностроение. Ленингр. отд-ние, 1988. — 424 е.: ил.

36. Терехов, В.А. Динамические алгоритмы обучения многослойных нейронных сетей в системах управления / В.А. Терехов // Изв. РАН. Серия «Теория и системы управления». 1996. № 3. — С. 70-79

37. Терехов, В.А. Нейросетевые системы управления / В.А. Терехов, Д.В. Ефимов, И.Ю. Тюкин. М.: ИПРЖР, 2002. 480 с.

38. Терехов, В.А. Исследование устойчивости процессов обучения многослойных нейронных сетей / В.А. Терехов, И.Ю. Тюкин // Автоматика и телемеханика. -1999.-№ 10. С.145-161; № 11.-С. 136-144.

39. Терехов, С.А. Вейвлеты и нейронные сети / С.А. Терехов Научная сессия МИФИ-2001. IIV Всероссийская научно-практическая конференция «Нейроинформатика 2001»: лекции по нейроинформатике. Часть 2. — М.: МИФИ, 2001. — С.142-181.

40. Ту Дж., Гонсалес Р. Принципы распознавания образов. — М.: Москва, 1978. —С. 411.

41. Усатиков C.B., Руденко О.В., Горонков К.А. О точности распознавания по контуру изображений злаковых культур с помощью нейронных сетей // Обозр.прикл.и пром.математики.- 2009- т. 16 , вып.З с.567-569.

42. Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика / Ф. Уоссермен. М.: Мир, 1992. 184 с.

43. Фу К.С. Структурные методы в распознавании образов. М.: Мир, 1977

44. Фу К.С. Последовательные методы в распознавании образов и обучении машин. -М.: Наука, 1971

45. Хайкин, С. Нейронные сети: полный курс, 2-е изд., испр. / С. Хайкин. М.: ООО «И.Д.Вильяме», 2006. -1104 с.

46. Халафян A.A. Statistica 6. Статистический анализ данных. Москва, изд.Бином, 2007.

47. Чуй К. Введение в вейвлеты. Перевод с английского Я.М.Жилейкина. М.:Мир.2001 г.412 с.

48. Царегородцев В.Г. Предобработка обучающей выборки, выборочная константа Липшица и свойства обученных нейронных сетей // Материалы X Всеросс. семинара «Нейроинформатика и ее приложения», Красноярск, 2002. 185с. с.146-150.

49. Царегородцев В.Г. Оптимизация предобработки данных: константа Липшица обучающей выборки и свойства обученных нейронных сетей // Нейрокомпьютеры: разработка, применение. 2003, №7. С.3-8.

50. Царегородцев В.Г. Взгляд на архитектуру и требования к нейроимитатору для решения современных индустриальных задач.// Материалы XI Всероссийского семинара «Нейроинформатика и ее приложения», Красноярск,2003.-215с. С. 171-175.

51. Шапиро Л, Стокман Дж. Компьютерное зрение. Москва, изд.дом Бином, 2006 г.

52. Шаззо А.Ю., Усатиков C.B., Мацакова Н.В., Чуб А.Н. Теоретические и прикладные аспекты спектрального анализа контура изображения злаковых и масличных культур // Известия вузов. Пищевая технология, №1, 2003. с.53-58

53. Шаззо А. Ю., Усатиков С. В., Мацакова Н.В., Афанасьев A.C., Хуснутдинов И.Р., Гриценко О.Г. Классификация риса на основе спектрального анализа контура изображения зёрен // Известия вузов. Пищевая технология №5-6 — 2005. — с. 19-23

54. Шаззо А.Ю. Распознавание компонентов и прогнозирование качества при хранении зерновой массы // Сб.тезисов Конф. получателей грантов регион, конкурса РФФИ и адм. Краснод. края «ЮГ РОССИИ». -Краснодар: НП ИТЦ «Кубань-Юг» 2009 — с. 128-129

55. Элементарный курс теории принятий решений, вычислительный центр РАН. Москва, 2000 г.

56. Электронный учебник StatSoft. Электронный ресурс. — Режим доступа: www.statistica.ru, free access.

57. Battiti, R., «First and second order methods for learning: Between steepest descent and Newton’s method,» Neural Computation, vol. 4, no. 2, pp. 141166, 1992.

58. Brosnan, Т., Da-Wen Sun. «Improving quality inspection of food products by computer vision a review», Journal of food engineering, pp.3-16, 2002.

59. Caudill, M., Neural Networks Primer, San Francisco, CA: Miller Freeman Publications, 1989.

60. Chang S.G., Yu В., Vetterli M. «Adaptive wavelet thresholding for image denoising and compression «, IEEE Trans, on Image Processing, Vol. 9, No. 9, pp.1532-1546, 2000.

61. Cortes C., Jackel L., D., Solla S. A., Vapnik V., Denker J. S. Learning curves: asymptotic values and rate of convergence / Advances in Neural Information Processing Systems 7 (1994). MIT Press, 1995. pp. 327-334.

62. Elman, J. L.,»Finding structure in time,» Cognitive Science, vol. 14, pp. 179211, 1990.

63. Hagan, M. Т., and M. Menhaj, «Training feedforward networks with the Marquardt algorithm,» IEEE Transactions on Neural Networks, vol. 5, no. 6, pp. 989-993, 1994

64. Hagan, M. Т., H. B. Demuth, and M. H. Beale, Neural Network Design, Boston, MA: PWS Publishing, 1996.

65. Hunt, K.J., D. Sbarbaro, R. Zbikowski, and PJ. Gawthrop, Neural Networks for Control System A Survey,» Automatica, Vol. 28, 1992, pp. 1083-1112. Kohonen, Т., Self-Organization and Associative Memory, 2nd Edition, Berlin: Springer-Verlag, 1987

66. Mallat S.G. Multiresolution Approximations and Wavelet of orthonormal Bases of L2(R)// Transactions of the American Mathematical Society. 1989.Vo/315,N. 1 .P.69-87.

67. McCulloch W.S. and Pitts W. A logical calculus of the ideas immanent in nervous activity, Bull. Math. Biophys., 5, 1943,p.l 15-133

68. Moller, M. F., «A scaled conjugate gradient algorithm for fast supervised learning,» Neural Networks, vol. 6, pp. 525-533, 1993.

69. Murray, R., D. Neumerkel, and D. Sbarbaro, «Neural Networks for Modeling and Control of a Non-linear Dynamic System,» Proceedings of the 1992 IEEE International Symposium on Intelligent Control, 1992, pp. 404409.

70. Pearson, K. «On lines and planes of closest fit to systems of points in space.» Philosophical Magazine 2,1901, p.559-572

71. Rodrigues J. S., Almeida L. B. In Proc. INN’90, Int. Neural Networks Conference // Kluwer, Dordrecht, Netherlands, 1990. — p. 813.

72. Rodrigues J. S., Almeida L. B. In Neural Networks: Advances and Applications, / ed. by Gelenbe E. — North-Holland, Amsterdam, Netherlands, 1991. -p.63

73. Rosenblatt F. Analytic techniques for the study of neural nets / IEEE Trans, on Appl. and Industry. 1964. Vol.83, №74. pp.285-292.

74. Rumelhart, D. E., G. E. Hinton, and R. J. Williams, «Learning internal representations by error propagation,», in D. E. Rumelhart and J. L. McClelland, eds. Parallel Data Processing, vol.1, Cambridge, MA: The M.I.T. Press, pp. 318-362, 1986

75. Rumelhart, D. E., G. E. Hinton, and R. J. Williams, «Learning representations by back-propagating errors,» Nature, vol. 323, pp. 533-536, 1986.

76. Rumelhart, D.E. Learning representations by back-propagating errors / D.E. Rumelhart, G.E. Hinton, R.J. Williams // Nature. 1986. V. 323 — P. 533536.

77. Specht, D. Probabilistic Neural Networks. Neural Networks, 1990, 3, 109118.

78. Specht, D. A General Regression Neural Network. IEEE Trans, on Neural Networks, Nov. 1991, 2, 6, 568-576.

79. Tanimoto,S.L.1990. The Elements of Artificial Intelligence Using Common LIPS. W.H. Freeman and Company, New York.

80. Watanabe E., Shimizu H. Relationships between internal representation and generalization ability in multi layered neural network for binary pattern classification problem /Proc. IJCNN 1993, Nagoya, Japan, 1993. Vol.2.-pp.1736-1739.

81. Warwick, K. Neural networks of control and systems / K. Warwick, G.W. Irwin, K.J. Hunt. London: Peter Peregrinus, 1988.

82. Werbos P. Consistency of HDP applied to a simple reinforcement learning problem. Neural Networks, Mar. 1990.

83. Werbos P. Generalization of backpropagation with application to a recurrent gas market model, Neural Networks, Oct. 1988.

84. Werbos P.J. Backpropagation through time: what it does and how to do it // Proceedings of the IEEE, vol. 78, No. 10, October, 1990, p. 1550-1560.

85. Werbos P. Maximizing long-term gas industry profits in two minutes in Lotus using neural networks methods. IEEE Trans. Syst., Man, Cybern., Mar./Apr. 1989.

86. Widrow B., Lehr M.A. 30 years of adaptive neural networks: perceptron, madaline, and backpropagation // Proceedings of the IEEE, vol. 78, No. 9, September, 1990, p. 1415-1442.

87. Williams R. Adaptive state representation and estimation using recurrent connectionist networks. In W.T. Miller, R. Sutton, and P. Werbos, Eds. Neural Networks for Robotics and Control. Cambridge, MA: M.I.T. Press, 1990.

88. Widrow, B., and S. D. Sterns, Adaptive Signal Processing, New York: Prentice-Hall, 1985.

Источники:
  • http://tekhnosfera.com/vysokotochnoe-neyrosetevoe-raspoznavanie-v-sistemah-tehnicheskogo-zreniya