Учебное пособие: "Разработка, применение и перспективы развития нейрокомпьютеров". Промышленные нейрокомпьютеры и перспективы их развития

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Филиал Нижегородский

Электронная письменная предзащита

Название дисциплины

ЭВМ и вычислительные системы

Состояние и перспективы развития нейрокомпьютерных систем

Фамилия выпускника

Варакин Алексей Сергеевич

Содержание

• Введение
• 2.2 Теория нейронных сетей
• 2.3 Нейроматематика
• 2.4 Прикладная нейроматематика
• 2.5 Нейрочипы и нейрокомпьютеры
• 2.6 Обзор зарубежных достижений нейрокомпьютерных систем
• Заключение
• Глоссарий
• Список использованных источников

Введение

Актуальность исследования . Теория искусственных нейронных сетей (ИНС) благодаря фундаментальным работам зарубежных исследователей У. Мак-Каллока, У. Питтса, Ф. Розенблатта, М. Минского, Б. Уидроу, Т. Кохонена, Д. Хопфилда, С. Гроссберга, а также советских и российских ученых И.Б. Гутчина, A. C. Кузичева, Н.В. Позина, С.О. Мкртчяна, Н.М. Амосова, А.И. Галушкина, А.Н. Горбаня и др. получила широкое развитие. При этом основные направления исследований были связаны с разработкой моделей искусственных нейронов (ИН), изучением структуры и свойств различных моделей нейронных сетей, их обучением (настройкой) для решения поставленных задач и проектированием нейрокомпьютерных систем (НКС) на их основе. В настоящее время нейросетевая тематика стала междисциплинарной и. породила новые научные направления, такие как нейроинформатика, нейроматематика и др. В нашей стране и за рубежом издано большое количество монографий и учебников, посвященных основам и развитию теории ИНС и НКС, рассчитанных на максимально широкий круг читателей.

Нейронные сети и нейрокомпьютеры в настоящее время находят применение для решения задач практически во всех областях научно-исследовательской и инженерной деятельности: в авиации и космической технике, энергетике (в т. ч. атомной), химической, электронной и нефтегазодобывающей отраслях промышленности, военной технике и системах двойного применения, в управлении роботами, станками и технологическими процессами, в системах обработки изображений, сигналов и данных, вычислительных системах и др.

Известно, что искусственные нейронные сети в первую очередь предназначены для решения специфических, трудно формализуемых задач (также возможно применение ИНС для решения формализуемых задач вместо традиционных фоннеймановских вычислителей), что дает основания предполагать высокую эффективность использования нейрокомпьютеров в так называемых системах специального (двойного) назначения. В настоящее время в связи с бурным развитием информационных технологий можно ожидать появления новых сверхмощных универсальных нейровычислительных комплексов и систем, способных выполнять большие объемы вычислительных работ в реальном масштабе времени.

Стремительное развитие нейрокомпьютерных технологий приводит к появлению научных проблем и задач, системному решению которых ранее уделялось недостаточно внимания.

Объектом исследования выступают нейрокомпьютерные системы. Предметом исследования является процессы способствующих развитию нейрокомпьютерных систем.

Таким образом, целью данного исследования является исследование состояния и перспектив развития нейрокомпьютерных систем.

Основные задачи , поставленные и решенные в данной работе, следующие.

1 Теоретическое обосновать и исследовать нейрокомпьютерные системы;

2 Рассмотреть текущее состояние проблемы;

3 Определить перспективы развития нейрокомпьютерных систем.

Практическая значимость исследования заключается в том, что поставлены и решены задачи повышения эффективности применения нейрокомпьютерных систем с учетом различных условий работы и особенностей их технической реализации, которые могут использоваться в практике.

1. Основы нейрокомпьютерных систем

1.1 Основы искусственных нейронных сетей

Для решения задач идентификации и прогнозирования технического состояния могут быть использованы искусственные нейронные сети (ИНС) или, просто, нейронные сети (НС) различного рода.

Для реализации с максимальным эффектом функций НС, как правило, существует оптимальная совокупность параметров НС. Следовательно, одной из основных задач, стоящих перед разработчиком НС, является выбор этой совокупности, определяющей, в конечном итоге, вид сети.

Основным элементом сети является искусственный нейрон (далее нейрон) (приложение А).

Нейроны представляют собой относительно простые, однотипные элементы, имитирующие работу нейронов мозга. Каждый нейрон характеризуется своим текущим состоянием по аналогии с нервными клетками головного мозга, которые могут быть возбуждены и заторможены. Искусственный нейрон, также как и его естественный прототип, имеет группу синапсов (входов), которые соединены с выходами других нейронов, а также аксон - выходную связь данного нейрона - откуда сигнал возбуждения или торможения поступает на синапсы других нейронов. Общий вид нейрона представлен на рис 1 С. 125 Бархатов, Н.А. Искусственные нейронные сети в задачах солнечно-земной физики [Текст]: монография / Н.А. Бархатов, С.Е. Ревунов. - Нижний Новгород: Нижегородский гос. пед. ун-т, 2010. - 407 Ч. .

нейронная сеть нейрокомпьютерная россия

Рис.1 Искусственный нейрон - простейший элемент искусственной нейронной сети

y j - сигнал, поступающий от нейрона j;

s k - скалярное произведение вектора входных сигналов и вектора весов;

f k - функция возбуждения;

y k - выходной сигнал нейрона

Каждый синапс характеризуется величиной синаптической связи или весом w i , который по своему физическому смыслу эквивалентен электрической проводимости.

Текущее состояние нейрона определяется как взвешенная сумма его входов:

где x - вход нейрона, а w - соответствующий этому входу вес.

Выход нейрона есть функция его состояния, т.е. Нелинейная функция f (s) называется активационной, сжимающей функцией или функцией возбуждения нейрона. Основные разновидности активационных функций, применяемых в нейронных сетях, представлены на рис.2.

Рис.2 Активационная функция

а) пороговая; b) полулинейная; c) сигмоидальная

В качестве активационной функции часто используется сигмоидальная (s-образная или логистическая) функция, показанная на рис.2. (приложение Б). Эта функция математически выражается по формуле

При уменьшении сигмоидальная функция становится более пологой, в пределе при =0 вырождаясь в горизонтальную линию на уровне 0,5; при увеличении сигмоидальная функция приближается по внешнему виду к функции единичного скачка с порогом T в точке x=0. Из выражения для сигмоидальной функции видно, что выходное значение нейрона лежит в диапазоне . Одно из полезных свойств сигмоидальной функции - простое выражение для ее производной, применение которого будет рассмотрено в дальнейшем:

Следует отметить, что сигмоидальная функция дифференцируема на всей оси абсцисс, что используется в некоторых алгоритмах обучения. Кроме того, сигмоидальная функция обладает свойством усиливать малые сигналы лучше, чем большие, тем самым предотвращая насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоидальная функция имеет пологий наклон С. 98 Злобин, В.К. Нейросети и нейрокомпьютеры [Текст] / В.К. Злобин, В.Н. Ручкин. - Санкт-Петербург: БХВ-Петербург, 2011. - 252 с. .

Выбор структуры нейронной сети осуществляется в соответствии с особенностями и сложностью задачи. Для решения некоторых отдельных типов задач уже существуют оптимальные, на сегодняшний день конфигурации, описанные. Если же задача не может быть сведена ни к одному из известных типов, разработчику приходится решать сложную проблему синтеза новой конфигурации.

Теоретически число слоев и число нейронов в каждом слое нейронной сети может быть произвольным, однако фактически оно ограничено ресурсами компьютера или специализированной микросхемы, на которых обычно реализуется нейронная сеть.

Нейроны делятся на три типа (рис.3) в соответствии с функциями, выполняемыми ими в сети. Входные нейроны (нейроны входного слоя) принимают данные из внешней среды и определенным образом распределяют их далее по сети. На промежуточные нейроны (нейроны скрытого слоя) возлагается роль основных участников процесса решения задачи. Выходные же нейроны (нейроны выходного слоя) передают результаты работы сети во внешнюю среду (потребителю) С. 17 Малыхина, М.П. Нейросетевая экспертная система на основе прецедентов для решения проблем абонентов сотовой сети [Текст]: [монография] / М.П. Малыхина, Ю.В. Бегман. - Краснодар: Юг, 2011. - 148 с. .

Размещено на http://www.allbest.ru/

Рис.3 Типы нейронов в зависимости от их функций в сети

В зависимости от механизма обработки получаемых данных можно выделить целый ряд математических моделей нейронов (рис.4). Существует две группы моделей нейронов, которые принадлежат, соответственно, двум типам сетей: классическим и нечетким. Каждая из моделей нейронов обладает рядом присущих ей свойств, однако имеются и общие черты, к которым можно отнести наличие входного и выходного сигналов, а также блока их обработки.

Для решения конкретной задачи существует ряд наиболее предпочтительных моделей нейронов. Модель нейрона МакКаллока-Питса, сигмоидальный нейрон и нейрон типа "адалайн" имеют схожие структуры и отличаются лишь видами функций активации (реакции нейрона на входящий сигнал). Вышеприведенные модели нейронов могут обучаться только с учителем, то есть требуют наличия входного и выходного векторов (значений). Так как функция активации нейрона МакКаллока-Питса дискретна (выходной сигнал может принимать только два значения - 0 или 1), то невозможно проследить за изменением значения выхода. Достижение необходимого результата в некоторых задачах может оказаться невозможным. В этом случае более предпочтительной может являться сигмоидальная модель нейрона. Модели нейронов типа "инстар" и "оутстар Гроссберга" дополняют друг друга и отличаются от вышеуказанных трех типов нейронов тем, что могут обучаться и без учителя (имея только входной вектор) С. 114 Нейрокомпьютеры и их применение. Нейро-2007 [Текст]: материалы Международной научной молодежной школы, 24 сентября-29 сентября 2007, пос. Дивноморское, Геленджик, Россия / Российская акад. наук [и др.]; под ред.А.И. Галушкина. - Москва; Таганрог: Изд-во ТТИ ЮФУ, 2007. - 189 с. .

Нейроны типа WTA (от англ. - “победитель получает всё”) чаще всего используются в задачах классификации и распознавания данных и образов. Они, как и модели нейронов Гроссберга, в процессе обучения также не нуждаются в учителе. Однако существенным недостатком нейронов этого типа является значительно возрастающая погрешность распознавания данных вследствие наличия мертвых нейронов, которые не смогли выжить в конкурентной борьбе. Модель нейрона Хебба схожа с моделью нейрона обычной формы (вход - блок обработки - выход). Может обучаться как с учителем, так и без него. Особенностью данной модели является то, что вес связи нейрона изменяется пропорционально произведению его входного и выходного сигналов.

Размещено на http://www.allbest.ru/

Рис.4 Виды математических моделей нейронов

В стохастической модели выходное значение нейрона зависит еще и от некоторой случайной переменной, лежащей в интервале (0,1), что позволяет при подборе весов снизить до минимума среднеквадратичную погрешность. Модели нейронов нечетких сетей применяются главным образом для аппроксимации с произвольной точностью любой нелинейной функции многих переменных и используются там, где входные данные ненадежны и слабо формализованы.

Одна и та же модель нейрона в разных сетях может иметь разные функции активации (рис.5).

Размещено на http://www.allbest.ru/

Рис.5 Функции активации нейронов

Однако это высказывание справедливо не для всех типов нейронов. Так, например, персептрон может иметь только пороговую функцию активации (функция единичного скачка). Несмотря на все многообразие функций активации, наиболее распространенной является нелинейная функция активации с насыщением (сигмоидальная функция). Необходимо так же отметить, что нейроны входного слоя имеют тождественные функции активации, что позволяет им распределять полученные сигналы нейронам скрытого слоя без изменений С. 74 Осипов, Л.А. Искусственный интеллект и нейронные сети [Текст]: учебное пособие: для студентов высших учебных заведений, обучающихся по направлению подготовки 230400 - "Информационные системы и технологии" / Л.А. Осипов, С.А. Яковлев. - Санкт-Петербург: ГУАП, 2011. - 133 с. .

Совокупности нейронов образуют нейронные сети. НС различаются по архитектуре (рис.6), по типу входящих в нее нейронов (рис.7), по типу обрабатываемых ею сигналов (рис.8), по типу смены состояния нейронов в момент времени (рис.9). НС различаются так же топологией. Отметим, что статическими и динамическими НС являются однонаправленные и рекуррентные НС соответственно. Одним из отрицательных качеств динамических НС является их возможная неустойчивость при работе (приложение В).

Однородность НС (использование однотипных нейронов с единой функцией активации) в различных задачах по-разному влияет на производительность и скорость обучения НС.

Размещено на http://www.allbest.ru/

Рис.6 Обобщенная классификация нейронных сетей с точки зрения их архитектуры

Размещено на http://www.allbest.ru/

Рис.7Классификация нейронных сетей по типу входящих в нее нейронов

Размещено на http://www.allbest.ru/

Рис.8Классификация нейронных сетей по типу обрабатываемых сигналов

Размещено на http://www.allbest.ru/

Рис.9Классификация нейронных сетей по типу смены состояния в момент времени

Размещено на http://www.allbest.ru/

Рис.10 Топология (архитектура) нейронных сетей

Синхронность НС означает, что в каждый момент времени только один нейрон меняет свое состояние. Асинхронность подразумевает смену состояний у целого ряда нейронов (чаще всего - слоя). На практике большее предпочтение отдается синхронным НС.

Весьма обширна и топология (архитектура) НС, что говорит о довольно узкой направленности каждого типа НС для оптимального решения определенного круга задач. Однако для решения сложных задач наибольший интерес представляют многослойные однонаправленные (без обратных связей) и рекуррентные НС.

Размещено на http://www.allbest.ru/

Рис.11 Многослойные (слоистые) нейронные сети

Для выполнения сетью поставленной задачи ее необходимо обучить, то есть сообщить ей, каким образом она должна действовать, чтобы выдать разработчику желаемый результат. Стратегии обучения нейронных сетей представлены на рис.12. Особенностью обучения с учителем (обучение под надзором) является то, что наряду с входным вектором (значения элементов входа) априори известен и выходной вектор (соответствующие входам значения элементов выхода). Если значения выхода НС заранее не известны, то необходимо воспользоваться другой стратегией - обучение без учителя. Тогда подбор весовых коэффициентов (в этом и заключается суть обучения) осуществляется по соответствующим стратегиям обучения с использованием определенных алгоритмов С. 14 Потапов, И.В. Модели, методы и задачи прикладной теории надежности нейрокомпьютерных систем: автореферат дис.... доктора технических наук: 05. 13. 15, 05. 13. 17 / Потапов Илья Викторович; [Место защиты: Сиб. гос. ун-т телекоммуникаций и информатики]. - Новосибирск, 2010. - 35 с. .

Размещено на http://www.allbest.ru/

Рис.12 Используемые типы решеток расположения нейронов в слабосвязных нейронных сетях

Для задач аппроксимации представляется целесообразным использование многослойной НС прямого распространения, либо нечеткой НС.

Для задач идентификации состояний авиационной техники представляется целесообразным рассмотреть также возможность применения рекуррентных НС и НС с обучением по методу обратного распространения ошибок для решения задачи прогнозирования изменения параметров АТ.

Задать НС, способную решить конкретную задачу, - это значит определить модель нейрона, топологию связей, веса связей. Нейронные сети различаются между собой меньше всего моделями нейрона, а в основном топологией связей и правилами определения весов или правилами обучения (рис.13), программирования.

Рис.13 Процесс обучения нейросети

Рис.14 Процесс применения нейросети

В настоящее время существует два подхода к решению задачи обучения НС решению задачи распознавания образов, оптимизации и т.д. Один, исторически более ранний, состоит в постепенной модификации весовых коэффициентов в процессе обучения (рис.15).

Исходя из вышеизложенного, можно заключить, что для решения задач прогнозирования наиболее подходит сеть с обратным распространением. Она позволяет формальным образом обучить сеть прогнозировать изменение требования на основе исторических данных о требовании.

1.2 Алгоритм обратного распространения

Одним из наиболее распространенных видов нейронных сетей является многослойная структура, в которой каждый нейрон произвольного слоя связан со всеми аксонами нейронов предыдущего слоя, или в случае первого слоя со всеми входами нейронной сети. Такие нейронные сети называются полносвязанными.

Алгоритм обратного распространения, применяемый для таких структур, заключается в распространение сигналов ошибки от выходов нейронной сети к ее входам, в направлении, обратном прямому распространению сигналов в обычном режиме работы. Эта процедура обучения нейронной сети и получила название алгоритма обратного распространения.

Согласно методу наименьших квадратов минимизируемой целевой функцией ошибки нейронной сети является

(4)

где - реальное выходное состояние нейрона j выходного слоя n нейронной сети при подаче на ее входы p-го образа;

- идеальное (желаемое) выходное состояние этого нейрона С. 87 Павлов, А.Н. Интеллектуальные средства измерений [Электронный ресурс] / А.Н. Павлов. - Бийск: БТИ АлтГТУ, 2011. - 121 с. .

Суммирование ведется по всем нейронам выходного слоя и по всем образам, обрабатываемым нейронной сетью. Минимизация ведется методом градиентного спуска, что означает подстройку весовых коэффициентов:

(5)

Где - весовой коэффициент синаптической связи, соединяющей i-й нейрон слоя n-1 с j-м нейроном слоя n, h - коэффициент скорости обучения, 0 < h < 1.

(6)

где под y j , подразумевается выход нейрона j, а под s j - взвешенная сумма его входных сигналов, т.е. аргумент активационной функции.

Так как множитель dy j /ds j является производной этой функции по ее аргументу, следовательно, производная активационной функции должна быть определена на всей оси абсцисс. Поэтому функция единичного скачка и прочие активационные функции с неоднородностями не подходят для рассматриваемых нейронных сетей. Как правило, применяются такие гладкие функции, как гиперболический тангенс или классическая сигмоидальная функция с экспонентой. В случае гиперболического тангенса

(7)

Третий множитель ¶ равен выходу нейрона предыдущего слоя

Первый множитель (2.7) раскладывается следующим образом:

(8)

где суммирование по k выполняется среди нейронов слоя n+1.

Введем переменную

(9)

Тогда получим рекурсивную формулу для расчетов величин слоя n

из величин более старшего слоя n+1.

(10)

Для выходного слоя

(11)

Запишем (5) в развернутом виде:

(12)

Для придания процессу коррекции весов инерционности,

сглаживающей резкие скачки при перемещении по поверхности целевой функции, (12) дополняется значением изменения веса на предыдущей итерации:

(13)

- коэффициент инерционности, t - номер текущей итерации. Таким образом, полный алгоритм обучения нейронной сети с помощью процедуры обратного распространения строится так:

1 При подаче на входы нейронной сети одного из возможных образов в режиме обычного функционирования нейронной сети, когда сигналы распространяются от входов к выходам, рассчитать значения сигналов

(14)

где f - сигмоидальная функция;

(15)

- q-я компонента вектора входного образа.

2 Рассчитать для выходного слоя по формуле (11), а также по формуле (12) или (13) изменения весов слоя n.

3 Рассчитать по формулам (10) и (13) (или (11) и (13))

Соответственно и для всех остальных слоев, n=N-1,.1.

4 Скорректировать все веса в нейронной сети

(16)

5 Если ошибка сети существенна, перейти на шаг 1. В противном случае - завершение обучения.

Нейронной сети на шаге 1 попеременно в случайном порядке предъявляются все представительские выборки, чтобы нейронная сеть, образно говоря, не забывала одни по мере запоминания других (рис.13).

Эффективность обучения заметно снижается когда выходное значение в (12) стремится к нулю. При двоичных входных векторах в среднем половина весовых коэффициентов не будет корректироваться, поэтому область возможных значений выходов нейронов желательно сдвинуть в пределы [-0,5; +0,5], что достигается простыми модификациями активационных функций, например: сигмоидальная функция с экспонентой преобразуется к виду

(17)

Рассмотрим вопрос о числе образов, предъявляемых на входы нейронной сети, которые она способна научиться распознавать (емкость нейронной сети). Для нейронной сети с одним скрытым слоем, детерминистская емкость нейронной сети C d оценивается как

(18)

где N w - число подстраиваемых весов, N y - число нейронов в выходном слое.

Следует отметить, что данное выражение получено с учетом некоторых ограничений. Во-первых, число входов N x и нейронов в скрытом слое N h должно удовлетворять неравенству N x +N h > N y .

Во-вторых, N w /N y >1000. Однако вышеприведенная оценка выполнялась для нейронных сетей с активационными функциями нейронов в виде порога, а емкость сетей с гладкими активационными функциями, обычно больше. Кроме того, фигурирующее в названии емкости прилагательное "детерминистский" означает, что полученная оценка емкости подходит абсолютно для всех возможных входных образов, которые могут быть представлены N x входами. Распределение входных образов, как правило, обладает некоторой регулярностью, что позволяет нейронной сети проводить обобщение и, таким образом, увеличивать реальную емкость. Так как распределение образов, в общем случае, заранее не известно, можно говорить о такой емкости только предположительно, но обычно она раза в два превышает емкость детерминистскую С. 74 Тарков М.С. Нейрокомпьютерные системы. - М.: Изд-во "Интернет-университет информационных технологий - ИНТУИТ. ру", 2006. - 144 c. .

Рассмотрим вопрос о размерности выходного слоя нейронной сети, выполняющего окончательную классификацию образов. Для разделения множества (классификации) входных образов, например, по двум классам достаточно всего одного выхода.

Рис.16 Диаграмма сигналов при обучении нейронной сети по алгоритму обратного распространения

При этом каждый логический уровень - "1" и "0" - будет обозначать отдельный класс. На двух выходах можно закодировать 4 класса и так далее. Однако результаты работы нейронной сети, организованной таким образом, "под завязку", не очень надежны. Для повышения достоверности классификации желательно ввести избыточность путем выделения каждому классу одного нейрона в выходном слое или, что еще лучше, нескольких, каждый из которых обучается определять принадлежность образа к классу со своей степенью достоверности - высокой, средней или низкой, что позволит проводить классификацию входных образов, объединенных в нечеткие (размытые или пересекающиеся) множества. Это свойство приближает нейронные сети к естественному человеческому интеллекту.

Такая нейронная сеть имеет несколько ограничений. Во-первых, в процессе обучения может возникнуть ситуация, когда большие положительные или отрицательные значения весовых коэффициентов сместят рабочую точку на сигмоидальной функции многих нейронов в область насыщения. Малые величины производной от активационной функции в соответствии с (10) и (11) приведут к остановке обучения нейронной сети. Во-вторых, применение метода градиентного спуска не гарантирует, что будет найден глобальный, а не локальный минимум целевой функции. Эта проблема связана еще с одной, а именно - с выбором коэффициента скорости обучения. Доказательство сходимости обучения в процессе обратного распространения основано на производных, т.е. приращениях весов и, следовательно, скорость обучения должна быть бесконечно малой, однако в этом случае обучение будет происходить неприемлемо медленно. С другой стороны, слишком большие коррекции весов могут привести к постоянной неустойчивости процесса обучения С. 14 Трофимов, Я.А. Методы построения искусственных нейронных сетей для задач классификации на основе применения полигауссовских вероятностных моделей: автореферат дис.... кандидата технических наук: 05. 13. 01 / Трофимов Ярослав Александрович. - Дубна, 2011. - 23 с. .

Поэтому, коэффициент обычно выбирается меньше 1, но не очень малым, например, 0,1, и он может постепенно уменьшаться в процессе обучения. Кроме того, для исключения случайных попаданий в локальные минимумы кратковременно можно значительно увеличить, чтобы начать градиентный спуск из новой точки. Если повторение этой процедуры несколько раз приведет алгоритм в одно и то же состояние нейронной сети, можно более или менее быть уверенным в том, что найден глобальный минимум ошибки, иногда, после того как значения весовых коэффициентов стабилизируются, кратковременно можно значительно увеличить, чтобы начать градиентный спуск из новой точки. Если повторение этой процедуры несколько раз приведет алгоритм в одно и то же состояние нейронной сети, можно более или менее быть уверенным в том, что найден глобальный минимум ошибки.

1.3 Нейронные сети Хопфилда и Хэмминга

Среди различных конфигураций искусственных нейронных сетей (НС) встречаются такие, при классификации которых по принципу обучения, строго говоря, не подходят ни обучение с учителем, ни обучение без учителя. В таких сетях весовые коэффициенты синапсов рассчитываются только однажды перед началом функционирования сети на основе информации об обрабатываемых данных, и все обучение сети сводится именно к этому расчету. С одной стороны, предъявление априорной информации можно расценивать, как помощь учителя, но с другой - сеть фактически просто запоминает образцы до того, как на ее вход поступают реальные данные, и не может изменять свое поведение, поэтому говорить о звене обратной связи с "миром" (учителем) не приходится. Из сетей с подобной логикой работы наиболее известны сеть Хопфилда и сеть Хэмминга, которые обычно используются для организации ассоциативной памяти. Далее речь пойдет именно о них С. 11 Синявский, О.Ю. Обучение спайковых нейронных сетей на основе минимизации их энтропийных характеристик в задачах анализа, запоминания и адаптивной обработки пространственно-временной информации: автореферат дис.... кандидата технических наук: 05. 13. 17 / Синявский Олег Юрьевич. - Москва, 2011. - 20 с. .

Структурная схема сети Хопфилда приведена на рис.17. Она состоит из единственного слоя нейронов, число которых является одновременно числом входов и выходов сети. Каждый нейрон связан синапсами со всеми остальными нейронами, а также имеет один входной синапс, через который осуществляется ввод сигнала. Выходные сигналы, как обычно, образуются на аксонах.

Задача, решаемая данной сетью в качестве ассоциативной памяти, как правило, формулируется следующим образом. Известен некоторый набор двоичных сигналов (изображений, звуковых оцифровок, прочих данных, описывающих некие объекты или характеристики процессов), которые считаются образцовыми.

Сеть должна уметь из произвольного неидеального сигнала, поданного на ее вход, выделить ("вспомнить" по частичной информации) соответствующий образец (если такой есть) или "дать заключение" о том, что входные данные не соответствуют ни одному из образцов (приложение Г).

Рис.17 Структурная схема сети Хопфилда

В общем случае, любой сигнал может быть описан вектором, n - число нейронов в сети и размерность входных и выходных векторов. Каждый элемент x j равен либо +1, либо - 1. Обозначим вектор, описывающий k-ый образец, через Х к, а его компоненты, соответственно, - х> k=0. m-l, m - число образцов. Когда сеть распознает (или "вспомнит") какой-либо образец на основе предъявленных ей данных, ее выходы будут содержать именно его, то есть Y = Х к, где Y - вектор выходных значений сети: . В противном случае, выходной вектор не совпадет ни с одним образцовым.

Если, например, сигналы представляют собой некие изображения, то, отобразив в графическом виде данные с выхода сети, можно будет увидеть картинку, полностью совпадающую с одной из образцовых (в случае успеха) или же "вольную импровизацию" сети (в случае неудачи).

На стадии инициализации сети весовые коэффициенты синапсов устанавливаются следующим образом:

(19)

Здесь i и j - индексы, соответственно, предсинаптического и постсинаптического нейронов;

- i-ый и j-ый элементы вектора k-ого образца.

Алгоритм функционирования сети следующий (р - номер итерации):

1 На входы сети подается неизвестный сигнал. Фактически его ввод осуществляется непосредственной установкой значений аксонов:

поэтому обозначение на схеме сети входных синапсов в явном виде носит чисто условный характер.

Ноль в скобке справа от y i , означает нулевую итерацию в цикле работы сети.

2 Рассчитывается новое состояние нейронов

и новые значения аксонов

где f - активационная функция в виде скачка, приведенная на рис.18а.

Рис.18. Активные функции

3 Проверка, изменились ли выходные значения аксонов за последнюю итерацию. Если да - переход к пункту 2, иначе (если выходы застабилизировались) - конец. При этом выходной вектор представляет собой образец, наилучшим образом сочетающийся с входными данными.

Как говорилось выше, иногда сеть не может провести распознавание и выдает на выходе несуществующий образ. Это связано с проблемой ограниченности возможностей сети. Для сети Хопфилда число запоминаемых образов m не должно превышать величины, примерно равной 0.15*n. Кроме того, если два образа А и Б сильно похожи, они, возможно, будут вызывать у сети перекрестные ассоциации, то есть предъявление на входы сети вектора А приведет к появлению на ее выходах вектора Б и наоборот С. 54 Хаптахаева, Н.Б. Нейрокомпьютерные системы: курс лекций / Н.Б. Хаптахаева. - Улан-Удэ: Изд-во ВСГТУ, 2008. - 109 с. . Когда нет необходимости, чтобы сеть в явном виде выдавала образец, то есть достаточно, скажем, получать номер образца, ассоциативную память успешно реализует сеть Хэмминга.

Данная сеть характеризуется, по сравнению с сетью Хопфилда, меньшими затратами на память и объемом вычислений, что становится очевидным из ее структуры (рис. 19).

Рис. 19. Структурная схема сети Хэмминга

Сеть состоит из двух слоев. Первый и второй слои имеют по m нейронов, где m - число образцов. Нейроны первого слоя имеют по п синапсов, соединенных со входами сети (образующими фиктивный нулевой слой). Нейроны второго слоя связаны между собой ингибиторными (отрицательными обратными) синаптическими связями. Единственный синапс с положительной обратной связью для каждого нейрона соединен с его же аксоном.

Идея работы сети состоит в нахождении расстояния Хэмминга от тестируемого образа до всех образцов. Расстоянием Хэмминга называется число отличающихся битов в двух бинарных векторах. Сеть должна выбрать образец с минимальным расстоянием Хэмминга до неизвестного входного сигнала, в результате чего будет активизирован только один выход сети, соответствующий этому образцу.

На стадии инициализации весовым коэффициентам первого слоя и порогу активационной функции присваиваются следующие значения:

Здесь - i-й элемент к-ого образца. Весовые коэффициенты тормозящих синапсов во втором слое берут равными некоторой величине. Синапс нейрона, связанный с его же аксоном имеет вес +1.

Алгоритм функционирования сети Хэмминга следующий:

На входы сети подается неизвестный вектор исходя из которого рассчитываются состояния нейронов первого слоя (верхний индекс в скобках указывает номер слоя):

После этого полученными значениями инициализируются значения аксонов второго слоя:

2 Вычислить новые состояния нейронов второго слоя:

И значение аксионов

Активационная функция f имеет вид порога (рис.26), причем величина F должна быть достаточно большой, чтобы любые возможные значения аргумента не приводили к насыщению.

4 Проверить, изменились ли выходы нейронов второго слоя за последнюю итерацию. Если да - перейди к шагу 2. Иначе - конец.

Из оценки алгоритма видно, что роль первого слоя весьма условна: воспользовавшись один раз на шаге 1 значениями его весовых коэффициентов, сеть больше не обращается к нему, поэтому первый слой может быть вообще исключен из сети (заменен на матрицу весовых коэффициентов), что и было сделано в ее конкретной реализации, описанной ниже.

Программная модель сети Хэмминга строится на основе набора специальных классов NeuronHN, LayerHN и NetHN - производных от классов, рассмотренных в предыдущих статьях цикла. Описания классов приведены в листинге 1. Реализации всех функций находятся в файле NEURO_HN (листинг 2). Классы NeuronHN и LayerHN наследуют большинство методов от базовых классов.

В классе NetHN определены следующие элементы:

Nin и Nout - соответственно размерность входного вектора с данными и число образцов;

d x и d y - размеры входного образа по двум координатам (для случая трехмерных образов необходимо добавить переменную dz), dx*dy должно быть равно Nin, эти переменные используются функцией загрузки данных из файла LoadNextPattern;

DX и DY - размеры выходного слоя (влияют только на отображение выходого слоя с помощью функции Show); обе пары размеров устанавливаются функцией SetDxDy;

Class - массив с данными об образцах, заполняется функцией SetClasses, эта функция выполняет общую инициализацию сети, сводящуюся к запоминанию образцовых данных.

Метод Initialize проводит дополнительную инициализацию на уровне тестируемых данных (шаг 1 алгоритма). Метод Cycle реализует шаг 2, а метод IsConverged проверят, застабилизировались ли состояния нейронов (шаг 3).

Из глобальных функций - SetSigmoidAlfaHN позволяет установить параметр F активационной функции, a SetLimitHN задает коэффициент, лежащий в пределах от нуля до единицы и определяющий долю величины 1/т, образующую с.

На листинге 3 приведена тестовая программа для проверки сети. Здесь конструируется сеть со вторым слоем из пяти нейронов, выполняющая распознавание пяти входных образов, которые представляют собой схематичные изображения букв размером 5 на 6 точек (рис. 20а). Обучение сети фактически сводится к загрузке и запоминанию идеальных изображений, записанных в файле "charh. img", приведенном на листинге 4. Затем на ее вход поочередно подаются зашумленные на 8/30 образы (рис. 20б) из файла "charhh. img" с листинга 5, которые она успешно различает.

Рис.20 Образцовые и тестовые образцы

Рис.21 Структурная схема ДАП

R проект кроме файлов NEURO_HN и NEUROHAM входят также SUBFUN и NEURO_FF. Программа тестировалась в среде Borland С++ 3.1.

Предложенные классы позволяют моделировать и более крупные сети Хэмминга. Увеличение числа и сложности распознаваемых образов ограничивается фактически только объемом ОЗУ. Следует отметить, что обучение сети Хэмминга представляет самый простой алгоритм из всех рассмотренных до настоящего времени алгоритмов в этом цикле статей. Обсуждение сетей, реализующих ассоциативную память, было бы неполным без хотя бы краткого упоминания о двунаправленной ассоциативной памяти (ДАП). Она является логичным развитием парадигмы сети Хопфилда, к которой для этого достаточно добавить второй слой. Структура ДАП представлена на рис.18. Сеть способна запоминать пары ассоциированных друг с другом образов. Пусть пары образов записываются в виде векторов и, где r - число пар. Подача на вход первого слоя некоторого вектора вызывает образование на входе второго слоя некоего другого вектора, который затем снова поступает на вход первого слоя. При каждом таком цикле вектора на выходах обоих слоев приближаются к парс образцовых векторов, первый из которых - X - наиболее походит на Р, который был подан на вход сети в самом начале, а второй - Y - ассоциирован с ним. Ассоциации между векторами кодируются в весовой матрице W (l) первого слоя. Весовая матрица второго слоя W (2) равна транспонированной первой (W (1)) T . Процесс обучения, также как и в случае сети Хопфилда, заключается в предварительном расчете элементов матрицы W (и соответственно W T) по формуле:

Эта формула является развернутой записью матричного уравнения

для частного случая, когда образы записаны в виде векторов, при этом произведение двух матриц размером соответственно и приводит к (11). В заключении можно сделать следующее обобщение. Сети Хопфилда, Хэмминга и ДАП позволяют просто и эффективно разрешить задачу воссоздания образов по неполной и искаженной информации. Невысокая емкость сетей (число запоминаемых образов) объясняется тем, что, сети не просто запоминают образы, а позволяют проводить их обобщение, например, с помощью сети Хэмминга возможна классификация по критерию максимального правдоподобия. Вместе с тем, легкость построения программных и аппаратных моделей делают эти сети привлекательными для многих применений С. 115 Ясницкий, Л.Н. Искусственный интеллект [Текст]: методическое пособие / Л.Н. Ясницкий, Ф.М. Черепанов. - Москва: Бином. Лаб. знаний, 2012. - 216 с. .

2. Современные направления развития нейрокомпьютерных технологий в России и зарубежом

2.1 Применение искусственных нейронных сетей в системах управления

В историческом плане можно утверждать, что разработка систем управления (СУ) всегда происходит поэтапно. В качестве таких этапов можно выделить:

Этап разработки концепции построения СУ;

Этап моделирования СУ, в соответствии с предлагаемой концепцией построения;

Этап анализа получаемых результатов; этап доработки (модернизации) концепции построения СУ. На протяжении всех этих этапов не прекращаются теоретические исследования, которые позволяют выбирать основные направления совершенствования первоначально сформулированной концепции построения СУ и распространять ее основные идеи на ряд смежных областей.

По аналогичной схеме происходит развитие СУ, использующих искусственные НС. Однако следует заметить, что большое количество разработанных аппаратных и программных моделей нейросетевых СУ часто опережают теоретическое понимание происходящих при этом процессов и имеющихся проблем С. 159 Потапов, И.В. Надежность нейрокомпьютерных систем. Модели и задачи: монография / И.В. Потапов. - Омск: Омский гос. технический ун-т, 2007. - 239 с. .

Необходимым этапом решения задач управления нелинейными динамическими системами является получение их адекватных математических моделей, базирующееся, как правило, на теоретическом и экспериментальном анализе свойств этих систем. Теоретический анализ процессов, происходящих в системе, позволяет получить математическое описание в виде, например, дифференциальных уравнений. При экспериментальном анализе на основе наблюдений входных и выходных сигналов системы получают либо ее параметрическую, либо непараметрическую модель. Наиболее широкое распространение получили параметрические модели, требующие решения задач структурной и параметрической идентификации и использующие ограниченное число параметров. Несмотря на огромное количество работ, многообразие видов нелинейностей не позволяет создать единую теорию идентификации нелинейных систем. Применяемый чаще всего классический подход основан на аппроксимации нелинейностей, например рядами Вольтера, Гаммерштейна, Винера, полиномами Колмогорова-Габора и др. Однако область применения таких моделей ограничена. Кроме того, дополнительные трудности получения адекватного математического описания обусловлено наличием в реальных сигналах помех С. 147 Павлов, А.Н. Интеллектуальные средства измерений [Электронный ресурс] / А.Н. Павлов. - Бийск: БТИ АлтГТУ, 2011. - 121 с. .

Одной из классических моделей СУ является модель с обратной связью с регулируемыми в реальном масштабе времени коэффициентами, например самонастраивающийся регулятор Астрома. Коэффициенты такого контроллера регулируются в течение каждого цикла управления в соответствии с оценкой параметров системы. Блок-схема управления с обратной связью и регулируемыми в реальном масштабе времени коэффициентами приведена на рис.22.

Размещено на http://www.allbest.ru/

Рис.22 Блок-схема управления с обратной связью и регулируемыми коэффициентами

Другой хорошо известной моделью СУ является модель Ляпунова. Системы адаптивного управления, использующие эталонную модель Ляпунова проектируются таким образом, чтобы выходной сигнал управляемой модели в конце концов соответствовал выходному сигналу предварительно определенной модели, которая имеет желаемые характеристики.

Такая система должна быть асимптотически устойчивой, то есть управляемая система в итоге отслеживает эталонную модель с нулевой ошибкой. Более того, переходные процессы на этапе адаптивного управления или обучающего управления имеют гарантированные пределы. Блок-схема адаптивного управления с эталонной моделью представлена на рис.23.

Размещено на http://www.allbest.ru/

Рис.23 Блок-схема адаптивного управления с эталонной моделью

Системы управления, так или иначе использующие искусственные НС являются одной из возможных альтернатив классическим методам управления. Возможность использования НС для решения задач управления во многом основывается на том, что НС, состоящая из двух слоев и имеющая в скрытом слое произвольное большое количество узлов, может аппроксимировать любую функцию действительных чисел с заданной степенью точности. Доказательство этого положения, основанное на известной теореме Вейерштрасса. Таким образом, для решения задач идентификации и управления могут быть использованы НС даже с одним скрытым слоем.

Одним из первых используемых методов построения нейросетевых СУ был метод, основанный на "копированиии" существующего контроллера. Применив этот метод в 1964 Уидроу назвал его методом построения экспертной системы за счет получения знаний от уже существующего эксперта. Архитектура такой СУ представлена на рис.21.

Размещено на http://www.allbest.ru/

Рис.24 Нейросетевая СУ, основанная на "копировании" существующего контролера

Глядя на этот рисунок 24 можно усомниться в полезности этого метода. Зачем нужно использовать еще один управляющий контроллер (в виде НС), если один уже существует. Однако, во-первых, существующий контроллер может быть неудобен при использовании (например, в роли такого контроллера может выступать человек), а во-вторых, для выработки эффективного управления НС может использовать отличную, от существующего контроллера, по способу представления (легче измерить, формализовать и т.д.) информацию о состоянии объекта управления.

В настоящее время достаточно хорошо разработан и широко используется целый ряд других возможных архитектур построения нейросетевых СУ. Во всех из них, назначением нейросетевого контроллера является выработка адекватного управляющего сигнала для управления динамикой состояний объекта управления от начального состояния до желаемого итогового состояния. Причем смена состояний должна происходить по оптимальной траектории. Организация контроля за состоянием объекта управления и реализация нейросетевого контроллера в значительной степени зависят от выбранного алгоритма обучения и используемой структуры управления. Наиболее широко используемыми являются схема прямого (непосредственного) управления и схема косвенного управления. При этом чаще всего в качестве алгоритма обучения используется алгоритм обратного распространения ошибки С. 95 Серов, В.А. Нейроуправление многокритериальными конфликтными системами [Текст]: монография / В.А. Серов, Ю.Н. Бабинцев, Н.С. Кондаков. - Москва: Изд-во Московского гуманитарного ун-та, 2011. - 135 с. .

В схеме косвенного управления параметры объекта управления определяются в каждый момент времени и затем используются для оценки параметров контроллера (рис.25). Таким образом, имеет место явно выраженный процесс идентификации.

Размещено на http://www.allbest.ru/

Рис.25 Схема косвенного управления

Недостатком такой схемы является то, что идентификация и управление основываются исключительно на ошибке е и, и, следовательно, минимизацию ошибки на выходе системы е у гарантировать нельзя.

В схеме прямого управления параметры нейросетевого контроллера регулируются таким образом, чтобы уменьшить непосредственно ошибку выхода е у (рис.26).

Размещено на http://www.allbest.ru/

Рис.26 Схема прямого управления

В качестве целевой функции, которая должна быть минимизирована контроллером используется среднеквадратическая ошибка на выходе объекта управления:

Вопросы устойчивости и управляемости таких СУ подробно рассматриваются в работах.

Одной из областей теоретических исследований, рассматривающих проблемы использования НС в системах управления, является сравнение таких методов управления с другими известными типами СУ, выявление присущих нейросетевым методам особенностей и их анализ. Хотя каждый из рассмотренных методов имеет как хорошие, так и плохие характеристики следует заметить, что метод нейросетевого управления имеет такие полезные свойства, которые плохо реализуются в двух других методах.

Основные результаты, полученные при сравнении, приведены в табл.1.

В методе с использованием НС отсутствуют ограничения на линейность системы, он эффективен в условиях шумов и после окончания обучения обеспечивает управление в реальном масштабе времени. Нейросетевые СУ более гибко настраиваются на реальные условия, образуя модели полностью адекватные поставленной задаче, не содержащие ограничений, связанных с построением формальных систем. Кроме того, нейросетевые СУ не только реализуют стандартные адаптивные методы управления, но и предлагают свои алгоритмические подходы к ряду задач, решение которых вызывает затруднение вследствие неформализованное.

Таблица 1 Обзор характеристик методов управления

Так, появляется возможность обработки в рамках одной модели данных одной природы - для НС важна лишь их коррелированность.

Таким образом, будущее интеллектуального управления лежит в сочетании традиционного управления с потенциальными возможностями и перспективами использования систем, основанных на использовании искусственных НС.

Нейросетевые системы управления относятся к классу нелинейных динамических систем. В составе таких систем искусственная нейронная сеть может выполнять различные функции: диагностику технологического оборудования, управления подвижными объектами в и технологическими процессами, прогнозирование ситуаций, оценку состояния и мониторинг технологических процессов и многое другое. В более узком смысле понятие "нейросетевые системы управления" можно ограничить нижеописанной областью функций.

Это, во-первых, функция адаптивного регулятора нелинейного многосвязного объекта. Здесь возможны два варианта функционирования нейросети. В первом - нейросеть обучается и одновременно формирует управляющее воздействие на входе исполнительного устройства системы управления. Цель обучения сети и цель управления объектом совпадают, что отражается в задании единой целевой функции системы. Сеть обучается в реальном времени, в темпе протекания процессов в системе (режим on-line). Во втором варианте работа сети состоит из двух этапов:

1) предварительного этапа обучения сети заданной оптимальной функции управления

2) этапа воспроизведения аппроксимации этой функции в режиме управления объектом при тех же условиях или близких к ним. Целевые функционалы обучения сети и управления объектом могут отличаться друг от друга. Такой вариант применения нейронной сети для управления - так называемое супервизорное управление - нашел преимущественное распространение до настоящего времени, хотя процесс синтеза нейросетевого контроллера и настройка его параметров в этом случае протекает не в реальном времени (режим off-line) С. 87 Тарков М.С. Нейрокомпьютерные системы. - М.: Изд-во "Интернет-университет информационных технологий - ИНТУИТ. ру", 2006. - 144 c. .

Выбор конкретного подхода к обучению сети (on-line или off-line) зависит от специфики задачи и, более того, определяет конкретный вид алгоритма обучения сети (беспоисковые/поисковые схемы, глобальная/локальная оптимизация и т.д.). Так, например, в отраслях промышленности, где накоплены огромные массивы данных о поведении исследуемого технического объекта (например, в автомобильной промышленности при проектировании системы управления новым типом двигателя) более разумным представляется использование off-line техники обучения с применением генетических алгоритмов, алгоритмов с элементами случайного поиска или "статистического" обучения. С другой стороны, для объектов, технические характеристики которых меняются в процессе эксплуатации, наиболее предпочтительным становится применение on-line алгоритмов настройки сети.

Во-вторых, нейронные сети находят применение как идентификаторы для оценивания вектора состояния нелинейных систем и как расширенные фильтры Калмана.

В-третьих, отметим известное применение нейронной сети в качестве оптимизаторов для настройки параметров регуляторов с типовыми законами регулирования и для настройки параметров алгоритмов адаптации, реализуемых на основе известных методов теории адаптивных систем.

Подобные документы

Характеристика моделей обучения. Общие сведения о нейроне. Искусственные нейронные сети, персептрон. Проблема XOR и пути ее решения. Нейронные сети обратного распространения. Подготовка входных и выходных данных. Нейронные сети Хопфилда и Хэмминга.

контрольная работа , добавлен 28.01.2011


Искусственные нейронные сети как вид математических моделей, построенных по принципу организации и функционирования сетей нервных клеток мозга. Виды сетей: полносвязные, многослойные. Классификация и аппроксимация. Алгоритм обратного распространения.

реферат , добавлен 07.03.2009


Искусственные нейронные сети, строящиеся по принципам организации и функционирования их биологических аналогов. Элементарный преобразователь в сетях. Экспериментальный автопилотируемый гиперзвуковой самолет-разведчик LoFLYTE, использующий нейронные сети.

презентация , добавлен 23.09.2015


Начало современного этапа развития систем искусственного интеллекта. Особенности взаимодействия с компьютером. Цель когнитивного моделирования. Перспективы основных направлений современного развития нейрокомпьютерных технологий, моделирование интеллекта.

реферат , добавлен 05.01.2010


Базовые архитектуры компьютеров: последовательная обработка символов по заданной программе и параллельное распознавание образов по обучающим примерам. Искусственные нейронные сети. Прототип для создания нейрона. Поведение искусственной нейронной сети.

контрольная работа , добавлен 28.05.2010


Рождение искусственного интеллекта. История развития нейронных сетей, эволюционного программирования, нечеткой логики. Генетические алгоритмы, их применение. Искусственный интеллект, нейронные сети, эволюционное программирование и нечеткая логика сейчас.

реферат , добавлен 22.01.2015


Принципы организации и функционирования биологических нейронных сетей. Система соединенных и взаимодействующих между собой простых процессоров. Нейронные сети Маккалока и Питтса. Оценка качества кластеризации. Обучение многослойного персептрона.

курсовая работа , добавлен 06.12.2010


Общие сведения о принципах построения нейронных сетей. Искусственные нейронные системы. Математическая модель нейрона. Классификация нейронных сетей. Правила обучения Хэбба, Розенблатта и Видроу-Хоффа. Алгоритм обратного распространения ошибки.

дипломная работа , добавлен 29.09.2014


Возможности программ моделирования нейронных сетей. Виды нейросетей: персептроны, сети Кохонена, сети радиальных базисных функций. Генетический алгоритм, его применение для оптимизации нейросетей. Система моделирования нейронных сетей Trajan 2.0.

дипломная работа , добавлен 13.10.2015


Разработка нейронной сети, ее применение в алгоритме выбора оружия ботом в трехмерном шутере от первого лица, тестирование алгоритма и выявление достоинств и недостатков данного подхода. Обучение с подкреплением. Описание проекта в Unreal Engine 4.

I.Введение Прошло уже много лет с того момента, когда появилась первая ЭВМ. За это время сменилось уже несколько поколений вычислительных машин. Менялись элементная база, конструктивные решения, языки программирования, программ­ное обеспечение, но основы архитектуры, заложенные при создании машин первого поколения, практически без изменения перешли на машины последующих и успешно работают до настоящего времени.Нет сомнений, что идеи […]

Февраль 09th, 2010

I.Введение

Прошло уже много лет с того момента, когда появилась первая ЭВМ. За это время сменилось уже несколько поколений вычислительных машин. Менялись элементная база, конструктивные решения, языки программирования, программ­ное обеспечение, но основы архитектуры, заложенные при создании машин первого поколения, практически без изменения перешли на машины последующих и успешно работают до настоящего времени.Нет сомнений, что идеи машин первого поколения ещё послужат человеку. Однако всё настоятельнее требуются системы, наделённые элементами интеллекта при обработке колоссального объёма информации и в то же время работающие в темпе управляемых процессов.

В таких прикладных областях деятельности человека, как космология, молекулярная биология, гидрология, охрана окружающей среды, медицина, экономика и многих других, сформулированы проблемы, решение которых потребует вычислительных машин, обладающих колоссальными ресурсами.

На сегодняшний день высокие технические характеристики реализуется только с помощью дорогостоящих уникальных архитектур от CRAY, SGI, Fujitsu, Hitachi с несколькими тысячами процессоров.

В настоящее время концептуально разработаны методы достижения высокого быстродействия, которые охватывают все уровни проектирования вычислительных систем. На самом нижнем уровне – это передовая технология конструирования и изготовления быстродействующей элементной базы и плат с высокой плотностью монтажа.

Теоретически совершенствование элементной базы – самый простой метод повышения производительности вычислительных систем. Однако на практике он приводит к существенному удорожанию новых разработок. Следовательно, требуется разработка новых принципов вычислений, позволяющих ставить и решать задачи подобного типа, а также способных значительно повысить скорость обработки традиционных вычислительных алгоритмов. К числу новых направлений можно отнести и нейрокомпьютеры.

II.Нейрокомпьютеры

1. Что такое нейрокомпьютер

Нейрокомпьютеры — это системы, в которых алгоритм решения задачи представлен логической сетью элементов частного вида — нейронов с полным отказом от булевских элементов типа И, ИЛИ, НЕ. Как следствие этого введены специфические связи между элементами, которые являются предметом отдельного рассмотрения. В отличие от классических методов решения задач нейрокомпьютеры реализуют алгоритмы решения задач, представленные в виде нейронных сетей. Это ограничение позволяет разрабатывать алгоритмы, потенциально более параллельные, чем любая другая их физическая реализация.

Нейросетевая тематика является междисциплинарной, что обусловило значительные разночтения в общих терминологических подходах. Нейросетевой тематикой занимаются как разработчики вычислительных систем и программисты, так и специалисты в области медицины, финансово-экономические работники, химики, физики и т.п. (т.е. все кому не лень). То, что понятно физику, совершенно не принимается медиком и наоборот — все это породило многочисленные споры и целые терминологические войны по различным направлениям применения всего где есть приставка нейро-.

Приведем некоторые наиболее устоявшиеся определения нейрокомпьютера

В дальнейшем под нейрокомпьютером будем понимать вычислительную систему с архитектурой MSIMD, в которой реализованы два принципиальных технических решения: упрощен до уровня нейрона процессорный элемент однородной структуры и резко усложнены связи между элементами; программирование вычислительной структуры перенесено на изменение весовых связей между процессорными элементами.

Общее определение нейрокомпьютера может быть представлено в следующем виде:

Нейрокомпьютер — это вычислительная система с архитектурой аппаратного и программного обеспечения, адекватной выполнению алгоритмов, представленных в нейросетевом логическом базисе

2. История нейрокомпьютеров

Нейрокомпьютеры – это ЭВМ нового поколения, качественно отличающиеся от других классов вычислительных систем параллельного типа тем, что для решения задач они используют не заранее разработанные алгоритмы, а специальным образом подобранные примеры, на которых учатся. Их появление обусловлено объективными причинами: развитие элементной базы, позволяющее на одной плате реализовать персональный компьютер – полнофункциональный компьютер (модель нейрона), и необходимость решения важных практических задач, поставленных действительностью. Попытки создания ЭВМ, моделирующих работу мозга, предпринимались ещё в 40-х гг. специалистами по нейронной кибернетике. Они стремились разработать самоорганизующиеся системы, способные обучаться интеллектуальному поведению в процессе взаимодействия с окружающим миром, причём компонентами их систем обычно являлись модели нервных клеток. Однако зарождавшаяся в это же время вычислительная техника и связанные с нею науки, особенно математическая логика и теория автоматов, оказали сильное влияние на области исследования, связанные с мозгом.

К концу 50-х гг. сформировался логико-символьный подход к моделированию интеллекта. Его развитие создало такие направления, как эвристическое программирование и машинный интеллект, и способствовало угасанию интереса к нейронным сетям. К началу 80-х гг. были созданы условия для возрождения интереса к нейросетевым моделям. Это было связано с накоплением новых данных при экспериментальных исследованиях мозга.

К настоящему времени сформировался обширный рынок нейросетевых продуктов. Подавляющее большинство продуктов представлено в виде моделирующего программного обеспечения. Ведущие фирмы разрабатывают также и специализированные нейрочипы или нейроплаты в виде приставок персональным ЭВМ. Наиболее ярким прототипом супернейрокомпьютера является система обработки аэрокосмических изображений, разработанная в США по программе «Силиконовый мозг». Объявленная производительность супернейрокомпьютера составляет 80 PFLOPS (80?1015 операций с плавающей точкой в 1 с) при физическом объёме, равном объёму человеческого мозга, и потребляемой мощности 20 Вт.

В июле 1992 г. в Японии была принята Пятая Программа (действующая и поныне), связанная с созданием координационного исследовательского центра по реализации международного проекта Real World Computing Partnership (RWCP), основной целью которого являлась разработка практических методов решения реальных задач на основе гибких и перспективных информационных технологий.

В настоящее время в рамках развития этого проекта создана трансконтинентальная сеть на базе гетерогенной вычислительной среды, объединяющей Суперкомпьютерный центр в Штутгарте (Германия), Компьютерный центр в Питсбурге (шт. Пенсильвания), Электротехническую лабораторию в Тшукубе (Япония), Компьютерный центр в Манчестере (Великобритания), в которой часть пользовательских компьютеров выполнена по нейросетевой технологии. Пиковая производительность образованного сверхсуперкомпьютера составила 2.2 TFLOPS.

Считается, что теория нейронных сетей, как научное направление, впервые была обозначена в классической работе МакКаллока и Питтса 1943 г., в которой утверждалось, что, в принципе, любую арифметическую или логическую функцию можно реализовать с помощью простой нейронной сети. В 1958 г. Фрэнк Розенблатт придумал нейронную сеть, названную перцептроном, и построил первый нейрокомпьютер Марк-1 . Перцептрон был предназначен для классификации объектов. На этапе обучения “учитель” сообщает перцептрону к какому классу принадлежит предъявленный объект. Обученный перцептрон способен классифицировать объекты, в том числе не использовавшиеся при обучении, делая при этом очень мало ошибок. Примерно в это же время вышла работа Минского и Пейперта, указавшая ограниченные возможности простейшего перцептрона. Результаты Минского и Пейперта погасили энтузиазм большинства исследователей, особенно тех, кто работал в области вычислительных наук.

С начала 80-х годов ИНС вновь привлекли интерес исследователей, что связано с энергетическим подходом Хопфилда и алгоритмом обратного распространения для обучения многослойного перцептрона (многослойные сети прямого распространения), впервые предложенного Вербосом . При этом важную роль сыграли работы группы PDP (Parallel Distributed Processing) . В них рассматривались нейронные сети, названные многослойными перцептронами, которые оказались весьма эффективными для решения задач распознавания, управления и предсказания. (Многослойные перцептроны занимают ведущее положение, как по разнообразию возможностей использования, так и по количеству успешно решенных прикладных задач.)

3. Преимущества нейрокомпьютеров.

По сравнению с обычными компьютерами нейрокомпьютеры обладают рядом преимуществ.

Во первых - высокое быстродействие, связанное с тем, что алгоритмы нейроинформатики обладают высокой степенью параллельности.

Во вторых - нейросистемы делаются очень устойчивыми к помехам и разрушениям.

В третьих - устойчивые и надежные нейросистемы могут создаваться из ненадежных элементов, имеющих значительный разброс параметров.

4. Недостатки нейрокомпьютеров.

Несмотря на перечисленные выше преимущества эти устройства имеют ряд недостатков:

1. Они создаются специально для решения конкретных задач, связанных с нелинейной логикой и теорией самоорганизации. Решение таких задач на обычных компьютерах возможно только численными методами.

2. В силу своей уникальности эти устройства достаточно дорогостоящи.

5. Практическое применение нейрокомпьютеров.

Несмотря на недостатки, нейрокомпьютеры могут быть успешно использованы в различных областях народного хозяйства.

Управление в режиме реального времени: самолетами, ракетами и технологическими процессами непрерывного производства (металлургического, химического и др.);

Распознавание образов: человеческих лиц, букв и иероглифов, сигналов радара и сонара, отпечатков пальцев в криминалистике, заболеваний по симптомам (в медицине) и местностей, где следует искать полезные ископаемые (в геологии, по косвенным признакам);

Прогнозы: погоды, курса акций (и других финансовых показателей), исхода лечения, политических событий (в частности результатов выборов), поведения противников в военном конфликте и в экономической конкуренции;

Оптимизация и поиск наилучших вариантов: при конструировании технических устройств, выборе экономической стратегии и при лечении больного.

Этот список можно продолжать, но и сказанного достаточно для того, чтобы понять, что нейрокомпьютеры могут занять достойное место в современном обществе.

Что же представляет из себя нейрокомпьютер? Нейрокомпьютеры бывают двух типов:

1. Большие универсальные компьютеры построенные на множестве нейрочипов.

2. Нейроимитаторы, представляющие собой программы для обычных компьютеров, имитирующие работу нейронов. В основе такой программы заложен алгоритм работы нейрочипа с определенными внутренними связями. Что - то типа “Черного ящика”, по принципу которого он и работает. На вход такой программы подаются исходные данные и на основании закономерностей, связанных с принципом работы головного мозга, делаются выводы о правомерности полученных результатов.

III.Основы нейроинформатики

Нейронные сети это всего-навсего сети, состоящие из связанных между собой простых элементов формальных нейронов. Большая часть работ по нейроинформатике посвящена переносу различных алгоритмов решения задач на такие сети.

В основу концепции положена идея о том, что нейроны можно моделировать довольно простыми автоматами, а вся сложность мозга, гибкость его функционирования и другие важнейшие качества определяются связями между нейронами. Каждая связь представляется как совсем простой элемент, служащий для передачи сигнала. Коротко эту мысль можно выразить так: “структура связей все, свойства элементов ничто”.

Совокупность идей и научно-техническое направление, определяемое описанным представлением о мозге, называется коннекционизмом (connection связь). С реальным мозгом все это соотносится примерно так же, как карикатура или шарж со своим прототипом. Важно не буквальное соответствие оригиналу, а продуктивность технической идеи.

С коннекционизмом тесно связан следующий блок идей:

однородность системы (элементы одинаковы и чрезвычайно просты, все определяется структурой связей);
надежные системы из ненадежных элементов и “аналоговый ренессанс” использование простых аналоговых элементов;
“голографические” системы при разрушении случайно выбранной части система сохраняет свои свойства.

Предполагается, что широкие возможности систем связей компенсируют бедность выбора элементов, их ненадежность и возможные разрушения части связей.

Для описания алгоритмов и устройств в нейроинформатике выработана специальная “схемотехника”, в которой элементарные устройства (сумматоры, синапсы, нейроны и т.п.) объединяются в сети, предназначенные для решения задач. Для многих начинающих кажется неожиданным, что ни в аппаратной реализации нейронных сетей, ни в профессиональном программном обеспечении эти элементы вовсе не обязательно реализуются как отдельные части или блоки. Используемая в нейроинформатике идеальная схемотехника представляет собой особый язык описания нейронных сетей и их обучения. При программной и аппаратной реализации выполненные на этом языке описания переводятся на более подходящие языки другого уровня.

Самый важный элемент нейросистем адаптивный сумматор, который вычисляет скалярное произведение вектора входного сигнала x на вектор параметров a. Адаптивным он называется из-за наличия вектора настраиваемых параметров a.

Нелинейный преобразователь сигнала получает скалярный входной сигнал x и переводит его в заданную нелинейную функцию f(x).

Стандартный формальный нейрон состоит из входного сумматора, нелинейного преобразователя и точки ветвления на выходе.

Линейная связь синапс отдельно от сумматоров не встречается, однако для некоторых рассуждений бывает удобно выделить этот элемент. Он умножает входной сигнал x на “вес синапса” a.

Итак, мы коротко описали основные элементы, из которых состоят нейронные сети.

IV.Задачи для нейронных сетей

Многие задачи, для решения которых используются нейронные сети, могут рассматриваться как частные случаи следующих основных проблем:

построение функции по конечному набору значений;
оптимизация;
построение отношений на множестве объектов;
распределенный поиск информации и ассоциативная память;
фильтрация;
сжатие информации;
идентификация динамических систем и управление ими;
нейросетевая реализация классических задач и алгоритмов вычислительной математики: решение систем линейных уравнений, решение задач математической физики сеточными методами и др.

V.Заключение

Нейронные сети возникли из исследований в области искусственного интеллекта, а именно, из попыток воспроизвести способность биологических нервных систем обучаться и исправлять ошибки.
Такие системы основывались на высокоуровневом моделировании процесса мышления на обычных компьютерах. Скоро стало ясно, чтобы создать искусственный интеллект, необходимо построить систему с похожей на естественную архитектурой, т. е. перейти от программной реализации процесса мышления к аппаратной.
Естественным продолжением аппаратного и программного подхода к реализации нейрокомпьютера является программно-аппаратный подход.
Аппаратный подход связан с созданием нейрокомпьютеров в виде нейроподобных структур (нейросетей) электронно-аналогового, оптоэлектронного и оптического типов. Для таких компьютеров разрабатываются специальные СБИС (нейрочипы).
Основу нейросетей составляют относительно простые, в большинстве случаев — однотипные, элементы (ячейки), имитирующие работу нейронов мозга — искусственные нейроны. Нейрон обладает группой синапсов — однонаправленных входных связей, соединенных с выходами других нейронов, а также имеет аксон — выходную связь данного нейрона, с которой сигнал (возбуждения или торможения) поступает на синапсы следующих нейронов. Каждый синапс характеризуется величиной синаптической связи или ее весом, который по физическому смыслу эквивалентен электрической проводимости в электрических связях.
Для решения отдельных типов задач существуют оптимальные конфигурации нейронных сетей. Если же задача не может быть сведена ни к одному из известных типов, разработчику приходится решать сложную проблему синтеза новой конфигурации. При этом он руководствуется несколькими основополагающими принципами: возможности сети возрастают с увеличением числа ячеек сети, плотности связей между ними и числом слоев нейронов. Одной из важных особенностью нейронной сети является возможность к обучению. Обучение нейросети может вестись с учителем или без него. В первом случае сети предъявляются значения как входных, так и желательных выходных сигналов, и она по некоторому внутреннему алгоритму подстраивает веса своих синаптических связей. Во втором случае выходы нейросети формируются самостоятельно, а веса изменяются по алгоритму, учитывающему только входные и производные от них сигналы. После обучения на достаточно большом количестве примеров можно использовать обученную сеть для прогнозирования, предъявляя ей новые входные значения. Это важнейшее достоинство нейрокомпьютера, позволяющие ему решать интеллектуальные задачи, накапливая опыт.

VI.Список используемой литературы:

А.Горбань, Д. Россиев. Нейронные сети на персональном компьютере. //Новосибирск: Наука, 1996.
Ф.Уоссермен, Нейрокомпьютерная техника, М.,Мир, 1992.
Итоги науки и техники: физические и математические модели нейронных сетей, том 1, М., изд. ВИНИТИ, 1990.

4. http://therocker.narod.ru/doc/neuro.htm#comp1

5. http://www.bmstu.ru

6. http://neurnews.iu4.bmstu.ru

Автор реферата, не претендуя на исчерпывающее изложение темы, в рамках небольшой работы, поставила цель изучить такое новшество в техническом мире, как нейрокомпьютеры, последовательно раскрывая историю их разработки, применение и перспективы развития.

Выбор пал на данную тему из-за ее актуальности. В настоящее время разработка нейрокомпьютеров ведется в большинстве промышленно развитых стран. Нейрокомпьютеры позволяют с высокой эффективностью решать целый ряд интеллектуальных задач. Это задачи распознавания образов, адаптивного управления, прогнозирования, диагностики и т.д. Нейрокомпьютеры отличаются от ЭВМ предыдущих и поколений не просто большими возможностями. Принципиально меняется способ использования машины. Место программирования занимает обучение, нейрокомпьютер учится решать задачи. Поэтому сегодня его развитие становится первоочередной задачей науки.

2. История нейрокомпьютеров.

Нейрокомпьютер - устройство переработки информации на основе принципов работы естественных нейронных систем. Эти принципы были формализованы, что позволило говорить о теории искусственных нейронных сетей. «Проблематика же нейрокомпьютеров заключается в построении реальных физических устройств, что позволит не просто моделировать искусственные нейронные сети на обычном компьютере, но так изменить принципы работы компьютера, что станет возможным говорить о том, что они работают в соответствии с теорией искусственных нейронных сетей.» Нейросетевой тематикой занимаются как разработчики вычислительных систем и программисты, так и специалисты в области медицины, финансово-экономические работники, химики, физики и т.п. (т.е. все кому не лень). То, что понятно физику, совершенно не принимается медиком и наоборот - все это породило многочисленные споры и целые терминологические войны по различным направлениям применения всего, где есть приставка нейро-.

Приведем некоторые наиболее устоявшиеся определения нейрокомпьютера.

Другой импульс развитию нейрокомпьютеров дали теоретические разработки 1980-х годов по теории нейронных сетей (сети Хопфилда, сети Кохонена, метод обратного распространения ошибки).

Для преодоления этого ограничения применяется следующий подход: для различных классов задач строятся максимально параллельные алгоритмы решения, использующие какую-либо абстрактную архитектуру (парадигму) мелкозернистого параллелизма, а для конкретных параллельных компьютеров создаются средства реализации параллельных процессов заданной абстрактной архитектуры. В результате появляется эффективный аппарат производства параллельных программ.

Нейроинформатика поставляет универсальные мелкозернистые параллельные архитектуры для решения различных классов задач. Для конкретных задач строится абстрактная нейросетевая реализация алгоритма решения, которая затем реализуется на конкретных параллельных вычислительных устройствах. Таким образом, нейросети позволяют эффективно использовать параллелизм.

3.2. Практическое применение нейрокомпьютеров.

3.2.1. Сферы применения

Несмотря на недостатки, нейрокомпьютеры могут быть успешно использованы в различных областях народного хозяйства:

Управление в режиме реального времени: самолетами, ракетами и

технологическими процессами непрерывного производства (металлургического, химического и др.);

Распознавание образов: человеческих лиц, букв и иероглифов, сигналов радара и сонара, отпечатков пальцев в криминалистике, заболеваний по симптомам (в медицине) и местностей, где следует искать полезные ископаемые (в геологии, по косвенным признакам);

Прогнозы: погоды, курса акций (и других финансовых показателей), исхода лечения, политических событий (в частности результатов выборов), поведения противников в военном конфликте и в экономической конкуренции;

Оптимизация и поиск наилучших вариантов: при конструировании технических устройств, выборе экономической стратегии и при лечении больного.

Этот список можно продолжать, но и сказанного достаточно для того, чтобы понять, что нейрокомпьютеры могут занять достойное место в современном обществе.

Что же представляет из себя нейрокомпьютер? Нейрокомпьютеры бывают двух типов:

1. Большие универсальные компьютеры построенные на множестве нейрочипов.

2. Нейроимитаторы, представляющие собой программы для обычных компьютеров, имитирующие работу нейронов. В основе такой программы заложен алгоритм работы нейрочипа с определенными внутренними связями. Что - то типа “Черного ящика”, по принципу которого он и работает. На вход такой программы подаются исходные данные и на основании закономерностей, связанных с принципом работы головного мозга, делаются выводы о правомерности полученных результатов.

3.2.2. Применение нейрокомпьютеров в финансовой и экономической деятельности.

Перечислим основные классы задач, возникающих в финансовой области, которые эффективно решаются с помощью нейронных сетей.

2. Страховая деятельность банков.

Оценка риска страхования инвестиций на основе анализа надежности проекта

Оценка риска страхования вложенных средств

Применение нейронных сетей для оценки риска страхования особенно эффективно с точки зрения способности анализировать как ранее накопленные данные по результатам страхования, так и коррелирующие данные, определяемые как дополнительные. Возможна оценка надежности проекта на основе нейросетевой системы распознавания надежности.

3. Прогнозирование банкротств на основе нейросетевой системы распознавания.

Анализ надежности фирмы с точки зрения возможности ее банкротства с помощью нейросетевой системы распознавания и выдача результата в дискретном виде (да. нет)

Анализ величины вероятности банкротства фирмы на основе многокритериальной оценки с построением нелинейной модели с помощью нейронных сетей (пример результата - 74% вероятности банкротства).

Анализ банкротств, использующий финансовые соотношения, является весьма важным по нескольким соображениям. Во-первых, управление фирмы может выявлять потенциальные проблемы, которые требуют внимания. Во-вторых, инвесторы используют финансовые соотношения для оценки фирм. Наконец, аудиторы используют их как инструмент в оценке деятельности фирм. Данные используемые для обанкротившихся фирм могут быть взяты из последних финансовых бюллетеней, вышедших перед тем, как фирмы объявили банкротство.

4. Определение курсов облигаций и акций предприятий с целью вложения средств в эти предприятия.

Выделение долгосрочных и краткосрочных скачков курсовой стоимости акций на основе нелинейной нейросетевой модели

Предсказание изменения стоимости акций на основе нейросетевого анализа временных экономических рядов

Распознавание ситуаций, когда резкое изменение цены акций является результатом биржевой игры с помощью нейросетевой системы распознавания

Определение соотношения котировок и спроса

Прогнозирующая система может состоять из нескольких нейронных сетей, которые обучаются взаимосвязям между различными техническими и экономическими показателями и периодами покупки и продажи акций. Целью прогноза является выбор наилучшего времени для покупки и продажи акций. Здесь рассматриваются также задачи формирования портфеля ценных бумаг и распознавания шаблонов на графике изменения курсов акций, которые позволяют прогнозировать курс акций на последующем отрезке времени. На рынке акций шаблон <треугольника> в диаграмме (графике) изменений курса акций является индикатором важного направления будущего изменения цены акций. Однако никакие методы основанные на правилах не дают хорошего результата, только высококвалифицированные эксперты. «Нейросетевой подход дал весьма многообещающие результаты для Токийской фондовой биржи после обучения сети на 15 обучающих шаблонах треугольника и проверке на одном нейросетевом шаблоне. После чего были проведены 16 экспериментов на данных по ценам акций за последние 3 года. Шаблон треугольника был успешно определен в 15 случаях.»

5. Применение нейронных сетей к задачам анализа биржевой деятельности.

Нейросетевая система распознавания всплесков биржевой активности - анализ деятельности биржи на основе нейросетевой модели

Предсказание цен на товары и сырье с выделением трендов вне зависимости от инфляции и сезонных колебаний - нейросетевая система выделения трендов по методикам <японских свечей> и других гистографических источников отображения информации

Для задач биржевой деятельности наиболее интересным представляется построение системы распознавания природы биржевых событий и выделение основных закономерностей, то есть поиск взаимосвязи резкого изменения биржевой цены и биржевой активности в зависимости от биржевой игры или инфляционных процессов. Эффективным может быть применение нейронной сети для предсказания цен на товары и сырье вне зависимости от сезона и уровня инфляции (выделение трендов).

6. Прогнозирование экономической эффективности финансирования экономических и инновационных проектов.

Предсказание на основе анализа реализованных ранее проектов;

Предсказание на основе соответствия предлагаемого проекта экономической ситуации

В первом случае используется способность нейронных сетей к предсказанию на основе временных рядов, во втором - построения нелинейной модели на базе нейронной сети.

7. Предсказание результатов займов.

Определение возможности кредитования предприятий

Предоставление кредитов и займов без залога

Используется (в редком случае) при предоставлении займов без залога на основе анализа дополнительной информации о потребителе кредитов. Оценивает риск займа на основе построения нелинейной модели. Имеющаяся информация основана на исследованиях, производимых международными финансовыми группами.

8. Общие приложения нейронных сетей

Применение нейронных сетей в задачах маркетинга и розничной торговли

Одно из самых <модных> применений нейрокомпьютеров в финансовой области. Один из решаемых вопросов - установление цены на новый вид товара на основе многокритериальной оценки.

Моделирование динамики цен на сельскохозяйственную продукцию в зависимости от климатических условий

Моделирование работы коммунальных служб на основе нейросетевой модели для многокритериального анализа

Построение модели структуры расходов семьи.

Одним из способов подготовки нейронной сети для передачи является её вербализация: обученную нейронную сеть минимизируют с сохранением полезных навыков. Описание минимизированной сети компактнее и часто допускает понятную интерпретацию.

В нейрокомпьютинге постепенно созревает новое направление, основанное на соединении биологических нейронов с электронными элементами. По аналогии с Software (программное обеспечение - «мягкий продукт») и Hardware (электронное аппаратное обеспечение - «твёрдый продукт»), эти разработки получили наименование Wetware «влажный продукт».

В настоящее время уже существует технология соединения биологических нейронов со сверхминиатюрными полевыми транзисторами с помощью нановолокон (Nanowire). В разработках используется современная нанотехнология. В том числе, для создания соединений между нейронами и электронными устройствами используются углеродные нанотрубки.

(Распространено также и другое определение термина «Wetware» - человеческий компонент в системах «человек-компьютер».)

5. Заключение.

Нейронные сети возникли из исследований в области искусственного интеллекта, а именно, из попыток воспроизвести способность биологических нервных систем обучаться и исправлять ошибки.

Такие системы основывались на высокоуровневом моделировании процесса мышления на обычных компьютерах. Скоро стало ясно, чтобы создать искусственный интеллект, необходимо построить систему с похожей на естественную архитектурой, т. е. перейти от программной реализации процесса мышления к аппаратной.

Естественным продолжением аппаратного и программного подхода к реализации нейрокомпьютера является программно-аппаратный подход.

Аппаратный подход связан с созданием нейрокомпьютеров в виде нейроподобных структур (нейросетей) электронно-аналогового, оптоэлектронного и оптического типов. Для таких компьютеров разрабатываются специальные СБИС (нейрочипы).

Основу нейросетей составляют относительно простые, в большинстве случаев - однотипные, элементы (ячейки), имитирующие работу нейронов мозга - искусственные нейроны. Нейрон обладает группой синапсов – однонаправленных входных связей, соединенных с выходами других нейронов, а также имеет аксон - выходную связь данного нейрона, с которой сигнал (возбуждения или торможения) поступает на синапсы следующих нейронов. Каждый синапс характеризуется величиной синаптической связи или ее весом, который по физическому смыслу эквивалентен электрической проводимости в электрических связях.

Для решения отдельных типов задач существуют оптимальные конфигурации нейронных сетей. Если же задача не может быть сведена ни к одному из известных типов, разработчику приходится решать сложную проблему синтеза новой конфигурации. При этом он руководствуется несколькими основополагающими принципами: возможности сети возрастают с увеличением числа ячеек сети, плотности связей между ними и числом слоев нейронов. Одной из важных особенностью нейронной сети является возможность к обучению. Обучение нейросети может вестись с учителем или без него. В первом случае сети предъявляются значения как входных, так и желательных выходных сигналов, и она по некоторому внутреннему алгоритму подстраивает веса своих синаптических связей. Во втором случае выходы нейросети формируются самостоятельно, а веса изменяются по алгоритму, учитывающему только входные и производные от них сигналы. После обучения на достаточно большом количестве примеров можно использовать обученную сеть для прогнозирования, предъявляя ей новые входные значения. Это важнейшее достоинство нейрокомпьютера, позволяющие ему решать интеллектуальные задачи, накапливая опыт.

Список используемой литературы.

1. Галушкин А.И. Некоторые исторические аспекты развития элементной базы вычислительных систем с массовым параллелизмом (80- и 90-е годы) // Нейрокомпьютер. 2000. № 1

2. Власов А.И. Нейросетевая реализация микропроцессорных систем активной акусто- и виброзащиты // Нейрокомпьютеры: разработка и применение. 2000. № 1.

3. Ф.Уоссермен, Нейрокомпьютерная техника, М.,Мир, 1992.

4. Итоги науки и техники: физические и математические модели нейронных сетей, том 1, М., изд. ВИНИТИ, 1990.

5. http://ru.wikipedia.org/wiki/Нейрокомпьютер

6. http://www.chipinfo.ru/literature/chipnews/200005/34.html

7. http://works.tarefer.ru/30/100032/index.html

8. http://www.tiptoptech.net/neirokomputer.html

9. http://www.iam.ru/world/neuron.htm

10. http://www.intuit.ru/department/expert/neurocomputing/2/2.html

Http://ru.wikipedia.org/wiki/Нейрокомпьютер

Http://works.tarefer.ru/30/100032/index.html

Уоссермен Ф., Нейрокомпьютерная техника - М., Изд. «Мир», 1992. – С.93

Http://www.chipinfo.ru/literature/chipnews/200005/34.html

Http://ru.wikipedia.org/wiki/Нейрокомпьютер

В докладе второй половины 2000-х представлен краткий обзор аппаратных реализаций нейрокомпьютеров в России и перспективы их развития.

Необходимость изменения последовательной Фон-неймановской архитектуры классических вычислений диктовалось все возрастающими требованиями к вычислительным ресурсам со стороны новых сложных задач, которые возникали в связи с развитием перспективных технологий.

Нейросетевые технологии являются одним из наиболее интенсивно развиваемых направлений определения и реализации параллельных вычислений. Эти технологии позволяют не только более эффективно решать старые сложные задачи, но и позволяют реализовывать плохо формализуемые или неформализованные задачи, решение которых ранее не представлялось возможным.

Соответственно, аппаратная реализация нейросетевых алгоритмов изменяет логическую основу вычислительной математики и является естественным стремлением получить требуемую производительность.
Практическая реализация аппаратной поддержки нейросетевых вычислений зависит от требований конкретной задачи и возможна лишь в том случае, когда все другие подходы не могут быть использованы. В основном, аппаратная реализация требуется тогда, когда параллельные нейросетевые алгоритмы не могут быть достаточно эффективно реализованы с помощью традиционных вычислительных средств, включая кластерные конфигурации.

С самого начала использования нейросетевых подходов к решению отдельных задач (более 40 лет назад) проблемам их аппаратной реализации уделялось большое внимание, т.к. значительные вычислительные мощности, не говоря о кластерных конфигурациях, были не доступны.
Рост производительности и новые архитектурные решения реализации вычислений только увеличили внимание к данной проблеме, привлекая к ее решению все новые технические средства от использования аналоговых операционных усилителей до применения FPGA большой интеграции как основы для реализации фрагментов нейронных сетей. Соответственно, росла производительность аппаратной поддержки нейросетевых вычислений.

В работе описаны основные аппаратные реализации нейрокомпьютеров с начала их существования (50-ые годы) до 2000 г.
За эту книгу автору присуждена Премия Правительства Российской Федерации за 2002 г.
Отмечено, что необходимость в аппаратной поддержке нейровычислений возникала каждый раз тогда, когда программная реализация нейрокомпьютеров на универсальных ЭВМ не удовлетворяла требованиям заказчика по времени вычислений или весам и габаритам.

Первыми аппаратными реализациями нейрокомпьютеров в России, выполненными еще в конце 60-ых годов прошлого столетия были реализации в виде аналоговых блоков с сетью настраиваемых резисторов и блоком настройки (вычисления значений коэффициентов), реализуемом на универсальной цифровой ЭВМ.
Первая такая реализация, выполненная в виде двух аналоговых вычислительных машин МН-4 и специализированного блока, была сделана в 1968 г. и логически представляла собой трехслойную нейронную сеть.
Реализация 1970 г. ориентированная на распознавание объектов по характеристикам отраженного радиолокационного сигнала представляла собой более сложную нейронную сеть.
Вариант простой трехслойной нейронной сети, ориентированной на два класса образов и пять признаков, предназначался для решения задач медицинской диагностики (1972 г.). Более сложный вариант 1974-ого г. исполнения, был реализован в виде настольного блока с выносным пультом индикации.

В те же годы был реализован макетный образец континуального (с континуумом признаков) аналогово-цифрового нейрокомпьютера, ориентированного на распознавание по форме реограмм.
При решении задачи распознавания периодических сигналов по форме, аналогово-цифровое преобразование приводило к значительной размерности пространства признаков (число дискрет на периоде существования сигнала), и следовательно к резкому усложнению цифровой части нейрокомпьютера.

Еще в 70-ые годы профессором А.И. Галушкиным было предложено, используя предельный переход: реализовать нейроны первого слоя аналого-цифрового нейрокомпьютера. Эта схема была использована для реализации в середине 70-ых годов аналогового нейрокомпьютера для распознавания патологических реограмм с получением весовых функций на универсальной ЭВМ обработкой архива реограмм. Далее отмечено, что этот принцип был успешно использован через 20 лет на базе современной технологии микроэлектроники при реализации более современного нейрокомпьютера, предназначенного для распознавания сигналов по форме.

Активное развитие микропроцессоров в период с 1975 по 1987 гг. приостановило линию аппаратной реализации нейрокомпьютеров, т.к. наиболее эффективной в эти годы была программная реализация нейрокомпьютеров на микропроцессорах.

Однако в середине 80-ых годов развитие технологии микроэлектроники и высоких технологий, ставящих все более и более сложные задачи, привело к очередному всплеску развития нейрокомпьютеров уже с аппаратной реализацией групп нейронов в кристалле. Переходными здесь были микропроцессорные реализации нейрокомпьютеров в виде специализированных вычислительных систем с архитектурой, адаптированной к нейросетевым операциям (вычислениям). Типичным примером такой разработки был отечественный нейрокомпьютер “Геркулес”.

В начале 90-ых годов экономическая ситуация в России привела к необходимости практически полного отказа от технологии заказных СБИС при реализации нейрочипов. Разработчики пытались сохранить научно-технический потенциал в этой области, используя технологию полузаказных СБИС, базовых матричных кристаллов (БМК) и программируемых логических интегральных схем (ПЛИС).

Были сделаны попытки реализовать нейрочипы и нейроплаты на отечественных БМК “Исполин 60Т” и “Такт 100Т”. В середине 90-ых годов в Научном центре нейрокомпьютеров для реализации нейрочипов, нейроплат и нейроблоков была окончательно выбрана линия использования ПЛИС (FPGA фирмы Xilinx). Были реализованы нейрочипы, нейроплаты и нейроблок на FPGA объемом 400 тысяч вентилей на кристалле. В настоящее время ведутся работы использованию для этих целей FPGA Virtex 2 Pro объемом 6-10 млн. вентилей на кристалле.

Параллельно с этим была реализована разработка континуального нейрокомпьютера для распознавания сигналов по форме в виде трехслойной нейронной сети. Первый слой содержал восемь континуальных аналого-цифровых нейронов с весовой функцией, загружаемой в аналоговый умножитель из ПЗУ через ЦАП.

В настоящее время уделяется значительное внимание анализу состояния и определению перспектив разработок нейрочипов во всем мире. К наиболее важным направлениям этих работ можно отнести:

• цифровые нейрочипы;
• аналоговые и аналого-цифровые нейрочипы;
• клеточные нейрочипы;
• нейрочипы с частотно-импульсной модуляцией сигналов;
• специализированные нейрочипы;
• оптические и оптоэлектронные нейрочипы.

При этом важной задачей является поиск для реализации практических задач, требующих для своего решения аппаратной поддержки в виде нейроплат и нейроблоков на базе нейрочипов. Это наиболее сложные задачи, инициируемые развитием высоких технологий и которые невозможно решить вычислительными системами других типов при наличии реальных ограничений на время решения и объемы и веса вычислительной системы.

Литература
1. Галушкин А.И. Нейрокомпьютеры. Серия “Нейрокомпьютеры и их применение” книга 3, Изд-во “Радиотехника”, М., 2002 г.
Об авторе: НИИ автоматической аппаратуры Научный центр нейроком,
Материалы международной конференции SORUCOM 2006 (3–7 июля 2006 года)

Федеральное государственное образовательное бюджетное учреждение высшего профессионального образования

«Финансовый университет при Правительстве Российской Федерации»

«Разработка, применение и перспективы развития нейрокомпьютеров»

Выполнила:

студентка гр. М1-1

Жилякова А.И.

Проверил:

3.1. Преимущества и недостатки. 8

3.2.1. Сферы применения 10

3.2.2. Применение нейрокомпьютеров в финансовой и экономической деятельности. 11

1. Введение

Автор реферата, не претендуя на исчерпывающее изложение темы, в рамках небольшой работы, поставила цель изучить такое новшество в техническом мире, как нейрокомпьютеры, последовательно раскрывая историю их разработки, применение и перспективы развития.

Выбор пал на данную тему из-за ее актуальности. В настоящее время разработка нейрокомпьютеров ведется в большинстве промышленно развитых стран. Нейрокомпьютеры позволяют с высокой эффективностью решать целый ряд интеллектуальных задач. Это задачи распознавания образов, адаптивного управления, прогнозирования, диагностики и т.д. Нейрокомпьютеры отличаются от ЭВМ предыдущих и поколений не просто большими возможностями. Принципиально меняется способ использования машины. Место программирования занимает обучение, нейрокомпьютер учится решать задачи. Поэтому сегодня его развитие становится первоочередной задачей науки.

2. История нейрокомпьютеров.

Нейрокомпьютер - устройство переработки информации на основе принципов работы естественных нейронных систем. Эти принципы были формализованы, что позволило говорить о теории искусственных нейронных сетей. «Проблематика же нейрокомпьютеров заключается в построении реальных физических устройств, что позволит не просто моделировать искусственные нейронные сети на обычном компьютере, но так изменить принципы работы компьютера, что станет возможным говорить о том, что они работают в соответствии с теорией искусственных нейронных сетей.» Нейросетевой тематикой занимаются как разработчики вычислительных систем и программисты, так и специалисты в области медицины, финансово-экономические работники, химики, физики и т.п. (т.е. все кому не лень). То, что понятно физику, совершенно не принимается медиком и наоборот - все это породило многочисленные споры и целые терминологические войны по различным направлениям применения всего, где есть приставка нейро-.

Приведем некоторые наиболее устоявшиеся определения нейрокомпьютера.

Другой импульс развитию нейрокомпьютеров дали теоретические разработки 1980-х годов по теории нейронных сетей (сети Хопфилда, сети Кохонена, метод обратного распространения ошибки).

Для преодоления этого ограничения применяется следующий подход: для различных классов задач строятся максимально параллельные алгоритмы решения, использующие какую-либо абстрактную архитектуру (парадигму) мелкозернистого параллелизма, а для конкретных параллельных компьютеров создаются средства реализации параллельных процессов заданной абстрактной архитектуры. В результате появляется эффективный аппарат производства параллельных программ.

Нейроинформатика поставляет универсальные мелкозернистые параллельные архитектуры для решения различных классов задач. Для конкретных задач строится абстрактная нейросетевая реализация алгоритма решения, которая затем реализуется на конкретных параллельных вычислительных устройствах. Таким образом, нейросети позволяют эффективно использовать параллелизм.

3.2. Практическое применение нейрокомпьютеров.

3.2.1. Сферы применения

Несмотря на недостатки, нейрокомпьютеры могут быть успешно использованы в различных областях народного хозяйства:

Управление в режиме реального времени: самолетами, ракетами и

технологическими процессами непрерывного производства (металлургического, химического и др.);

Распознавание образов: человеческих лиц, букв и иероглифов, сигналов радара и сонара, отпечатков пальцев в криминалистике, заболеваний по симптомам (в медицине) и местностей, где следует искать полезные ископаемые (в геологии, по косвенным признакам);

Прогнозы: погоды, курса акций (и других финансовых показателей), исхода лечения, политических событий (в частности результатов выборов), поведения противников в военном конфликте и в экономической конкуренции;

Оптимизация и поиск наилучших вариантов: при конструировании технических устройств, выборе экономической стратегии и при лечении больного.

Этот список можно продолжать, но и сказанного достаточно для того, чтобы понять, что нейрокомпьютеры могут занять достойное место в современном обществе.

Что же представляет из себя нейрокомпьютер? Нейрокомпьютеры бывают двух типов:

1. Большие универсальные компьютеры построенные на множестве нейрочипов.

2. Нейроимитаторы, представляющие собой программы для обычных компьютеров, имитирующие работу нейронов. В основе такой программы заложен алгоритм работы нейрочипа с определенными внутренними связями. Что - то типа “Черного ящика”, по принципу которого он и работает. На вход такой программы подаются исходные данные и на основании закономерностей, связанных с принципом работы головного мозга, делаются выводы о правомерности полученных результатов.

3.2.2. Применение нейрокомпьютеров в финансовой и экономической деятельности.

Перечислим основные классы задач, возникающих в финансовой области, которые эффективно решаются с помощью нейронных сетей.

2. Страховая деятельность банков.

Оценка риска страхования инвестиций на основе анализа надежности проекта

Оценка риска страхования вложенных средств

Применение нейронных сетей для оценки риска страхования особенно эффективно с точки зрения способности анализировать как ранее накопленные данные по результатам страхования, так и коррелирующие данные, определяемые как дополнительные. Возможна оценка надежности проекта на основе нейросетевой системы распознавания надежности.

3. Прогнозирование банкротств на основе нейросетевой системы распознавания.

Анализ надежности фирмы с точки зрения возможности ее банкротства с помощью нейросетевой системы распознавания и выдача результата в дискретном виде (да. нет)

Анализ величины вероятности банкротства фирмы на основе многокритериальной оценки с построением нелинейной модели с помощью нейронных сетей (пример результата - 74% вероятности банкротства).

Анализ банкротств, использующий финансовые соотношения, является весьма важным по нескольким соображениям. Во-первых, управление фирмы может выявлять потенциальные проблемы, которые требуют внимания. Во-вторых, инвесторы используют финансовые соотношения для оценки фирм. Наконец, аудиторы используют их как инструмент в оценке деятельности фирм. Данные используемые для обанкротившихся фирм могут быть взяты из последних финансовых бюллетеней, вышедших перед тем, как фирмы объявили банкротство.

4. Определение курсов облигаций и акций предприятий с целью вложения средств в эти предприятия.

Выделение долгосрочных и краткосрочных скачков курсовой стоимости акций на основе нелинейной нейросетевой модели

Предсказание изменения стоимости акций на основе нейросетевого анализа временных экономических рядов

Распознавание ситуаций, когда резкое изменение цены акций является результатом биржевой игры с помощью нейросетевой системы распознавания

Определение соотношения котировок и спроса

Прогнозирующая система может состоять из нескольких нейронных сетей, которые обучаются взаимосвязям между различными техническими и экономическими показателями и периодами покупки и продажи акций. Целью прогноза является выбор наилучшего времени для покупки и продажи акций. Здесь рассматриваются также задачи формирования портфеля ценных бумаг и распознавания шаблонов на графике изменения курсов акций, которые позволяют прогнозировать курс акций на последующем отрезке времени. На рынке акций шаблон <треугольника> в диаграмме (графике) изменений курса акций является индикатором важного направления будущего изменения цены акций. Однако никакие методы основанные на правилах не дают хорошего результата, только высококвалифицированные эксперты. «Нейросетевой подход дал весьма многообещающие результаты для Токийской фондовой биржи после обучения сети на 15 обучающих шаблонах треугольника и проверке на одном нейросетевом шаблоне. После чего были проведены 16 экспериментов на данных по ценам акций за последние 3 года. Шаблон треугольника был успешно определен в 15 случаях.»

5. Применение нейронных сетей к задачам анализа биржевой деятельности.

Нейросетевая система распознавания всплесков биржевой активности - анализ деятельности биржи на основе нейросетевой модели

Предсказание цен на товары и сырье с выделением трендов вне зависимости от инфляции и сезонных колебаний - нейросетевая система выделения трендов по методикам <японских свечей> и других гистографических источников отображения информации

Для задач биржевой деятельности наиболее интересным представляется построение системы распознавания природы биржевых событий и выделение основных закономерностей, то есть поиск взаимосвязи резкого изменения биржевой цены и биржевой активности в зависимости от биржевой игры или инфляционных процессов. Эффективным может быть применение нейронной сети для предсказания цен на товары и сырье вне зависимости от сезона и уровня инфляции (выделение трендов).

6. Прогнозирование экономической эффективности финансирования экономических и инновационных проектов.

Предсказание на основе анализа реализованных ранее проектов;

Предсказание на основе соответствия предлагаемого проекта экономической ситуации

В первом случае используется способность нейронных сетей к предсказанию на основе временных рядов, во втором - построения нелинейной модели на базе нейронной сети.

7. Предсказание результатов займов.

Определение возможности кредитования предприятий

Предоставление кредитов и займов без залога

Используется (в редком случае) при предоставлении займов без залога на основе анализа дополнительной информации о потребителе кредитов. Оценивает риск займа на основе построения нелинейной модели. Имеющаяся информация основана на исследованиях, производимых международными финансовыми группами.

8. Общие приложения нейронных сетей

Применение нейронных сетей в задачах маркетинга и розничной торговли

Одно из самых <модных> применений нейрокомпьютеров в финансовой области. Один из решаемых вопросов - установление цены на новый вид товара на основе многокритериальной оценки.

Моделирование динамики цен на сельскохозяйственную продукцию в зависимости от климатических условий

Моделирование работы коммунальных служб на основе нейросетевой модели для многокритериального анализа

Построение модели структуры расходов семьи.

4. Перспективы развития нейрокомпьютеров

Многолетние усилия многих исследовательских групп привели к тому, что к настоящему моменту накоплено большое число различных «правил обучения» и архитектур нейронных сетей, их аппаратных реализаций и приёмов использования нейронных сетей для решения прикладных задач.

Эти интеллектуальные изобретения существуют в виде «зоопарка» нейронных сетей. Каждая сеть из зоопарка имеет свою архитектуру, правило обучения и решает конкретный набор задач. В последнее десятилетие прилагаются серьёзные усилия для стандартизации структурных элементов и превращений этого «зоопарка» в «технопарк»: каждая нейронная сеть из зоопарка реализована на идеальном универсальном нейрокомпьютере, имеющем заданную структуру.

Основные правила выделения функциональных компонентов идеального нейрокомпьютера (по Миркесу):

· Относительная функциональная обособленность: каждый компонент имеет чёткий набор функций. Его взаимодействие с другими компонентами может быть описано в виде небольшого числа запросов.

· Возможность взаимозамены различных реализаций любого компонента без изменения других компонентов.

Постепенно складывается рынок нейрокомпьютеров. В настоящее время широко распространены различные высокопараллельные нейро-ускорители (сопроцессоры) для различных задач. Моделей универсальных нейрокомпьютеров на рынке мало отчасти потому, что большинство из них реализованы для спецприменений. Примерами нейрокомпьютеров являются нейрокомпьютер Synapse (Siemens, Германия), процессор NeuroMatrix. Издаётся специализированный научно-технический журнал «Нейрокомпьютеры: разработка, применение». С технической точки зрения сегодняшние нейрокомпьютеры - это вычислительные системы с параллельными потоками одинаковых команд и множественным потоком данных (MSIMD-архитектура). Это одно из основных направлений развития вычислительных систем с массовым параллелизмом.

Искусственная нейронная сеть может передаваться от (нейро)компьютера к (нейро)компьютеру, так же как и компьютерная программа. Более того, на её основе могут быть созданы специализированные быстродействующие аналоговые устройства. «Выделяются несколько уровней отчуждения нейронной сети от универсального (нейро)компьютера: от сети, обучающейся на универсальном устройстве и использующей богатые возможности в манипулировании задачником, алгоритмами обучения и модификации архитектуры, до полного отчуждения без возможностей обучения и модификации, только функционирование обученной сети.»

Одним из способов подготовки нейронной сети для передачи является её вербализация: обученную нейронную сеть минимизируют с сохранением полезных навыков. Описание минимизированной сети компактнее и часто допускает понятную интерпретацию.