Редактирование: Нейронные сети - теория и приложения.

===Искуственные нейронные сети===
Нейронная сеть это вычислительная модель, созданная на основании исследований работы нервной системы человека как попытка создания искуственного интелекта. Разумеется это лишь упрощенная модель, которая не отражает всей сложности процессов происходящих в мозгу человека, однако она нашла применение в областях, где традиционные методы расчета не применимы.В основном это решение задач, сформулировать которые математически крайне сложно, а зачастую и невозможно. Искуственные нейронные сети применяются для:
*Распознование образов
Символов,звуков,анализ изображений. Сеть обучается набором известных образов, а затем может  самостоятельно классифицировать до этого не известные ей образы.
*Управление
Создание так называемых мастер-систем, способных принимать решение подобно человеку, управлять техникой даже в случае поломок. Мастер-системы характеризуются значительной адаптивностью. Как правило на вход подаются данные о состоянии системы (Например ориентация самолета в пространстве, его скорости,параметры среды и желаемое направление полета),а на выходе сеть сообщает управление,которое необходимо применить к систем, с целью минимизации функции оценки(например расхождение текущего курса с желаемым).
*Составление прогнозов
Например на котировки акций,  сеть обучается по архивам биржи,а затем строит предположение о развитии ситуации на рынке.
*Ассоциативная память
Сети способны запоминать информацию подобно человеческому мозгу, что способствует эффективному сжатию

==Структура сети==
Сеть состоит из элементов называемых нейронами, соединенных связями, причем каждая связь характеризуется весом. Вес - это коэффициент на который  умножается сигнал при прохождении через связь. Нейроны объединяются в слои, нейронная сеть обязательно имеет входной и выходной слои. Количество внутренних или скрытых слоев может быть произвольным, однако по мере увеличения их количества  усиливается память сети, что негативно влияет на обучение. Поэтому обычно используются сети с меньшим количеством слоев, но с большим количеством нейронов в каждом.

[[Файл:Network.gif]]

==Активация нейронов==
Каждый нейрон представляет из себя некоторую функцию,ее называют функцией активации. В зависимости от предназначения сети испольуются различные типы :
*Бинарные
В зависимости от значения поступившего на вход, нейрон возвращает либо 0 либо 1. Чаще всего используется Функция Хевисайда
: <math>\theta(x)=\begin{cases} 0, & x<0;
\\ 1, & x\geqslant 0.\end{cases}</math>
*Линейные
: <math>U(x)=\mu x</math>
*Нелинейные
Нелинейные функции акивации  позволяют добиваться результатов меньшим числом нейронов. Наиболее используемой является сигмоидная функция.
: <math>U(x) = \frac{1}{1 + e^{-x}}.</math>

==Обучение==

Для обучения применяется алгоритм обратного распространения ошибки. У сети есть множество входов <math>x_1, ..., x_n</math>, Обозначим через <math>w_{i,j}</math> вес, стоящий на ребре, соединяющем i-й и j-й узлы, а через <math>o_i</math> — выход i-го узла. Если нам известен обучающий пример (правильные ответы сети <math>t_k</math>, <math>k \in Outputs</math>), то функция ошибки, полученная по [[Метод наименьших квадратов|методу наименьших квадратов]], выглядит так:

: <math>E(\{w_{i,j}\}) = \cfrac{1}{2} \sum_{k \in Outputs} (t_k - o_k)^2 </math>

На каждом шаге будем добавлять к весу.

: <math>\Delta w_{i,j} = -\eta \frac {\partial E}{\partial w_{i,j}}</math>,

где <math>0 < \eta < 1</math> -- множитель, задающий скорость "движения".





== Алгоритм ==

При программировании алгоритм выглядит следующим образом:

#: Для всех d от 1 до m:
## Подать <math>\{x_i^d\}</math> на вход сети и подсчитать выходы <math>o_i</math> каждого узла.
## Для всех <math>k \in Outputs</math>
##: <math>\delta _k = o_k(1 - o_k)(t_k - o_k)</math>.
## Для каждого уровня l, начиная с предпоследнего:
##: Для каждого узла j уровня l вычислить
##: <math>\delta _j = o_j(1 - o_j)\sum_{k \in Children(j)} \delta _k w_{j,k}</math>.
## Для каждого ребра сети {i, j}
##: <math>\Delta w_{i,j} = \alpha \Delta w_{i,j} + ( 1 - \alpha ) \eta \delta _j o_{i}</math>.
##: <math>w_{i,j} = w_{i,j} + \Delta w_{i,j}</math>.
# Выдать значения <math>w_{ij}</math>.

где <math>\alpha</math> - коэффициент инерциальнности для сглаживания резких скачков при перемещении по поверхности целевой функции

==Использование==

На практике, удобнее разрабатывать алгоритмы в пакете  Matlab, где для работы с нейронным сетями есть  Neural Network Toolbox. Его средствами можно построить сеть и обучить ее на наборе данных. 
Для удобства пользователя предусмотрен GUI который запускается командой >>nnstart

Кроме того, можно использовать инструменты NNToolbox прямо в коде

Попробуем  решить простейшую задачу экстраполяции на примере параболы.


 
 for i=1:6
 Набор данных для обучения
 inputs = [1:10];
 targets =inputs.*inputs; 
 Создание сети с i*2  нейронами
 hiddenLayerSize = i*2;
 net = fitnet(hiddenLayerSize);
 subplot(2,3,i)
 plot(inputs,targets,'r')
 hold on
 Разделение данных на набор для обучения,валидации и тестирования
 net.divideParam.trainRatio = 80/100;
 net.divideParam.valRatio = 20/100;
 net.divideParam.testRatio = 0/100;
 Обучение
 [net,tr] = train(net,inputs,targets);
 Тестирование 
 inputs=[1:0.1:20]
 outputs = net(inputs);
 plot(inputs,outputs)
 end

Результат для 2,4,6,8,10,12 нейронных сетей. Красная линия - тренировочный набор. Синяя - результат работы сети.

[[Файл:graph12345.png]]