Редактирование: Нейронные сети - теория и приложения.
Внимание! Вы не авторизовались на сайте. Ваш IP-адрес будет публично видимым, если вы будете вносить любые правки. Если вы войдёте или создадите учётную запись, правки вместо этого будут связаны с вашим именем пользователя, а также у вас появятся другие преимущества.
Правка может быть отменена. Пожалуйста, просмотрите сравнение версий, чтобы убедиться, что это именно те изменения, которые вас интересуют, и нажмите «Записать страницу», чтобы изменения вступили в силу.
Текущая версия | Ваш текст | ||
Строка 29: | Строка 29: | ||
==Обучение== | ==Обучение== | ||
− | Для обучения применяется алгоритм обратного распространения ошибки. У сети есть множество входов <math>x_1, ..., x_n</math>, Обозначим через <math>w_{i,j}</math> вес, стоящий на ребре, соединяющем i-й и j-й узлы, а через <math>o_i</math> — выход i-го узла. Если нам известен обучающий пример (правильные ответы сети <math>t_k</math>), то функция ошибки, полученная по методу наименьших квадратов, выглядит так: | + | Для обучения применяется алгоритм обратного распространения ошибки. У сети есть множество входов <math>x_1, ..., x_n</math>, Обозначим через <math>w_{i,j}</math> вес, стоящий на ребре, соединяющем i-й и j-й узлы, а через <math>o_i</math> — выход i-го узла. Если нам известен обучающий пример (правильные ответы сети <math>t_k</math>, <math>k \in Outputs</math>), то функция ошибки, полученная по [[Метод наименьших квадратов|методу наименьших квадратов]], выглядит так: |
− | <math>E(\{w_{i,j}\}) =\cfrac{1}{2} \sum_{k} | + | : <math>E(\{w_{i,j}\}) = \cfrac{1}{2} \sum_{k \in Outputs} (t_k - o_k)^2 </math> |
На каждом шаге будем добавлять к весу. | На каждом шаге будем добавлять к весу. | ||
Строка 49: | Строка 49: | ||
#: Для всех d от 1 до m: | #: Для всех d от 1 до m: | ||
## Подать <math>\{x_i^d\}</math> на вход сети и подсчитать выходы <math>o_i</math> каждого узла. | ## Подать <math>\{x_i^d\}</math> на вход сети и подсчитать выходы <math>o_i</math> каждого узла. | ||
− | ## Для всех <math>k </math> | + | ## Для всех <math>k \in Outputs</math> |
##: <math>\delta _k = o_k(1 - o_k)(t_k - o_k)</math>. | ##: <math>\delta _k = o_k(1 - o_k)(t_k - o_k)</math>. | ||
## Для каждого уровня l, начиная с предпоследнего: | ## Для каждого уровня l, начиная с предпоследнего: | ||
Строка 60: | Строка 60: | ||
где <math>\alpha</math> - коэффициент инерциальнности для сглаживания резких скачков при перемещении по поверхности целевой функции | где <math>\alpha</math> - коэффициент инерциальнности для сглаживания резких скачков при перемещении по поверхности целевой функции | ||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− |