Некоторые из нейронов скрытого слоя

Некоторые из нейронов скрытого слоя могут настраива ться на них. При этом ресурсов для описания регулярных слабо зашумленных областей может и не хватить. Множество попыток применения нейронных сетей к решению финансовых задач выявило важное обстоятельство: контроль гибкости нейросетевой модели является центральной проблемой. Изложим кратко существо процедуры обучения сети, объединенной с исправлением данных. Для простоты рассмотрим сеть с одним входом и одним выходом. В этом случае минимизируемой величиной является сумма двух слагаемых (Weigend & Zimmermann, 1996):


Первый член описывает обычно минимизируемое в методе обратного распространения ошибки квадратичное отклонение выхода нейронной сети от желаемого значения . Второе слагаемое представляет собой квадратичное отклонение исправленного входного значения от реального его значения . Соответственно, для весов сети и для исправленных входных значений получаются два правила их модификации. Для весов оно такое же, как и в стандартном методе обратного распространения ошибки, а для исправленного входа имеет вид

где индекс определяет номер итерации данного входа. Представляя в виде суммы подлинного начального входного значения и поправки , получим для последней следующее уравнение итерационного изменения



Это уравнение включает

• экспоненциальное затухание
  
  : в отсутствие нового входа
  
  стремится к нулю со скоростью пропорциональной
  
  .
• член, пропорциональный ошибке выходного значения
  
  : аналогичная пропорциональность свойственна и обычному соотношению для модификации весов - чем больше ошибка, тем больше ее влияние на исправление входного значения. Этот член также пропорционален чувствительности выхода ко входу -
  
  .

3Вайгенд и его коллеги предложили наглядную механическую интерпретацию минимизируемой функции, а также отношению скоростей обучения и исправления (см. рисунок 9.4).


Рис. 9.4.  Механическая аналогия конкуренции между обучением и исправлением данных. К реальному входу присоединяется пружина и растягивается другим концом до точки , что сопровождается увеличением энергии в пружине на .

Содержание  Назад  Вперед

---

Forekc.ru
Рефераты, дипломы, курсовые, выпускные и квалификационные работы, диссертации, учебники, учебные пособия, лекции, методические пособия и рекомендации, программы и курсы обучения, публикации из профильных изданий

---