Нейрокомпьютинг и его применения в экономике и бизнесе



             

Энергия состояния


Нетрудно показать, что описанная выше асинхронная динамика сети сопровождается уменьшением энергии сети, которая определяется следующим образом:

E=1\frac{1}{2}\sum_{i,j}w_{ij}s_is_j

Действительно, при изменении состояния одного -го нейрона его вклад в энергию изменяется с

E_k(t)=-s_k(t)\sum_{j\neq k}w_{kj}s_{j}(t)=-s_k (t)h_k(t)
на
E_k(t+1)=-s_k(t+1)h_k(t)
. Следовательно,
E_k(t+1)=-sgn[h_k(t)]h_k(t)=-|h_k(t)|\leq -s_k(t)h_k(t)=E_k(t).

В случае, когда нейрон имеют ненулевые пороги активации

\vartheta_i
, энергия состояния приобретает вид
E=-1/2\sum_{ij}w_{ij}s_is_j+\sum_i \vartheta_is_i
, но вышеприведенный вывод остается в силе.

Поскольку число нейронов в сети конечно, функционал энергии ограничен снизу. Это означает, что эволюция состояния сети должна закончиться в стационарном состоянии, которому будет соответствовать локальный минимум энергии. В Хопфилдовской модели стационарные конфигурации активностей нейронов являются единственным типом аттракторов в пространстве состояний сети. Мы можем представить динамику сети, сопоставив ее состояние с шариком, движущимся с большим трением в сложном рельефе со множеством локальных минимумов. Сами эти минимумы будут устойчивыми состояниями памяти, а окружающие точки на склонах - переходными состояниями.

Поведение состояния в сети Хопфилда аналогично движению шарика, скатывающегося со склона в ближайшую лунку. Начальное состояние шарика соответствует вектору, содержащему неполную информацию об образе памяти, которому отвечает дно лунки

Рис. 5.4.  Поведение состояния в сети Хопфилда аналогично движению шарика, скатывающегося со склона в ближайшую лунку. Начальное состояние шарика соответствует вектору, содержащему неполную информацию об образе памяти, которому отвечает дно лунки

Такая динамика определяет главное свойство сети Хопфилда - способность восстанавливать возмущенное состояние равновесия - "вспоминать" искаженные или потерянные биты информации. Восстановление полной информации по какой-либо ее части - вспоминание по ассоциации - наделяет модель Хопфилда свойством ассоциативной памяти. (Далее в этой лекции мы продемонстрируем, и более общие возможности сети Хопфилда.)




Содержание  Назад  Вперед