Нейрокомпьютинг и его применения в экономике и бизнесе



             

Отличие между входными и выходными переменными


В заключении данного раздела отметим одно существенное отличие способов кодирования входных и выходных переменных, вытекающее из определения градиента ошибки:

\frac{\partial E}{\partial w_{ij}^{[n]}}=\delta_i^{[n]}x_j^{[n]}
. А именно, входы участвуют в обучении непосредственно, тогда как выходы - лишь опосредованно - через ошибку верхнего слоя. Поэтому при кодировании категорий в качестве выходных нейронов можно использовать как логистическую функцию активации
f(\alpha)=1/(e^{-\alpha}+1)
, определенную на отрезке
[0,1]
, так и ее антисимметричный аналог для отрезка
[-1,1]
, например:
f(a)=tanh(a)
. При этом кодировка выходных переменных из обучающей выборки будет либо
\{0,1\}
, либо
\{-1,1\}
. Выбор того или иного варианта никак не скажется на обучении.

В случае со входными переменными дело обстоит по-другому: обучение весов нижнего слоя сети определяется непосредственно значениями входов: на них умножаются невязки, зависящие от выходов. Между тем, если с точки зрения операции умножения значения

\pm 1
равноправны, между 0 и 1 имеется существенная асимметрия: нулевые значения не дают никакого вклада в градиент ошибки. Таким образом, выбор схемы кодирования входов влияет на процесс обучения. В силу логической равноправности обоих значений входов, более предпочтительной выглядит симметричная кодировка:
\{-1,1\}
, сохраняющая это равноправие в процессе обучения.




Содержание  Назад  Вперед