РАСПОЗНАВАНИЕ ОБРАЗОВ. КАТЕГОРИЗАЦИЯ

Процесс распознавания состоит в том, что "исходный стимул" — вектор, выбранный в качестве начального условия, релаксирует в соответствии с (2) к одному из устойчивых состояний системы (2). В частности, такими векторами могут быть "образы" ф5.

Эволюция системы (2), (3) может быть исследована методом диск­ретного стохастического моделирования: либо с помощью процедуры Метрополиса и др. [17—19] (модель системы в термостате), либо с помощью алгоритма, предложенного Дж. Хопфилдом [9]. При этом вместо непрерывных переменных о, вводятся дискретные, принимающие значения о,0 = ±1, а динамика системы задается с помощью вероят­ности изменения состояния нейрона на каждом шаге по времени: либо в соответствии со знаком молекулярного поля Va [9], либо в со­ответствии с изменением энергии системы (1), вызванным этим "пере­воротом", при заданной температуре термостата Т.

Возможность замены непрерывных уравнений (2), (3) дискретными связана с тем, что особая точка о, = 0 уравнения (2) в случае, когда V имеет вид (4), является отталкивающей. Покажем это, считая для простоты, что все ф*, 5=1,5о ортогональны друг другу. Линеаризуя (2) при |о,|<^оо и полагая о^ехрГ:, из (2) получим уравнение на собст­венные значения ((ф1, ст) = £ ф*а,):

Этому уравнению удовлетворяют, в частности, векторы ст* = ф* ((<р*, фО = §и') и собственные значения (инкременты) Г* = y,X[isN>0. Поэтому изображающая точка системы (2), (3) будет удаляться от начала координат в конфигурационном пространстве (о, = 0, /= 1, -TV) и перейдет в область, где существенно нелинейное слагаемое в (2), т.е. |о,|=о0. Конечное состояние эволюции переменной определяется, по существу, видом силы взаимодействия, испытываемой /-м нейроном со стороны остальных, — молекулярным полем (Ист),, где о, = ±о0 (да­лее положим ао— 1).

'Дж. Хопфилд [9] предложил-следующий рекуррентный алгоритм анализа динамики ансамбля нейронов. Вводя дискретное время и за-


меняя производную (2) конечной разностью, вместо (2) полагаем

где ik^N — номер нейрона, выбираемый случайным образом на каж­дом шаге по бремени, а/к) — состояние /-го нейрона в момент времени tk. В (5) введен также "порог возбуждения" /-го нейрона 8„ учитывающий различия в условиях возбуждения различных нейронов. Вместо пере­менных о, = ±1 можно ввести также другие переменные 5, = (1 +ст,)/2, принимающие значения 0 или 1. Из (5) получаем

 

где 6,- = 9,—      — некоторые новыепороги возбуждения.

Уравнения (5) и (5*) были предложены в [9] для описания дина­мики изменения состояния ансамбля нейронов во времени. Можно, однако, представить (неупорядоченную) нейронную сеть, для которой эти уравнения описывают распространение волн возбуждения нейро­нов во времени и в пространстве. Действительно, рассмотрим прямо­угольную решетку, в узлах которой расположены нейроны; столбцы решетки занумерованы индексом к=\, К, а строки — индексом /=1, N. В каждом столбце имеется "активный" нейрон, который суммирует с весами Vi} сигналы, поступающие от предыдущего столб­ца, и может изменять свое состояние в соответствии со знаком мо­лекулярного поля. Состояния же остальных нейронов данного столбца совпадают с состояниями на предыдущем шаге по времени нейронов предыдущего столбца, находящихся в тех же строках. Возбуждение волн в такой сети происходит путем предъявления стимула на "входе", например в первых столбцах, а устойчивые состояния уравнений Хопфилда представляют собой уединенные волны, распространяющиеся в сторону увеличения индекса к — к "выходу" из сети.

Пример последовательности состояний, которые проходит система нейронов при распознавании образов в модели Хопфилда, приведен на рис. 2 (показаны некоторые промежуточные состояния), на ко­тором "евая картинка представляет собой "исходный стимул", а крайняя правая — "образ", записанный в памяти системы. При такой релаксации энергия системы (1) уменьшается, достигая с течением времени одного из локальных минимумов. Покажем, что в дискретной модели, считая, что матрица связей нейронов дается выражением (4), состояние с а = ф' реализует локальный минимум энергии и устой­чиво, если число образов so невелико. Положим as — ф* + Ь5 и рас­смотрим вариацию энергии (1) (ur = 1, 8, =0):

3 случае, когда различные ц>* приближенно ортогональны друг другу, зторое слагаемое в (6) мало по сравнению с первым, и для вариации .. соответствующей изменению одного из символов ±1 в образе

<ps на противоположный, первое слагаемое равно 2N, а третье -2s0. Таким образом, 5£>0 — образ устойчив — при s0<N. Эта оценка ка­чественно согласуется с результатами анализа ошибок распознавания с помощью матрицы (4), проведенного в [9, 20].

В процессе релаксации каждому начальному состоянию системы ("стимулу") сопоставляется один из векторов, являющийся устойчи­вым состоянием динамической системы (2), (3), т.е. осуществляется операция категоризации. Аналогичный процесс является важным эле­ментом деятельности нервной системы, например зрительного тракта млекопитающих [1].

Устойчивыми состояниями уравнений Хопфилда могут являться также векторы, не совпадающие с ф1 — "ложные образы" [20, 21]. Определенный класс таких векторов указан в [21] и может быть пос­троен следующим образом. Пусть so = 3, положим

Тогда, как легко убедиться, знак г'-й компоненты молекулярного поля (Vo), совпадает со знаком ф-, если ps>0 и выполнены неравенства

 

треугольника (достаточное условие): р' ^р2 + р1, р2+ р \ р3^р1 + р'. Следовательно, ф* является устойчивой точкой алгоритма (5), не сов­падающей с ф\ В случае 5о = 3, как можно показать, рассмотренный класс векторов, в построении которых наряду с образами использу­ются также и "негативы", исчерпывает все ложные образы. При большем числе образов в памяти системы число ложных образов, вообще говоря, увеличивается. Например, для любого нечетного s0 вектор ф*, определенный выше, является устойчивым ложным обра­зом (5), если сумма величин любых ps, содержащая к= \ -r-[s0/2] сла­гаемое, не меньше суммы остальных значений ps:

где 5i, sk — различные, произвольно выбранные числа (^я0). От­метим, что при s0<4n появление ложных образов рассматриваемого вида может быть не связано с потерей устойчивости ф*.

На рис. 3 приведен пример, показывающий возникновение ложного образа в системе из N= 100 нейронов, s0 = 3. Изображенный на рис. 3, г вектор удовлетворяет условию (7).