2.5   Формализация нейросети

Тактирование работы сети, столь характерное для каждой управляющей системы, отслеживающей ее состояние в дискретные моменты времени, определяет потактовое продвижение по ней волны возбуждений от входного слоя к выходному. Волна за волной возбуждения имитируют систолическую схему вычислений

—    параллельный конвейер обработки отдельных кадров, соответствующих конфигурации возбуждений входного слоя в одном такте.

На практике широко исследуются многослойные сети типа персептрон, где отсутствуют обратные связи и возможны связи между нейронами только смежных слоев. В данном разделе мы также не рассматриваем обратные связи, но снимаем ограничение на «слоистость» нейросети, что обеспечивает более общий подход. Именно такая нейросеть, допускающая связи «через слой», была построена в приведенном выше примере. Для таких сетей значительно упрощаются следующие построения.

Нейронную сеть можно изучать статически, исследуя ее структуру, и динамически, анализируя прохождение возбуждений.

Статические исследования нейросети показывают, что она представляет собой ориентированный граф G без контуров. Вершины его соответствуют нейронам, дуги — синапсическим связям. Целесообразно такой, высший, уровень представления отделить от более глубокого описания каждого нейрона и связей между ними, отображающего динамику проходящих процессов, т.е. расчет значения возбуждения нейронов в зависимости от весов синапсических связей и порогов.

Графмалопригоден для формальных исследований и компьютерных алгоритмов. Удобнее пользоваться матричным отображением нейросети. Данным способом представления можно отоб

разить как структуру, конфигурацию, топологию графа, так и численные значения характеристик его синапсических связей.

Составим матрицу следования S (рис.2.8), число строк (и столбцов) которой равно числу нейронов сети, вюіючая нейроны входного и выходного слоя. Каждая строка (и столбец с тем же номером) соответствует одному нейрону. Для удобства установления порядка следования нейронов диагональные элементы матрицы отмечены черным.

Элемент (э‘з$й матрицы - суть непустой объект, содержащий вессиуапсической/, еслшяаидя-»вязь существует. В то же время элементы матрицы S следует интерпретировать как булевы переменные, равные 1 в случае ненулевого значения указанного веса. Это разрешает выполнение логических операций над строками и столбцами матрицы S, рассматривая ее как аналогичную матрицу следования, используемую при описании частично упорядоченных множеств работ в параллельном программировании [9].

Матрицу S можно изучать в статическом режиме, исследуя и корректируя возможные пути прохождения возбуждений. По этой же матрице в динамическом режиме (моделирования) можно исследовать действительные пути прохождения возбуждений. Такое исследование связано с потактовым расчетом величин возбуждения нейронов.

Нулевые строки (входы) матрицы S соответствуют нейронам входного слоя - рецепторам, нулевые столбцы (выходы) - нейронам выходного слоя.

Нейроны образуют статические цепочки Otj —> а.2 —> > Ctm, длины т, если существуют синапсические связи (впредь будем опускать слово «синапсические») вида а^рестцвдяя все статические цепочки по графу G, можно выделить одну или более цепочек максимальной длины. Такие цепочки назовем критическими. (В традиционных многослойных моделях длина критической цепочки совпадает.с числом слоев сети.)

Пусть по статической цепочке і /е»/ь»обнаружили отсутствие непосредственной связи і «еЛ^лемент матрицы S, стоящий на пересечении 4з$эки и у-го столбца, равен 0. Однако очевидно опосредствованное влияние возбуждения нейрона і на величину возбуждения нейрона к, что указывает на наличие транзитивной связи і Нахождение транзитивных связей позволяет выявлять все нейроны, потенциально возбуждающие определенный нейрон выходного слоя.

Алгоритм дополнения матрицы S транзитивными связями

весьма прост.

Для всех і = 1, 2,..., N:

Формируемновоезначениестрокиілогическимсложениемэтой строки со строками, соответствующими не пустым элементам в ней. «Новые * непустые элементы заменяемна непустые элементы, обозначающиетранзитивныесвязи.

В нашем примере матрица S, дополненная транзитивными связями (непустые клеточки), представлена на рис. 2.8.

Зафиксируем некоторое подмножество R нейронов входного слоя и единственный нейрон г выходного. Построим множество цепочек, ведущих из выделенного подмножества нейронов входного слоя в данный нейрон выходного слоя. Выделенное таким образом множество цепочек назовем статическим путем возбуждения данного нейрона выходного слоя по множеству нейронов вход - ного слоя. Обозначим его

Нредставнмалгоритмформированиястатическогопутивоз- буждения R —> г.

1.   Вычеркиваем из матрицы следования ^строки и столбцы, соответствующие нейронам, не принадлежащим R.

2.   Вычеркиваем из матрицы следования .Увсе строки и столбцы, отображающие нейроны выходного слоя, кроме нейрона г.

3.   Вычеркиваем из матрицы следования ^строки и столбцы, отображающие нулевые позиции строки нейрона г.

4.   Вычеркиваем из матрицы следования S строки и столбцы, отображающие нейроны внутренних слоев нейросети, в том случае, если в результате предыдущего вычеркивания эти строки оказались нулевыми.

5.   Выполняем п. 4, пока не прекратится образование нулевых строк.

На рис. 2.9 матрицей ^[Bl, А1, С1 -ѲігаВчиаЭДено множество цепочек, ведущих из нейронов т.е. статический путь возбуждения [51, А\, С1] Шіхі.

Теперь рассмотрим фактор возбуждения и проанализируем возможные динамические пути прохождения возбуждений.

Динамической цепочкойвозбуждений$унЪ$%—>> (5т будем называть статическую цепочку, составленную из нейронов, первые т-\ которых обладают отличной от нуля величиной возбуждения.

Динамическая цепочка возбуждений является вырожденной, если ее последний элемент обладает нулевой величиной возбуждения. Вырожденная динамическая цепочка возбуждений характеризует затухание сигнала.

Предъявим сети некоторый образ или эталон (не будет большой ошибки, если и здесь, при предъявлении, мы будем пользоваться словом «образ», ибо все есть образ чего-то), приводящий к возбуждению нейроны входного слоя в некоторой конфигурации. Эти нейроны образуют множество R. В результате возбуждения сети оказался возбужденным некоторый нейрон г выходного слоя. Сформировался, таким образом, динамический путь возбуждения R -еиг/зидно, его образуют нейроны, входящие в состав статического пути возбуждения Ra&t&K некоторые нейроны могут остаться невозбужденными.

В общем случае не все нейроны, составляющие статический путь возбуждения, «работают» на возбуждение нейрона выходного слоя, поскольку возможны вырожденные динамические цепочки возбуждения, обусловленные значениями порогов передаточной функции.