5.6.1. АЛГОРИТМ СПУСКА

Функция критерия Jj, (а) отнюдь не представляется единственной функцией, которую можно построить с целью минимизации в случае, когда а является вектором решения. Близким, но имеющим отличие представляется выражение вида

где й/ (а) опять обозначает множество выборок, классифицируемых с ошибкой посредством а. Так же как и в случае функции Jp, основное внимание при использовании функции Jg сосредоточивается на выборках, классифицируемых с ошибкой. Главное различие указанных функций состоит в том, что градиент функции Jg является непрерывным, в то время как градиент функции Jp таким свойством не обладает. К сожалению, функция Jд настолько сглажена вблизи границы области решений, что последовательность весовых векторов может сходиться к точке, лежащей на границе. Особое неудобство связано с некоторыми затратами времени, требующимися для определения градиента вблизи граничной точки а=0. Другая неприятность, связанная с функцией Jд, состоит в том, что величина данной функции может быть превышена за счет наиболее длинных векторов выборок. Обе эти трудности можно обойти путем применения функции критерия следующего вида:

где S/ (a) теперь обозначает множество выборок, для которых а*у<&. (Если ?У(а) определяет пустое множество, то полагаем Jr равной нулю.) Таким образом, функция ./г (а) никогда не бывает отрицательной и обращается в нуль в том и только том случае, если а^(у)>Ь для всех выборок. Градиент функции Jr задается выраже-. нием

так что основной алгоритм спуска представляется в следующем виде:

Как и раньше, будем считать, что более простое доказательство сходимости получается при условии, что выборки рассматриваются поодиночке, а не все сразу. Ограничимся также случаем, когда pft=p. Таким образом, можно опять перейти к рассмотрению после- довательности у^, у^, , образованной из выборок, требующихся для коррекции весовых векторов. Правило коррекции по одной выборке аналогично соотношению (27) и записывается в виде

где а|у*<& для всех к.

Данный алгоритм известен под названием правила релаксаций и имеет простую геометрическую интерпретацию. Величина

представляет собой расстояние от до гиперплоскости а*у>‘=Ь. Поскольку отношение у*/||у*|| определяет единичный нормальный вектор для данной гиперплоскости, то а^, содержащееся в уравнении (28), должно смещаться на некоторую часть р этого расстояния от aft к гиперплоскости. Если р=1, тоа^ смещается точно до гиперплоскости, так что происходит «релаксация (ослабление- рей.) напряжения», вызванного неравенством аІу*^й. После коррекции по формуле (28) получаем

Если р<1, то произведение аі+іу* остается все же меньшим, чем Ь; если же р>1, то а*+іу* будет больше Ь. Данные условия носят название недорелаксация и перерелаксация соответственно. Обычно р выбирается из интервала 0<р<2.