5.12.3. ОБОБЩЕНИЕ МЕТОДА НАИМЕНЬШИХ КВАДРАТОВ

По-видимому, наиболее простым способом обобщения метода наименьших квадратов для случая многих классов является такой, при котором исходная задача сводится к рассмотрению множества из с задач для двух классов. Первая задача данного множества состоит в том, чтобы получить весовой вектор аь который является решением в смысле минимума квадрата ошибки уравнений

На основе результатов п. 5.8.3 можно сказать, что при очень большом числе выборок получается наилучшее в смысле минимума среднеквадратичной ошибки приближение для байесовской разделяющей функции

Отсюда немедленно вытекают два следствия. Первое: если несколько изменить постановку і-й задачи, то она будет звучать так; найти весовой вектор который является решением в смысле минимума квадрата ошибки уравнений

при этом а‘ у будет наилучшим приближением для Р (co^fx) по критерию минимума среднеквадратичной ошибки. Второе; вполне оправданным является использование решающих разделяющих функций в линейной машине, которая относит у к классу юг при условии а| у> а| у для всех Псевдообращение для решения задачи минимизации квадрата ошибки в случае многих классов можно представить в виде, аналогичном случаю двух классов. Пусть Y будет матрицей размера пх Я, которая может быть разбита на блоки следующим образом;

причем выборки, помеченные символом юг, включают в себя строки Уі. Далее обозначим через А матрицу размера dxc весовых векторов

и через В матрицу размера пхс

где все элементы Ві являются нулевыми, за исключением элементов і-го столбца, равных 1. Тогда след квадратичной матрицы ошибок {УА—ВУІУА—В) будет минимален при решении

где, как обычно, есть псевдообращение матрицы Y.

Полученный результат может быть обобщен в форме, интересной с теоретической точки зрения. Обозначим через Xjj потери для случая, когда принято решение Oj, а истинным является решение (О/, и предположим, что /-я подматрица В задается выражением

Тогда если число выборок стремится к бесконечности, то решение Л=У+В дает разделяющие функции а(у, которые обеспечивают оптимальное в смысле минимума среднеквадратичной ошибки приближение байесовской разделяющей функции

Доказательство этого результата можно получить, если распространить на рассматриваемый случай метод, использованный в п. 5. 8. 3. Следуя сложившейся традиции, предоставим сделать это читателю в качестве самостоятельного упражнения.