5.8.2. СВЯЗЬ С ЛИНЕЙНЫМ ДИСКРИМИНАНТОМ ФИШЕРА

В данном пункте будет показано, что при соответствующем выборе вектора Ь разделяющая функция а*у, найденная по методу минимальной квадратичной ошибки, непосредственно связана с линейным дискриминантом Фишера. Для того чтобы показать это, следует вернуться к необобщенным линейным разделяющим функциям. Предположим, что имеется множество п d-мерных выборок Хі, . . . , причем «1 из них принадлежат подмножеству помеченному (Оі, а Па — подмножеству помеченному Иа- Далее положим, что выборка Уі образуется из Xj путем прибавления порогового компонента, равного единице, и умножением полученного вектора на —1 в случае выборки, помеченной Иа- Не нарушая общности, можно положить, что первые Пі выборок помечены Иі, а последующие «а помечены со а. Тогда матрицу Y можно представить в следующем виде;

где Ui является вектор-столбцом из пі компонент, г Хі — матрицей размера «jXd, строками которой являются выборки, помеченные (Ог. Соответствующим образом разложим а и Ь:

и

Можно показать, что при определенном выборе Ь обнаруживается связь между решением по методу наименьшей квадратичной ошибки и линейным дискриминантом Фишера.

Доказательство начнем, записав соотношение (32) для а с использованием разложенных матриц:

Определяя выборочное среднее гп; и матрицу суммарного выборочного разброса Sw'

можно в результате перемножения матриц, входящих в (36), получить следующее выражение:

Полученное выражение может рассматриваться как пара уравнений, причем из первого можно выразить Wo через w:

где m является средним по всем выборкам. Подставив данное выражение во второе уравнение и выполнив некоторые алгебраические преобразования, получим

Поскольку направление вектора (гпі—m2)(mi—ma)% при любом W совпадает с направлением вектора іПі—Ша, то можно записать

следующее выражение:

где а — некоторая скалярная величина. В этом случае соотношение (40) дает

что, за исключением скалярного коэффициента, идентично решению для случая линейного дискриминанта Фишера. Помимо этого, получаем величину порога Wt и следующее решающее правило: принять решение соі, если w< (х—m)>0; иначе принять решение (Оа,