5.8.3. АСИМПТОТИЧЕСКОЕ ПРИБЛИЖЕНИЕ К ОПТИМАЛЬНОМУ ДИСКРИМИНАНТУ

Другое свойство решения по методу наименьшей квадратичной ошибки, говорящее в его пользу, состоит в том, что при условии Ь== =и„ и при п->оо оно в пределе приближается в смысле минимума среднеквадратичной ошибки к разделяющей функции Байеса

Чтобы продемонстрировать данное утверждение, следует предположить, что выборки взяты независимо в соответствии с вероятностным законом

Решение по методу наименьшей квадратичной ошибки с использованием расширенного вектора у дает разложение в ряд функции g(x)=a‘y, где у=у(х). Если определить среднеквадратичную ошибку аппроксимации выражением

то нашей задачей будет показать, что величина минимизируется посредством решения

Доказательство упростится при условии сохранения различия между выборками класса 1 и класса 2. Исходя из ненормированных данных, функцию критерия можно записать в виде

Таким образом, в соответствии с законом больших чисел при стремлении п к бесконечности (l/n.)Js(&) приближается с вероятностью 1 к

функции J {а), имеющей вид

где

и

Теперь, если мы йз соотношения (42) определим  то получим

Второй член данной суммы не зависит от весового вектора а. Отсюда следует, что а, которое минимизирует J^, также минимизирует и — среднеквадратичную ошибку между а*у и gain)-

Данный результат позволяет глубже проникнуть в суть процедуры, обеспечивающей решение по методу наименьшей квадратичной ошибки. Аппроксимируя go(x), разделяющая функция а*у дает непосредственную информацию относительно апостериорных вероятностей Я (соі1х)= 1/2 (1+go) и Р(со2іх)=1/2(1—go). Качество аппроксимации зависит от функций уі (х) и числа членов в разложении а'у. К сожалению, критерий среднеквадратичной ошибки в основном распространяется не на точки, близкие к поверхности решения go(x)=0, а на точки, для которых значение р{\) велико. Таким образом, разделяющая функция, которая наилучшим образом аппроксимирует разделяющую функцию Байеса, не обязательно минимизирует вероятность ошибки. Несмотря на данный недостаток, решение по методу наименьшей квадратичной ошибки обладает интересными свойствами и широко распространено в литературе. Далее, при рассмотрении методов стохастической аппроксимации, еще предстоит встретиться с задачей среднеквадратичной аппроксимации функции ёо{х)-