9.2.1.       ПОДБОР ЛИНИЙ ПО МИНИМУМУ СУММЫ КВАДРАТОВ

ОШИБОК

Классический метод подбора линий состоит в отыскании одиночной линии, дающей минимальную сумму квадратов ошибок (МСКО). Говоря более точно, нам дано множество точек {(д:;, у,)}, і~ 1, . . . , п, лежащих на плоскости, и мы пытаемся отыскать два

таких числа и Сі, чтобы функция ошибки

была минимальна. Другими словами, мы хотим найти такую прямую линию, чтобы сумма квадратов расстояний по вертикали от каждой из точек до этой линии была минимальна. Эта задача и другие задачи такого типа могут быть элегантно решены посредством псевдообращения матрицы. В гл. 5 псевдообратная матрица бцла получена чисто аналитическими методами. Потратим некоторое время, чтобы для разнообразия получить тот же результат геометрически.

Пусть дано матричное уравнение

Если мы обозначим через а', і=І, . . k, столбцы матрицы А, а через щ составляющие вектора и, то обычная интерпретация этого уравнения будет заключаться в том, что величины щ представляют собой весовые коэффициенты, которые используются при суммировании в линейной-комбинации столбцов матрицы А, в результате чего получается данный вектор Ь:

Если вектор Ь лежит внутри линейной оболочки, образованной столбцами матрицы А, уравнение, конечно, имеет решение. Предположим, однако, что вектор Ь лежит вне линейной оболочки векторов {а'}. В этом случае мы можем лишь пытаться найти «наилучшее приближение» к вектору Ь, какое только существует в пределах линейной оболочки векторов а'. А именно мы можем искать такие коэффициенты и, или такой вектор и, чтобы величина ЦЛи—Ь||* была минимальна. Ясно, что наилучшая оценка будет получена в случае, когда вектор ошибки (Ь—Ли) ортогонален линейной оболочке векторов {а'}. Рис. 9.1 иллюстрирует эту ситуацию для случая, когда матрица А содержит только два трехмерных столбца и вектор Ь лежит вне их линейной оболочки. Обозначим через и* оптимальный взвешивающий вектор, и тогда величина Ли* будет наилучшим приближением к Ь, какое только может быть найдено внутри линейной оболочки векторов {а'}. Запишем условие ортогональности вектора (Ь—Ли*) столбцам матрицы Л следующим образом:

или

Теперь, если матрица А‘А имеет обратную, мы можем решить уравнение относительно и* и при этом получим

и* = (ЛЧ)-М^Ь = Л+ Ь.

Матрица Л^ =(Л*Л)"М^ называется псевдообратной по отношению к матрице Л. Заметим, что если матрица Л обратима, то Л+ =Л-^. Прежде чем покончить с псевдообращением, мы должны показать, что матрица (Л'Л) имеет обратную. В общем случае эта матрица обратима, если столбцы матрицы Л линейно независимы, и в этом

можно убедиться следующим простым рассуждением. Всякая матрица обратима, если ее обнуляющий множитель равен нулю, т. е., в нашем случае, если из равенства (ЛМ)ѵ=0 следует, что вектор ѵ сам равен нулю. Предположим противное: пусть ѵ=т^О. Поскольку столбцы матрицы Л считаются линейно независимыми, из этого следует, что Лѵ#0. Тогда матричное произведение А*(А\) можно интерпретировать как вектор, составленный из скалярных произведений столбцов матрицы Л на вектор Лѵ. Поскольку Лѵ представляет собой не равный нулю вектор, лежащий в линейной оболочке столбцов матрицы Л, он не может быть ортогонален всем столбцам. Следовательно, все скалярные произведения не могут быть равны нулю, т. е, Л*Лѵ#0. Это противоречит предположению, а, следовательно, обнуляющий множитель матрицы Л^Л есть нулевой вектор, и эта матрица обратима.

Подведем итоги обсуждению вопросов, связанных с псевдообращением. Предположив, что столбцы матрицы Л линейно независимы, мы нашли, что величина ЦЛи—Ь|р минимальна при u=Лt Ь. Вернемся теперь к нашей исходной задаче подбора линий. Предпо-

ложим, что мы взяли наше множество точек {(д^г, у^) и записали в форме Аи=Ь следующее матричное уравнение:

Если мы возьмем вектор ® равным Ь, то можем быть уверены, что величина \\Ли—ЬЦ^ минимальна О- Но

что представляет собой в точности критерий МСКО для коэффициентов Со и Сі наилучшей линии. Следовательно, решение, соответствующее МСКО, получается умножением вектора Ь, составленного из значений координат Y, на матрицу, псевдообратную матрице Л, составленной из значений координат X:

Подход на основе псевдообращения может быть легко распространен на случай аппроксимации множества точек по критерию МСКО с помощью многочлена. Пусть мы хотим найти такие коэффициенты Со, Сі, . . Cd, при которых сумма

минимальна. Мы будем поступать так же, как и в линейном случае, но на этот раз запишем матрицу А для значений координат X в виде

а вектор и в виде

Положив и=Л'і'Ь, мы сразу же найдем такие коэффициенты Со, Сі,. . . . . . , Cd, при которых величина

минимальна.