5.4.1. ГЕОМЕТРИЯ И ПРИНЯТАЯ ТЕРМИНОЛОГИЯ

Предположим теперь, что имеется множество п выборок уі, . . . ..., у„, часть которых помечена соі, а часть Юа- Данные выборки мы хотели бы использовать для определения весов в линейной разделяющей функции g(x)~а^у. Предположим, имеется основание считать, что существует решение, для которого вероятность ошибки очень и очень мала. Тогда разумный подход будет заключаться в нахождении весового вектора, который правильно классифицировал бы все выборки. Если такой весовой вектор существует, то выборки называются линейно разделяемыми.

Выборка у( классифицируется правильно, если а^уг>0 и уг помечен ®1 или если а*уі<0 и уі помечен Юг- Можно заметить, что во втором случае уі будет классифицироваться правильно, если

 

а‘(—уг)>0. Это наводит на мысль о введении нормирования, с помощью которого будет упрощено рассмотрение случая двух классов, а именно будет произведена замена всех выборок, обозначенных символом (о2, их отрицаниями. При введении указанного нормирования можно забыть об индексах и искать такой весовой вектор а, чтобы для всех выборок рыполнялось соотношение а*уг>0. Данный весовой вектор называется разделяющим вектором или вектором решения.

Можно считать, что весовой вектор а определяет точку в весовом пространстве. Каждая выборка у, накладывает ограничение на возможное расположение вектора решения. Уравнение а*уг=0 определяет гиперплоскость, проходящую через начало координат в весовом пространстве, для которой у* является нормальным вектором. Вектор решения, если он существует, должен находиться с положительной стороны каждой гиперплоскости.

Таким образом, вектор решения должен лежать в пересечении п полупространств, и любой вектор, находящийся в данной области, будет являться вектором решения. Соответствующая область называется областью решений. На рис. 5.6 изображена область решений при нормировании и без нормирования на примере двумерного случая.

Из сказанного следует, что если существует вектор решения, то он не единствен. Дополнительные ограничения на вектор решения можно получить разными способами. Одна из возможностей заключается в поиске единичного вектора, который бы максимизировал минимальное расстояние от выборок до разделяющей плоскости. Другим способом является нахождение минимального весового вектора, удовлетворяющего условию а*уІ^Ь для всех і, где b — положительная константа, называемая допуском. Иногда бывает удобным, чтобы выполнялось лишь условие а*у^Ь. Как показано на рис. 5.7, область решений, получившаяся в результате пересечения полупространств, для которых а*у^Ь>0, находится внутри прежней области и отделена от старых границ расстоянием 6/||уг||. Попытки определения вектора решения, расположенного ближе к «середине» области решения, основывались на интуитивном предположении, что полученное решение с большей вероятностью будет давать правильную классификацию новых выборок. Однако в случаях, подлежащих рассмотрению, для нас удовлетворительным будет любое решение, принадлежащее области решения. Основное внимание должно быть сосредоточено на том, чтобы любая используемая итеративная процедура не вызывала приближения к предельной точке, лежащей на границе. Данная задача всегда может быть решена путем введения допуска, т. е. выполнением требования а*у,^ >&>0 для всех і.