2.5 Визначення репрезентативних наборів тестів

 

 

Задача вибору репрезентативних наборів тестів із заданої множини потужності    носить компромісний характер, оскільки інформативність наборів еквівалентних тестів збільшується із збільшенням їх обсягів згідно з принципом адитивності інформації [77], але при цьому збільшуються і витрати, пов’язані із зменшенням оперативності тестування, що є важливим показником функціональної ефективності СППР. Для розв’язання цієї актуальної задачі здійснимо оптимізацію обсягу набору тестів за узагальненим критерієм Кузьміна [78], модифікація якого має вигляд

 

                                                   ,                               (2.5.1)

 

де    – максимальне значення усередненого за алфавітом класів розпізнавання інформаційного критерію, обчислене при підстановці, у його  формулу  точнісних характеристик    при нульових значеннях помилок відповідно першого і другого роду;

                         – ваговий коефіцієнт зведених витрат.

Вхідна навчальна матриця формувалася за результатами відповідей  студентів на 130 тестів закритого типу, які використовувалися для оцінки рівня знань студентів денної форми навчання з дисципліни «Інтелектуальні системи», що викладається в Сумському державному університеті для спеціальності «Інформатика», тобто загальна потужність словника ознак дорівнювала 130. У процесі навчання СППР застосовувалися навчальні матриці, які формувалися для різних наборів тестів, узятих із повного словника ознак розпізнавання. Як базовий було створено набір, який складався із 10 тестів. У процесі оптимізації базовий набір тестів розширювався за рахунок залучення нових ознак із залишкового словника. Для ознак, що не входили у відповідний набір, здійснювалося їх ранжування за критерієм еквівалентності (2.3.2). Приєднання ознак у відповідний набір відбувалося за їх максимальним рівнем еквівалентності серед ознак залишкового словника. На рис. 2.14 показано графік залежності узагальненого критерію  від вартісної складової за умови, що ваговий коефіцієнт витрат дорівнює . При цьому інформаційна складова критерію (2.5.1) обчислювалася на базі нормованого модифікованого критерію Кульбака [1,67,77]

 

                                                      ,                                                 (2.5.2) 

 

де       – усереднене за алфавітом класів розпізнавання значення КФЕ за   Кульбаком;

– максимальне усереднене за алфавітом класів розпізнавання значення КФЕ,

 

 

 

Аналіз рис. 2.14 показує, що максимальну ефективність навчання СППР набуває при використанні словників ознак (наборів тестів), які складаються з оцінок відповідей 38 тестів. При цьому в базовий словник із залишкового додано 30 тестів, ранжованих за зменшенням критерію еквівалентності (2.7.3). Зменшення узагальненого критерію (2.5.1) при  пов’язано із долученням у нові словники нееквівалентних ознак, або ознак з малим показником еквівалентності. У свою чергу зменшення критерію (2.5.1) при  пов’язано з наявністю в базовому словнику неінформативних ознак, які безпосередньо впливають на інформаційну складову узагальненого критерію.

На рис. 2.15 – рис.2.17 показано графіки залежності узагальненого критерію (2.4.10) від параметра    поля контрольних допусків на ознаки розпізнавання для наборів із 20, 38 і 70 тестів відповідно.

 

Аналіз рис. 2.15 показує, що максимальне значення узагальненого критерію, обчислене в робочій області визначення інформаційного нормованого критерію Кульбака (2.5.2), дорівнює  .

EI,C

Рисунок 2.16. Графік залежності узагальненого критерію від параметра поля контрольних допусків на ознаки розпізнавання для набору із 38 тестів

Аналіз рис. 2.16 показує, що при наборі, що складається із 38 тестів (10 базових і 28 вибраних із залишкового набору згідно з показником їх еквівалентності) одержано максимальне значення узагальненого критерію, яке дорівнює  .

EI,C

Аналіз рис. 2.17 показує, що при наборі, що складається із 70 тестів (10 базових і 60 вибраних із залишкового набору згідно з показником їх еквівалентності) значення узагальненого критерію дорівнює , що вказує на тенденцію його зменшення при наближенні обсягу поточного набору тестів до максимального.

Таким чином, застосування модифікованого узагальненого критерію ефективності Кузьміна (2.5.1) на базі запропонованого у підрозділі 2.4 методу оцінки еквівалентності ознак у залишковому словнику дозволило розв’язати у рамках інформаційно-екстремального алгоритму навчання СППР для супроводження навчального процесу важливу задачу вибору оптимального обсягу набору тестів, що дозволяє підвищити оперативність тестування слухачів при забезпеченні високої достовірності оцінок їх рівня знань.