Автоматизоване тестування в навчальному процесі

1. Імпорт файлу певного формату (наприклад, XML) з тестовими завданнями. Такий спосіб реалізований в системі Moodle.
2. Заповнення викладачем форми з внесенням вручну тексту завдання та варіантів відповідей. Наприклад, система TestWizard 1.7.
3. Автоматичне генерування тестових завдань на основі вбудованих математичних алгоритмів, аналізу тексту тощо.

Інтерпретація результатів тестування є проблемою, вирішення якої ґрунтується на тих показниках, які здатна виміряти і подати для аналізу система тестування. З іншого боку, педагогічна теорія визначає вимоги до змісту результатів тестування. Сьогодні в автоматизованих системах тестування вимірюються і фіксуються такі показники щодо навчальних досягнень студента і його психофізіологічних характеристик[3]:

• частка правильних відповідей:

• проста;
• з корекцією вгадування;
• векторна відповідно структурі бази завдань;
• за компонентами семантичної мережі[4];

• рівень трудності завдань, які студент правильно виконує з імовірністю 50% (класичний підхід, наприклад «Телетестинг»);
• час виконання кожного завдання.

Спосіб генерації тестових завдань, заснований на параметризації, дозволяє проводити тестування багаторазово, отримуючи кожного разу різні вибірки завдань.

Перед програмної реалізацією завдань проводиться математичне моделювання кожного з них. Визначаються діапазони, в яких необхідно генерувати величини параметрів, що входять в завдання. Нехай ${\displaystyle A}$ — множина завдань, згенерованих у вибірці. Тоді елементи цієї множини ai можна представити у вигляді функціональної залежності від варіанту генерації умови завдання ${\displaystyle d_{i}}$, множини значень параметрів, що входять в завдання ${\displaystyle P}$, зв'язків між цими параметрами ${\displaystyle E}$, а також множини правильних відповідей ${\displaystyle R}$. У математичній нотації це можна записати так:

${\displaystyle A={a_{i}(d_{i},P_{i},E_{i},R_{i})},i={\overline {1,n}}}$

де ${\displaystyle n}$ — кількість завдань у вибірці.

При цьому необхідно зазначити, що значення функції ${\displaystyle a_{i}}$ визначені тільки для таких наборів ${\displaystyle P_{i},E_{i}}$, при яких множина ${\displaystyle R_{i}}$ буде не порожньою і не матиме нескінченного числа елементів. Іншими словами, завдання, що генерується, має мати скінченне число рішень. Таким чином, завданням розробника є створення такого алгоритму генерації завдань, який би максимізував кількість можливих значень аргументів ${\displaystyle d_{i}}$ і найбільше число різних варіантів генерації множини ${\displaystyle P_{i}}$.

Аргументи ${\displaystyle E}$ і ${\displaystyle R}$ не впливають на збільшення кількості варіантів генерації завдань. При достатньо великій потужності множини ${\displaystyle P}$ можна досягти результату, коли кількість можливих варіантів генерації завдання складе тисячі або навіть десятки тисяч. Це значно більше, ніж, наприклад, у випадку використання фасетних таблиць. Такий підхід до генерації завдань забезпечує одержання кожним студентом унікального набору завдань. Ймовірність отримання однакового набору мала і нею можна знехтувати.

В основі цього методу лежить використання двох логічно незалежних елементів: математичного алгоритму для вирішення завдання на основі заданих вхідних даних (розв’язувальний пристрій) і генератора вхідних даних. Розв'язувальний пристрій — це функція зі змінним набором вхідних параметрів, залежно від конкретної задачі. Генератор реалізує автоматичну генерацію «прийнятних» вхідних даних на основі визначених правил. Ці правила описують взаємозв'язки між вхідними даними. Генератор повертає набір вхідних даних, а розв'язувальний пристрій — набір відповідних результатів.

Дані, згенеровані описаним вище методом, подаються на вхід до генератора запитань разом з шаблоном тексту завдання та структурою (шаблоном) XML формату, якщо це передбачено. Генератор запитань вставляє згенеровані вхідні дані в текст завдання, а отриманий результат — в набір варіантів відповідей. Також такий підхід передбачає реалізацію алгоритму генерування неправильних відповідей, якщо цього вимагає специфіка тестового завдання. Неправильні відповіді, як і вхідні дані, також можуть обиратись випадковим чином з бази даних.