Эффективность применения инструментального программного комплекса для построения интеллектуальных тестирующих систем

В современных условиях наряду с традиционным обучением широко используется электронное. Существует большое количество разнообразных компьютерных средств обучения (КСО). Основной способ контроля знаний в КСО – тестирование. Тесты используются не только для измерения учебных достижений, но и для обучения, тренировки, повышения мотивации обучения и т.п. Тестирующие системы (ТС) входят в состав КСО и используются автономно. Модель традиционной ТС может быть представлена структурой тестирующей системы, множеством сценариев тестирования, реализованных в ТС, и множеством данных, необходимых для работы системы и генерируемых системой. Основными недостатками указанной модели являются отсутствие механизма автоматического создания тестовых заданий, «жесткая» база заданий, ограниченное число тестовых вопросов, что влечет за собой сложность индивидуализации обучения и адаптации к испытуемому. Один из путей решения этой задачи авторы данной работы видят в интеллектуализации тестирующих систем [1]. Интеллектуальными называют системы, ядром которых являются базы знаний или модель предметной области, описанные на языке представления знаний, приближенного к естественному. Применяются интеллектуальные системы для решения сложных задач, где основная сложность решения связана с использованием слабо формализованных знаний специалистов-практиков и логическая (или символьная) обработка превалирует над вычислительной. Именно в состав этой группы задач входит задача автоматической генерации тестовых заданий. В ряде работ (в т.ч. [2]) излагаются модели КСО, включающие генерацию ТЗ, но механизмы генерации при этом не рассматриваются.

На кафедре Автоматики и вычислительной техники Вологодского государственного технического университета (ВоГТУ) в течение ряда лет проводятся работы по программной реализации систем тестирования и их апробации на студенческой среде. Основными принципами построения интеллектуальных тестирующих систем ИТС являются:

автоматическая генерация на основе предложенного авторами метода (наиболее подробно изложен в [3]) произвольных множеств тестовых заданий в соответствии с заданной моделью обучения;

точная формализация порождаемых множеств вопросов путем описания их соответствующими формальными грамматиками;

автоматическое предъявление в динамике сгенерированных вопросов в соответствии с моделью тестирования.

Выделение инструментального интеллектуального программного комплекса (ИИПК) в самостоятельный модуль позволило использовать его и автономно и как компонент другой системы (тестирующей или обучающей, в том числе сетевых и Интернет версий). Обязательными элементами структуры ИИПК являются редактор грамматик, формирователь структуры теста, блок генерации вопросов по грамматикам и генератор теста. Редактор грамматик предназначен для создания и редактирования файлов с контекстно-свободными грамматиками (КСГ), добавления и удаления КСГ, пополнения списка дисциплин и т.п. Формирователь структуры теста предназначен для определения типов и количества заданий каждого типа включаемых в конкретный тест. При определении типов заданий указываются также имена файлов, в которых записаны сформированные ранее КСГ. Блок генерации тестовых заданий решает проблему преобразования КСГ в тестовое задание и записи этого задания в выходной файл. Выходная информация может выводиться как в текстовый файл (для бланкового тестирования), так и в ТС (в этом случае тестовые задания генерируются и предъявляются в динамическом режиме).

Для количественной оценки эффективности применения ИИПК, использующей метод генерации тестовых заданий, был проведен ряд экспериментов по хронометрированию процессов тестирования. Для выяснения процентного соотношения между работами 1) по созданию теста и 2) собственно тестированию и оцениванию было составлено 360 заданий (18 вариантов по 20 вопросов) по дисциплине «Информационные технологии» представляющих собой вопросы с выбором ответа «одного из многих» или «с открытой формой ответа» и простые вычислительные задачи. Тесты выполнялись группой студентов среднетехнического факультета. Форма тестирования – бланковое Время тестирования в два раза превышает выполнение варианта теста экспертом. Качество теста удовлетворительное. Полученные результаты показывают, что затраты на подготовку тестовых заданий и формирование вариантов теста превышает 90 от общей трудоемкости (уже при составлении всего двух параллельных форм). Эксперименты по созданию заданий с помощью ИИПК (по дисциплинам «Интеллектуальные системы управления», «Метрология» и некоторым другим) подтвердили гарантированное снижение трудоемкости подготовительного этапа на 10% уже при составлении 5 параллельных вариантов тестов.

Читайте также:

Педагогическая идея
Каждый значительный человек оставляет нам свои идеи и свой образ. Идея Януша Корчака была, по сути, одна, и такого она свойства, что, например, в последовательном курсе истории педагогики точное место Янушу Корчаку найдешь не сразу: о нем можно с одинаковым правом рассказать до Руссо и после Пестал ...

Влияние компьютерных игр на социализацию личности детей
Компьютерные игры – порождение электронной эры и продукт массовой культуры – нашли благодатную почву для распространения в нашей стране. Зачастую в наше время дети свое свободное время проводят за компьютерными играми, засиживая в компьютерных клубах или просто дома. Это одна из важных социальных п ...

Психолого-педагогические аспекты повышения познавательного интереса к учебной деятельности через использование современных информационных технологий
Широкая познавательная направленность (интерес к знаниям, к преодолению трудностей) формируется всем ходом обучения в школе. Познавательные интересы, как более глубокие, требуют для своего формирования особой работы. Еще более кропотливого труда требует воспитание мотивов самообразования. Формирова ...