Генеративный ИИ для ЕНТ: оценка качества клонирования заданий по математике

Аннотация

В статье представлены результаты исследования, посвящённого анализу качества и достоверности тестовых заданий по математике с одним правильным ответом, созданных с применением языковых моделей искусственного интеллекта. Основной целью исследования являлась оценка того, насколько такие задания могут соответствовать требованиям национального тестирования и быть использованы в образовательной практике. В рамках исследования было проведено контролируемое клонирование 200 заданий формата ЕНТ на основе предварительно верифицированного банка тестовых материалов. После генерации задания прошли многоэтапную экспертную оценку, включающую проверку математической корректности, определение когнитивного уровня сложности, а также анализ соответствия официальным спецификациям тестирования.Для генерации заданий были использованы современные языковые модели искусственного интеллекта, в том числе GPT-4, DeepSeek, Qwen версий 2.5 и 3, а также Claude 3. Сравнительный анализ показал, что подавляющее большинство сгенерированных заданий демонстрируют высокий уровень качества. По результатам экспертной проверки 97 % заданий были признаны пригодными для дальнейшего использования. При этом 50,5 % из них не потребовали какойлибо дополнительной доработки и могли быть использованы в исходном виде. Полученные результаты свидетельствуют о низком уровне брака и подтверждают устойчивость применённых алгоритмов генерации тестовых заданий. Таким образом, результаты исследования указывают на значительный потенциал интеграции технологий искусственного интеллекта в процессы обновления, расширения и оптимизации банка заданий ЕНТ, что может повысить эффективность разработки тестовых материалов и ускорить их актуализацию.

Ключевые слова: искусственный интеллект, генеративные языковые модели, автоматизированное клонирование заданий, ЕНТ, педагогические измерения, валидация тестов.