Генеративный ИИ для ЕНТ: оценка качества клонирования заданий по математике

А. Әбжәлиева; Ж. Чурбанова; А. Хайдарова; А. Карибаева; М. Абдрахманов

doi:10.26577/JES872202612

Авторлар

А. Әбжәлиева National Testing Centre https://orcid.org/0009-0000-6876-235X
Ж. Чурбанова National Testing Centre https://orcid.org/0009-0001-9810-0653
А. Хайдарова National Testing Center https://orcid.org/0009-0002-0258-6220
А. Карибаева National Testing Center https://orcid.org/0009-0005-8599-9160 ##orcid.unauthenticated##
М. Әбдірахманов National Testing Center https://orcid.org/0009-0003-6328-7854 ##orcid.unauthenticated##

DOI:

https://doi.org/10.26577/JES872202612

Аңдатпа

Мақалада жасанды интеллекттің тілдік модельдерін қолдану арқылы жасалған, бір дұрыс жауабы бар математика пәні бойынша тест тапсырмаларының сапасы мен сенімділігін талдауға арналған зерттеу нәтижелері ұсынылған. Зерттеудің негізгі мақсаты – мұндай тапсырмалардың ұлттық тестілеу талаптарына қаншалықты сәйкес келетінін және оларды білім беру тәжірибесінде қолдану мүмкіндігін бағалау болды. Зерттеу аясында алдын ала верификацияланған тест тапсырмалары банкі негізінде ЕНТ форматына сәйкес 200 тапсырманы бақылаулы түрде клондау жүргізілді. Генерациядан кейін тапсырмалар бірнеше кезеңнен тұратын сараптамалық бағалаудан өтті. Бұл бағалау математикалық дұрыстығын тексеруді, когнитивтік күрделілік деңгейін анықтауды, сондай-ақ тестілеудің ресми спецификацияларына сәйкестігін талдауды қамтыды.Тапсырмаларды генерациялау үшін жасанды интеллекттің заманауи тілдік модельдері пайдаланылды. Олардың қатарында GPT-4, DeepSeek, Qwen 2.5 және 3 нұсқалары, сондай-ақ Claude 3 модельдері бар. Жүргізілген салыстырмалы талдау нәтижесінде генерацияланған тапсырмалардың басым көпшілігі жоғары сапа деңгейін көрсеткені анықталды. Сараптамалық тексеру қорытындысы бойынша тапсырмалардың 97%-ы әрі қарай қолдануға жарамды деп танылды. Оның ішінде 50,5%-ы ешқандай қосымша түзетуді немесе өңдеуді қажет етпей, бастапқы күйінде пайдалануға болатындығы анықталды. Алынған нәтижелер ақау деңгейінің төмен екенін көрсетіп, тест тапсырмаларын генерациялау барысында қолданылған алгоритмдердің тұрақтылығын дәлелдейді. Осылайша, зерттеу нәтижелері жасанды интеллект технологияларын ЕНТ тапсырмалар банкін жаңарту, кеңейту және оңтайландыру үдерістеріне енгізудің айтарлықтай әлеуеті бар екенін көрсетеді. Бұл өз кезегінде тест материалдарын әзірлеу тиімділігін арттыруға және оларды жаңарту үдерісін жеделдетуге мүмкіндік береді.

Түйін сөздер: жасанды интеллект, генеративті тілдік модельдер, автоматтандырылған тапсырма клондау, ҰБТ, педагогикалық өлшемдер, тест валидтілігі.

Автор өмірбаяндары

А. Әбжәлиева, National Testing Centre

Магистр, бас сарапшы, Ұлттық тестілеу орталығы (Астана, Қазақстан Респуб ликасы, е-mail: abjalieva.aidana@mail.ru)
Ж. Чурбанова, National Testing Centre

Магистр, бөлім басшысы, Ұлттық тестілеу орталығы (Астана, Қазақстан Республикасы, е-mail: zhairan2302@gmail.com)
А. Хайдарова, National Testing Center

Магистр, бас сарапшы-талдаушы, Ұлттық тестілеу орталығы (Астана, Қазақстан Республикасы, е-mail: akzhan.khaidarova@gmail.com)
А. Карибаева, National Testing Center

магистр, Жасанды интеллект зерханасының бас сарапшы-әзірлеушісі, Ұлттық тестілеу орталығы (Астана, Қазақстан Республикасы, e-mail: akaribayeva@gmail.com)
М. Әбдірахманов, National Testing Center

Бакалавр, PR, маркетинг және халықаралық қатынастар қызметінің жетекші сарапшысы, Ұлттық тестілеу орталығы (Астана, Қазақстан Республикасы, e-mail: mierimabdrahmanov@gmail.com)