Kan AI brukes til å vurdere studentmatematikk?

Om UiB-forskningsprosjektet på AI-vurdering

Prosjektet — «Assessment in Introductory Mathematics», støttet av UiBs insentivmidler — søkte å finne evidensbaserte løsninger på utfordringen med å gi effektiv tilbakemelding i store (>400 studenter) innføringskurs i matematikk. Forskerteamet ledet av Kasper Troøyen, Therese Saltskår og Sehoya Cotner gjennomførte to parallelle studier høsten 2025, én for hvert av UiBs to store førsteårs matematikkurs: MAT111 (matematikk-intensive program, ~450–500 studenter) og MAT101 (mindre matematikk-intensive program, ~450–500 studenter). Lectora var AI-verktøyet forskerne evaluerte; vi leverte prototypen, men hadde ingen rolle i studiedesign, datainnsamling eller analyse.

Studie 1 (MAT111) testet AI som vurderingspartner på obligatorisk oppgave 1. 394 studenter leverte, og 11 studentassistenter vurderte besvarelsene over en todagers vurderingssamling på en skala fra 0 til 17 poeng (studentene fikk bestått/ikke-bestått). Hver besvarelse ble tilfeldig fordelt til vurdering uten AI eller med AI-assistanse (AI laget utkast, et menneske bearbeidet det); studentene visste ikke hvilken betingelse de var i. 20 tilfeldige besvarelser ble vurdert fire ganger hver (to ganger uten AI, to ganger med AI) for å måle samsvar mellom sensorer. En oppfølgende undersøkelse (150 respondenter, 138 leste tilbakemeldingen) målte opplevd nytte innen hver betingelse. Hver student så bare én tilbakemeldingstype.

Studie 2 (MAT101) testet AI som én av tre parallelle tilbakemeldingskilder på milepælsjekk-innleveringer (1 051 par-vurderinger AI/faglærer fra 356 studenter på tvers av milepælssjekk 0–4, på en 0–6-skala). Hver student fikk tilbakemelding fra faglærer, fra to tildelte medstudenter, og fra Lectora, alt side om side på samme innlevering. En oppfølgende studentundersøkelse (127 respondenter av 848 i opplevelses-kullet som dekket milepælssjekk 2–4) målte hvilken tilbakemelding studentene leste og hvor nyttig de opplevde hver kilde — et side-om-side-sammenligningsdesign der hver student så alle tre kilder sammen. Funnene under er gjengitt fra den publiserte presentasjonen i sin helhet, inkludert der AI gjorde det dårligere.

Matematikkeksemplet bruker fiktive besvarelser, utarbeidede tilbakemeldingseksempler og illustrerende kulldata. Det viser ikke MAT101- eller MAT111-studenter eller målte resultater fra denne forskningen.

Hva fant MAT101-studien om samsvaret mellom AI-vurdering og faglærer?

På spørsmålet om statistisk samsvar — gir AI-utkastet en skåre som ligner det faglæreren ville gitt? — har MAT101-milepælsdatasettet et klart, men nyansert svar. På tvers av 1 051 par-vurderinger (AI, faglærer) fra 356 studenter på en 0–6-skala samsvarte Lectoras utkast med faglæreren på R² = 0,68 (Pearson r = 0,82), med gjennomsnittlig avvik 0,64 poeng. 61 % av par-vurderingene lå innenfor ±0,5 poeng av faglæreren, 85 % innenfor ±1,0 poeng og 93 % innenfor ±1,5 poeng. Eksakt samsvar — AI og faglærer på samme kvartpoeng — skjedde på 26 % av innleveringene.

Ved bestått/ikke-bestått-grensen 3,0/6 samsvarte AI med faglæreren på 87,7 % av innleveringene (Cohens κ = 0,65). Av de 129 uenighetene var det 52 besvarelser der AI sa bestått mens faglæreren sa ikke-bestått, og 77 der AI sa ikke-bestått mens faglæreren sa bestått. Begge klyngene ligger nær selve grensen. Med faglærerens poeng som referanse var sensitivitet for bestått 91 % og spesifisitet for ikke-bestått 77 %. Referansepoengene er sammenligningsgrunnlaget, ikke bevis for at hver enkelt beslutning var riktig.

AI-ens gjennomsnittsavvik var −0,24 poeng: Lectoras utkast lå i gjennomsnitt litt under faglæreren, særlig i øvre del av skalaen der AI brukte poengene 5 og 6 sjeldnere (89 AI-seksere mot 120 faglærer-seksere på de samme innleveringene). Et lavere poengforslag er ikke i seg selv tryggere; det kan også gå ut over en student hvis det godtas uten gjennomgang. R² = 0,68 beskriver den tilpassede lineære sammenhengen med faglærerens poeng i dette datasettet. Vi har ikke publisert R² mellom to menneskelige sensorer for matematikk, og R² alene fastslår ikke riktige enkeltpoeng eller redusert arbeidsmengde ved gjennomgang.

Hvor jevn var AI-samsvaret på tvers av de fire modulmilepælene?

Datasettet dekker milepælssjekk 0–4 i MAT101 (5 av 6 milepælssjekker i pensum). For per-modul-analyse grupperer forskernes Analytics-ark innleveringene i fire tidsvindu-bøtter etter innleveringsdato (etikettene «modul 1–4» under refererer til disse analytiske grupperingene, ikke kursets milepælssjekk-nummerering). R² per modul varierte fra 0,62 (modul 2, n = 319) til 0,77 (modul 4, n = 171), mens modul 1 og 3 lå på henholdsvis 0,69 og 0,70. MAE varierte fra 0,50 poeng (modul 3, den tetteste) til 0,76 poeng (modul 1, den løseste). Bestått/ikke-bestått-samsvar ved 3,0/6-grensen lå mellom 85 % og 93 % på tvers av de fire bøttene, med modul 3 høyest på 92,9 %.

Disse fire grupperingene etter tidsvindu viser variasjon i de observerte sammenligningene. De isolerer ikke fagtema, poengfordeling eller kalibrering som årsak. R² avhenger av poengfordelingen så vel som den tilpassede sammenhengen, og bør derfor leses sammen med absolutte avvik og uenigheter ved grensen. Oversikten kan styre nærmere gjennomgang av besvarelser; den fastslår ikke alene hvilke temaer systemet verifiserer pålitelig eller hvor mye manuell gjennomgang de krever.

Hvordan påvirket AI-bruk samsvar mellom sensorer på MAT111?

Dette er funnet som er mest sannsynlig å få institusjonelle kjøpere til å stoppe opp, og grunnen til at det rapporteres her. I MAT111-studien ble 20 tilfeldige besvarelser vurdert fire ganger hver: to ganger av et menneske alene og to ganger av et menneske med AI-assistanse, fordelt på 11 student-assistent-sensorer. Samsvaret mellom sensorer — målt som ICC(2,1), standard intra-klasse-korrelasjon for absolutt samsvar — falt fra 0,874 (kun menneske) til 0,608 (menneske + AI). På de samme 20 besvarelsene steg andelen av total karaktervarians som skyldtes hvilken sensor som håndterte besvarelsen fra 3,7 % (kun menneske) til 26,3 % (menneske + AI). En ANOVA fant at AI-bruk signifikant økte sensor-avhengig varians (p = 0,0098).

Ingen signifikant forskyvning i gjennomsnittskarakter ble påvist: sensorer med AI ga i gjennomsnitt 0,23 poeng lavere enn sensorer uten AI på utvalget med 20 besvarelser (p = 0,199, lmer) og 0,10 poeng lavere i hele populasjonen (p = 0,58, lmer). Resultatene beviser ikke fravær av en systematisk forskjell. I hele populasjonen ga en ANOVA som sammenlignet varians etter metode p = 0,058: under α = 0,1, men ikke under α = 0,05. Dette er svakere evidens enn funnet fra de 20 besvarelsene og bør ikke fremstilles som en entydig gjentakelse i hele kullet.

To mulige forklaringer bør undersøkes. Sensorene brukte en tidlig prototype med en vurderingsmatrise som ikke var tilpasset på forhånd, så kjennskap til verktøyet og matrisetolkning kan ha spilt inn. Gjennomgang av AI-forslag kan også endre hvordan sensorene kommer frem til poeng. Studien skiller ikke mellom disse forklaringene eller fastslår at opplæring og tilpasning ville gjenopprettet det observerte tapet av samsvar.

Hvordan opplevde studentene AI-tilbakemeldingen sammenlignet med tilbakemelding fra faglærer og medstudenter?

To studiedesign, to svar. I MAT101 (n = 127 respondenter fra 848-studenter-opplevelses-kullet) fikk studentene faglærer-, medstudent- og AI-tilbakemelding side om side på samme innlevering, og AI ble vurdert lavest på begge målene: lese-andeler faglærer 94 % / medstudenter 89 % / AI 57 %; nytte på 1–7-skala faglærer 5,72 (varians 0,73) / medstudenter 4,96 (varians 0,79) / AI 4,38 (varians 1,80); alle parvise forskjeller signifikante (Wilcoxon, Bonferroni-justert, p < 0,01). Fritekst-kommentarer fordelte seg omtrent slik: ~55 % «upålitelig eller unøyaktig», ~30 % «inkonsistent med faglærer», ~20 % «ikke moden nok til å rulles ut», ~15 % «nyttig til eksamenstrening». På et 58-studenters utvalg som leste alle tre kilder gjorde medstudenter det litt bedre enn AI på deloppgave-for-deloppgave-samsvar med faglæreren (medstudenter MAE 0,52, AI MAE 0,74).

I MAT111 fikk hver student bare én tilbakemeldingsbetingelse (menneske+AI eller uten AI) og visste ikke hvilken. Ingen signifikant nytteforskjell ble påvist (koeffisient 0,20, p = 0,45 på lineær regresjon; gjennomsnittlig nytte 5,1/7 i kullet, 138 av 150 respondenter leste tilbakemeldingen). En ikke-signifikant forskjell fastslår ikke likeverdighet. AI-betingelsen omfattet menneskelig bearbeiding og tester derfor ikke AI-tilbakemelding uten gjennomgang.

Begge funnene svarer på avgrensede spørsmål. MAT101 undersøker hvordan studentene vurderer tre tilbakemeldingskilder presentert sammen; AI ble vurdert lavest. MAT111 sammenligner menneskebearbeidet AI-tilbakemelding med tilbakemelding laget uten AI i et design med én betingelse per student; ingen signifikant nytteforskjell ble påvist. Emne, oppgave, presentasjon og menneskelig bearbeiding er forskjellige, så studiene kan ikke identifisere presentasjonen som årsak til kontrasten. En kontrollert sammenligning med tre grupper (bare AI, bare medstudenter og bare faglærer) kan bidra til å skille disse effektene. Utfall på senere oppgaver og underviserens arbeidsmengde ved gjennomgang er også spørsmål for oppfølgingsforskning.

Hvilken tilstand var Lectora-prototypen i på studietidspunktet, og hva har endret seg siden?

Studiene høsten 2025 evaluerte en tidlig Lectora-prototype. MAT111-vurderingssamlingen var det dokumenterte kullets første møte med AI-assistert vurdering; MAT101 gikk samme semester. Resultatene beskriver den prototypen i de emnene. De fastslår ikke hvordan dagens versjon presterer, og videreutvikling er ikke evidens for at de observerte problemene er løst.

MAT111-funnet om sensorvarians er fortsatt relevant for en institusjon som vurderer en pilot. En emnespesifikk evaluering bør undersøke både utkastet og hvordan ulike sensorer bruker det. Opplæring er en rimelig del av evalueringen, men effekten må måles. Prediksjonsintervallene omtalt i valideringsmetoden hører til en retrospektiv MED12-simulering og nettstedets simulator; de er ikke en påstand om at dagens vurderingsgrensesnitt gir kalibrerte poengintervaller.

Hvordan leser og verifiserer Lectora håndskrevet matematikk i dag?

Matematikkbesvarelser kan inneholde skannede sider, bilder og maskinskrevne utregninger. Lectoras dokumentflyt gjør innholdet tilgjengelig for vurdering mot emnets vurderingsmatrise. Svake skanninger og tvetydige symboler kan feiltolkes, så underviseren bør kontrollere originalmaterialet ved gjennomgang av utkastet. Forskningen som rapporteres her måler ikke gjenkjenningsnøyaktighet per linje eller fastslår en kalibrert visning av sikkerheten i håndskriftlesing.

For kvantitativt arbeid har vurderingsflyten tilgang til kodekjøring og instruksjoner om å bruke den til kontroller som numeriske svar, algebra, analyse og matriseoperasjoner. Kjørte kontroller kan støtte vurderingen, men tilgang til verktøyet garanterer ikke at hver linje kjøres eller at alle regnefeil oppdages. Også kodens inndata og forutsetninger må være riktige.

En numerisk kontroll og et matematisk bevis har ulike formål. Beregning av et integral eller en matriseoperasjon kan bidra til å kontrollere et resultat; testing av et induksjonssteg med representative verdier beviser det ikke for alle verdier. Vurderingsmatrisen styrer den foreslåtte uttellingen, og sensor gjennomgår både resonnementet og poengforslaget.

Hvordan håndterer Lectora delpoeng, symbolsk ekvivalens og notasjon?

Delpoeng krever en tydelig vurderingsmatrise. En student som identifiserer basistilfellet og induksjonshypotesen, men gjør en algebrafeil i induksjonssteget, har vist annet arbeid enn en student som utelater induksjonen helt. Hvis matrisen gir separate poeng for disse delene, kan Lectora bruke dem når det lager et poengforslag og en forklaring. Sensor avgjør om foreslåtte metodepoeng og trekk er begrunnet; studiene fastslår ikke riktig delpoengfordeling for hvert bevis.

Ekvivalente uttrykk kan fortjene samme uttelling når matrisen tillater begge former. For eksempel er 2(x+1) og 2x+2 ekvivalente; e^(ln x) og x krever definisjonsbetingelsen x > 0 over de reelle tallene. Lectora kan vurdere slike uttrykk i vurderingsutkastet, men dette er ikke en påstand om en universell symbolsk verifikator. Forutsetninger om definisjonsmengde og krav til forenklet eller faktorisert form må kontrolleres mot oppgaven og matrisen.

Notasjon kan være et eget kriterium når matrisen definerer det. Variabeldefinisjoner, mengdesymboler og skillet mellom likhet, ekvivalens og implikasjon kan da vurderes separat fra metode. Lectora lager utkast mot disse kriteriene, og sensor kontrollerer foreslåtte trekk og redigerer forklaringen før den når studenten.

Hva bør en institusjon som vurderer AI-vurderingsverktøy ta med seg fra denne forskningen?

UiB-forskningen høsten 2025 gir institusjoner grunner til å evaluere AI-assistert vurdering grundig. MAT101 rapporterte R² = 0,68 og 87,7 % bestått/ikke-bestått-samsvar med faglæreren ved grensen 3,0/6, sammen med avvik i enkeltpoeng. MAT111 fant lavere sensorsamsvar med AI-assistanse, mens tilbakemeldingsundersøkelsen ikke påviste noen signifikant nytteforskjell (p = 0,45). Samlet fastslår funnene ikke at verktøyet er klart for utrulling i stor skala, at tilbakemeldingskvaliteten er likeverdig, eller hvordan andre vurderingsverktøy presterer.

En emnespesifikk evaluering kan sammenligne utkast med tidligere vurderte besvarelser under samme matrise, og undersøke R² sammen med absolutte avvik, grensebeslutninger og samsvar mellom flere sensorer som bruker verktøyet. Et utvalg på 50–200 besvarelser er et mulig utgangspunkt å diskutere, ikke et validert minimum eller en garanti for tilstrekkelig evidens. Den publiserte metoden forklarer målene for poengsammenligning. Sensorkalibrering er også verdt å evaluere: MAT111-fallet i ICC fra 0,87 til 0,61 gir grunn til å undersøke hvordan sensorer bruker et utkast, men studien hadde ingen sammenligningsgruppe med opplæring og kan ikke vise at opplæring lukker gapet.

Hvis du vil evaluere Lectora med emnets besvarelser og vurderingsmatrise, be om tilgang for å diskutere en pilot. Samme samtale kan omfatte oppfølgingsforskning: å skille effekter av tilbakemeldingskilde og presentasjon, måle utfall på senere vurderinger eller undersøke underviserens arbeidsmengde ved gjennomgang. Studiedesign og Lectoras rolle bør avtales med institusjonen før arbeidet starter.