Kan AI brukes til å vurdere studentmatematikk?

Om UiB-forskningen

Forskningsprosjektet søkte evidensbaserte måter å gi effektiv tilbakemelding på i store innføringsemner i matematikk. Høsten 2025 gjennomførte forskere ved Matematisk institutt og Senter for utdanningsforskning innen STEM ved Universitetet i Bergen to parallelle studier, én i hvert av to store førsteårsemner. Lectora var AI-verktøyet forskerne evaluerte; vi leverte en tidlig prototype, men hadde ingen rolle i studiedesign, datainnsamling eller analyse.

Sensorsamsvarsstudien brukte AI som vurderingspartner på en obligatorisk oppgave. Besvarelsene ble tilfeldig fordelt til vurdering uten AI eller til vurdering med et AI-utkast, og studentene visste ikke hvilken betingelse de var i. Et utvalg besvarelser ble vurdert flere ganger av ulike sensorer for å måle samsvaret mellom dem, og en oppfølgende undersøkelse spurte studentene hvor nyttig de opplevde tilbakemeldingen.

Milepælsstudien brukte AI som én av tre tilbakemeldingskilder på milepælsinnleveringer. Hver student fikk tilbakemelding fra faglærer, fra medstudenter og fra Lectora side om side, og poengene i AI-utkastet ble sammenlignet med faglærerens. En oppfølgende undersøkelse spurte hvilken tilbakemelding studentene leste, og hvor nyttig de opplevde hver kilde.

Matematikkeksemplet bruker fiktive besvarelser, utarbeidede tilbakemeldingseksempler og illustrerende kulldata. Det viser ikke studenter i noen av emnene eller målte resultater fra denne forskningen.

Samsvarte AI-utkastet med faglærerens poeng?

I milepælsstudien samsvarte Lectoras utkast med faglærerens poeng ved R² = 0,68 på en 0–6-skala, og de to var enige om bestått eller ikke bestått for om lag 88 % av innleveringene. Uenighetene gikk begge veier og samlet seg nær grensen for bestått. I gjennomsnitt lå utkastet litt under faglæreren, mest i øvre del av skalaen. Et lavere poengforslag er ikke i seg selv tryggere; det kan også gå ut over en student hvis det godtas uten gjennomgang.

R² beskriver den tilpassede lineære sammenhengen med faglærerens poeng i dette datasettet. Vi har ikke publisert R² mellom to menneskelige sensorer for matematikk å stille ved siden av, og R² alene fastslår ikke riktige enkeltpoeng eller redusert arbeidsmengde ved gjennomgang.

Hvordan påvirket AI-assistanse samsvaret mellom sensorer?

Dette er funnet som mest sannsynlig får institusjonelle kjøpere til å stoppe opp, og grunnen til at det rapporteres her. I sensorsamsvarsstudien falt samsvaret mellom sensorer, målt som ICC, fra 0,87 ved vurdering uten AI til 0,61 når sensorene brukte AI-assistanse. Andelen av karaktervariasjonen som skyldtes hvilken sensor som vurderte besvarelsen, steg fra 3,7 % til 26 %. Det ble ikke påvist noen signifikant endring i gjennomsnittskarakter, noe som ikke beviser at det ikke fantes en.

To mulige forklaringer bør undersøkes. Sensorene brukte en tidlig prototype med en vurderingsmatrise som ikke var tilpasset på forhånd, så kjennskap til verktøyet og matrisetolkning kan ha spilt inn. Gjennomgang av AI-forslag kan også endre hvordan sensorene kommer frem til poeng. Studien skiller ikke mellom disse forklaringene og fastslår ikke at opplæring og tilpasning ville gjenopprettet det tapte samsvaret.

Hvordan opplevde studentene AI-tilbakemeldingen?

To studiedesign, to svar. I milepælsstudien så studentene tilbakemelding fra faglærer, medstudenter og AI side om side på samme innlevering. De leste AI-tilbakemeldingen minst og vurderte den som signifikant mindre nyttig enn begge de menneskelige kildene, og kommentarene beskrev den ofte som upålitelig eller inkonsistent med faglæreren.

I sensorsamsvarsstudien fikk hver student bare én betingelse, menneskebearbeidet AI-tilbakemelding eller tilbakemelding uten AI, og visste ikke hvilken. Det ble ikke påvist noen signifikant nytteforskjell (p = 0,45). En ikke-signifikant forskjell fastslår ikke likeverdighet, og AI-betingelsen omfattet menneskelig bearbeiding, så den tester ikke AI-tilbakemelding uten gjennomgang.

Når studentene kunne se kilden, foretrakk de mennesket; når de ikke kunne se den, ble det ikke påvist noen forskjell. Emne, oppgave, presentasjon og bearbeiding er forskjellige i de to studiene, så de kan ikke identifisere presentasjonen som årsak. En kontrollert sammenligning av tilbakemelding fra bare AI, bare medstudenter og bare faglærer kan bidra til å skille disse effektene.

Hvilken tilstand var prototypen i, og hva har endret seg siden?

Studiene høsten 2025 evaluerte en tidlig Lectora-prototype, og resultatene beskriver den prototypen i de emnene. De fastslår ikke hvordan dagens versjon presterer, og videreutvikling er ikke evidens for at de observerte problemene er løst. Funnet om sensorsamsvar er fortsatt relevant for enhver institusjon som vurderer en pilot: en evaluering bør undersøke både utkastet og hvordan ulike sensorer bruker det.

Hvordan leser og verifiserer Lectora håndskrevet matematikk i dag?

Matematikkbesvarelser kan inneholde skannede sider, bilder og maskinskrevne utregninger. Lectoras dokumentflyt gjør innholdet tilgjengelig for vurdering mot emnets vurderingsmatrise. Svake skanninger og tvetydige symboler kan feiltolkes, så underviseren bør kontrollere originalmaterialet ved gjennomgang av utkastet. Forskningen som rapporteres her, måler ikke gjenkjenningsnøyaktighet per linje og fastslår ikke en kalibrert visning av sikkerheten i håndskriftlesing.

For kvantitativt arbeid har vurderingsflyten tilgang til kodekjøring og instruksjoner om å bruke den til kontroller som numeriske svar, algebra, analyse og matriseoperasjoner. Kjørte kontroller kan støtte vurderingen, men tilgang til verktøyet garanterer ikke at hver linje kjøres eller at alle regnefeil oppdages. Også kodens inndata og forutsetninger må være riktige.

En numerisk kontroll og et matematisk bevis har ulike formål. Beregning av et integral eller en matriseoperasjon kan bidra til å kontrollere et resultat; testing av et induksjonssteg med representative verdier beviser det ikke for alle verdier. Vurderingsmatrisen styrer den foreslåtte uttellingen, og sensor gjennomgår både resonnementet og poengforslaget.

Hvordan håndterer Lectora delpoeng, symbolsk ekvivalens og notasjon?

Delpoeng krever en tydelig vurderingsmatrise. En student som identifiserer basistilfellet og induksjonshypotesen, men gjør en algebrafeil i induksjonssteget, har vist annet arbeid enn en student som utelater induksjonen helt. Hvis matrisen gir separate poeng for disse delene, kan Lectora bruke dem når det lager et poengforslag og en forklaring. Sensor avgjør om foreslåtte metodepoeng og trekk er begrunnet; studiene fastslår ikke riktig delpoengfordeling for hvert bevis.

Ekvivalente uttrykk kan fortjene samme uttelling når matrisen tillater begge former. For eksempel er 2(x+1) og 2x+2 ekvivalente; e^(ln x) og x krever definisjonsbetingelsen x > 0 over de reelle tallene. Lectora kan vurdere slike uttrykk i vurderingsutkastet, men dette er ikke en påstand om en universell symbolsk verifikator. Forutsetninger om definisjonsmengde og krav til forenklet eller faktorisert form må kontrolleres mot oppgaven og matrisen.

Notasjon kan være et eget kriterium når matrisen definerer det. Variabeldefinisjoner, mengdesymboler og skillet mellom likhet, ekvivalens og implikasjon kan da vurderes separat fra metode. Lectora lager utkast mot disse kriteriene, og sensor kontrollerer foreslåtte trekk og redigerer forklaringen før den når studenten.

Hva bør en institusjon som vurderer AI-vurderingsverktøy ta med seg fra denne forskningen?

UiB-forskningen gir institusjoner grunner til å evaluere AI-assistert vurdering grundig. Poengsamsvaret med faglæreren holdt, sensorsamsvaret falt med AI-assistanse på den tidlige prototypen, og tilbakemeldingsresultatene avhang av om studentene kunne se kilden. Samlet fastslår funnene ikke at verktøyet er klart for utrulling i stor skala, eller at tilbakemeldingskvaliteten er likeverdig.

En emnespesifikk evaluering kan sammenligne utkast med tidligere vurderte besvarelser under samme matrise, og undersøke R² sammen med absolutte avvik, grensebeslutninger og samsvar mellom flere sensorer som bruker verktøyet. Sensorkalibrering er også verdt å evaluere: fallet i sensorsamsvar gir grunn til å undersøke hvordan sensorer bruker et utkast, men studien hadde ingen sammenligningsgruppe med opplæring og kan ikke vise at opplæring lukker gapet.

Hvis du vil evaluere Lectora med emnets besvarelser og vurderingsmatrise, be om tilgang for å diskutere en pilot. Samme samtale kan omfatte oppfølgingsforskning, for eksempel å skille effekter av tilbakemeldingskilde og presentasjon, måle utfall på senere vurderinger eller undersøke sensorenes arbeidsmengde ved gjennomgang. Studiedesign og Lectoras rolle bør avtales med institusjonen før arbeidet starter.