Hvordan måles Lectoras karaktersamsvar?

Hva betyr R² i vurderingssammenheng?

R², determinasjonskoeffisienten, beskriver andelen variasjon som en tilpasset modell forklarer. I de lineære poengsammenligningene som rapporteres her, beskriver den hvor tett poengsummene følger en tilpasset linje. Den måler ikke prosentandelen riktige karakterer eller størrelsen på forskjellene mellom enkeltpoengsummer.

R² = 1,0 betyr at observasjonene ligger på den tilpassede linjen; det krever ikke at de to sensorene gir identiske poeng. En systematisk forskyvning eller forskjell i skala kan fortsatt finnes. R² = 0,0 betyr at den tilpassede modellen ikke forklarer noe av variasjonen rundt gjennomsnittet i denne sammenligningen, ikke at en sensor tar tilfeldige beslutninger.

Sammenligningen på skriftlige eksamener ved Det medisinske fakultet ved Universitetet i Bergen rapporterer R² = 0,85 for Lectora mot faglæreren og R² = 0,64 mellom de to menneskelige sensorene. Dette er resultater på det datasettet, ikke et universelt spenn for menneskelig vurdering. For å vurdere samsvar må man også undersøke poengforskjeller og konsekvensene ved vurderingens beslutningsgrenser.

Hvilket grunnlag er det for at Lectora er nøyaktig?

Grunnlaget kommer fra tre løpende akademiske samarbeid. Det publiserte ankeret er et sett lange skriftlige eksamener ved Det medisinske fakultet ved Universitetet i Bergen. Egne studier dekker håndskrevet matematikk ved Matematisk institutt ved UiB, skrevet ut i matematikkstudien, mens NHH Finans er en løpende pilot på lange analytiske svar. Studiene har ulike oppgaver, design og resultatmål.

To uavhengige menneskelige sensorer hadde allerede vurdert medisinbesvarelsene, noe som ga grunnlinjen R² = 0,64. Lectora ble kjørt blindt på de samme besvarelsene og vurderingsmatrisen uten tilgang til noen av sensorenes poeng. Sammenligningen med faglærerens referansepoeng ga R² = 0,85. Emnekoder, eksamensidentitet og data på kandidatnivå publiseres ikke.

Den publiserte matematikkstudien rapporterer poengsammenligningen fra milepælsstudien og funnene om sensorsamsvar fra sensorsamsvarsstudien, inkludert der AI-assistanse gjorde det dårligere. Resultater per kull i finans publiseres ikke; pilotsammendraget deles med emneansvarlig. Medisinresultatet fastslår ikke resultatet for et annet emne, en annen vurderingsmatrise eller en annen vurderingsform.

Lectora (0–100) ↑

Faglærer (0–100) →

Hvor enige er menneskelige sensorer med hverandre?

De to uavhengige menneskelige sensorene på de skriftlige medisineksamenene ved Det medisinske fakultet ved Universitetet i Bergen hadde R² = 0,64. Casestudien fra UiB Medisin forklarer sammenligningen. Det er en målt grunnlinje for disse eksamenene, ikke en generell målestokk for alle menneskelige sensorer.

I den separate sensorsamsvarsstudien ved Matematisk institutt ved UiB hadde studentsensorer som vurderte de samme besvarelsene, en ICC mellom sensorer på 0,87; med AI-assistanse falt ICC til 0,61 på den tidlige prototypen, og andelen av karaktervariansen som kan tilskrives sensoren, steg fra 3,7 % til 26 %. ICC og R² er ulike statistiske mål og kan ikke rangeres mot hverandre som om de målte det samme. Fag, vurderingsmatrise, studiedesign og sensorkalibrering har betydning for tolkningen.

Ulik tolkning av vurderingsmatrisen kan gi ulike poeng på samme svar. En institusjon som vurderer Lectora, bør undersøke disse forskjellene på eget vurderingsmateriale sammen med den samlede statistikken.

Er Lectora mer konsistent enn menneskelige sensorer?

Medisinsammenligningen fant høyere R² for Lectora mot faglæreren (0,85) enn mellom de to menneskelige sensorene (0,64). Det er en sterkere lineær sammenheng i denne sammenligningen; R² alene fastslår ikke at enkeltkarakterer er riktige, at gjennomgang tar kortere tid eller at resultatet gjelder for et annet emne.

Sensorsamsvarsstudien i matematikk er også en del av dokumentasjonen: AI-assistanse reduserte ICC mellom sensorer på prototypen som ble testet. Søsterstudien, milepælsstudien, fant at poengsamsvaret holdt på R² = 0,68 mot faglæreren, med om lag 88 % samsvar om bestått eller ikke bestått, så de to resultatene må leses sammen og ikke ett om gangen. Institusjoner bør vurdere kvaliteten på utkastene og arbeidet med gjennomgang i sin egen sammenheng.

I produktets arbeidsflyt gjennomgår og godkjenner en kvalifisert sensor hver karakter før publisering. De publiserte studiene støtter evalueringen; de erstatter ikke sensors gjennomgang og validerer ikke alle funksjoner i Lectora.

Hva betyr dette for arbeidsbelastningen? Målrettet manuell vurdering ved bestått-grensen

Målrettet manuell vurdering spør hvor få besvarelser sensor må vurdere fullt ut for at en avgjørelse om bestått skal holde, samtidig som hver kandidat beholder en menneskelig vurdering. Lectora foreslår poeng for hver besvarelse. Sensorene vurderer et lite utvalg uten å se utkastene, og de poengene kalibrerer Lectoras utkast til vurderingsnivået på den aktuelle eksamenen. Alle besvarelser der det fortsatt er tvil om bestått eller ikke bestått, går til full manuell vurdering; sensorene går gjennom de øvrige utkastene, og en kvalifisert sensor godkjenner hver karakter.

SENSOR I LØKKEN · SLIK FORDELES VURDERINGSARBEIDET

1. 1Lectora

   Utkast til hver besvarelse

   Lectora foreslår poeng for hvert svar ut fra vurderingsmatrisen og sensorveiledningen.

2. 2Sensorer

   Kalibrering mot et menneskelig utvalg

   Sensorene vurderer et lite utvalg uten å se utkastene, og Lectoras poeng tilpasses deres vurderingsnivå for akkurat denne eksamenen.

3. 3Sensorer

   Usikre besvarelser vurderes fullt ut

   Alle besvarelser der det er tvil om bestått eller ikke bestått, går til full manuell vurdering.

4. 4Sensorer

   Sensor godkjenner hver karakter

   Sensorene går gjennom de øvrige utkastene, og en kvalifisert sensor godkjenner hver karakter før den publiseres.

Evaluert retrospektivt på tidligere skriftlige eksamener ved Det medisinske fakultet, Universitetet i Bergen, trengte metoden om lag 70 % færre manuelt vurderte oppgaver enn en full manuell gjennomgang ved én grense for bestått. Besparelsen var mindre for små kull og for eksamener der mange kandidater lå nær grensen.

Dette er simulerte oppgavetall, ikke målte minutter eller et resultat for en bokstavkarakterskala, og kalibreringen garanterer ikke riktige avgjørelser for et nytt kull. De detaljerte reglene for kalibrering og utvelgelse deles med deltakende institusjoner i stedet for å publiseres, mens arbeidsflyten verifiseres fremover i piloter. Produktets krav om at en kvalifisert sensor godkjenner hver karakter, gjelder fortsatt.