Dette viser skriftlige medisineksamener ved UiB om AI-støttet vurdering

Om valideringen ved UiB medisin

Sammenligningen gjelder lange skriftlige eksamener ved Det medisinske fakultet, Universitetet i Bergen, som sensorene allerede hadde vurdert. Lectora ble kjørt blindt mot de samme besvarelsene og vurderingsmatrisen, uten tilgang til noen av sensorenes poeng. Utkastet samsvarte med faglæreren ved R² = 0,85; to menneskelige sensorer samsvarte med hverandre ved R² = 0,64 på samme materiale.

De skriftlige kliniske oppgavene omhandler blant annet differensialdiagnostikk, anamnese, begrunnelse for behandlingsplan, prøvebestilling og etisk eller juridisk resonnering. Vurderingsmatrisen og sensorveiledningen angir hva hvert svar skal vise. Studien måler poengsamsvar; den validerer ikke hver type klinisk resonnering eller kvaliteten på den genererte tilbakemeldingen separat.

Emnekoder, eksamensidentitet og data på kandidatnivå publiseres ikke. Det separate eksempelet på medisinsk vurdering er et fiktivt undervisningskasus, ikke et utdrag fra dette datasettet.

Hvordan holder målrettet manuell vurdering sensor i løkken?

Å vurdere hvert fritekstsvar fullt ut er den dyreste delen av en skriftlig eksamen. Målrettet manuell vurdering beholder en menneskelig vurdering av hver kandidat, men samler den detaljerte poenggivningen der avgjørelsen om bestått trenger den.

Lectora foreslår først poeng for hvert svar. Deretter vurderer sensorene et lite utvalg uten å se utkastene, noe som viser hvordan Lectoras poeng forholder seg til vurderingsnivået på akkurat denne eksamenen. Besvarelser der det er tvil om bestått eller ikke bestått, går til full manuell vurdering. Sensorene går gjennom de øvrige utkastene, og en kvalifisert sensor godkjenner hver karakter før den publiseres.

Kalibreringen er lokal: den kommer fra sensorenes egne poeng på den aktuelle eksamenen, ikke fra en generell modellinnstilling. De detaljerte reglene for kalibrering og utvelgelse deles med deltakende institusjoner i stedet for å publiseres, mens arbeidsflyten verifiseres fremover i piloter.

Hva fant den retrospektive simuleringen?

Kjørt på tidligere eksamener som sensorene allerede hadde vurdert fullt ut, trengte metoden om lag 70 % færre manuelt vurderte oppgaver enn en full manuell gjennomgang ved én grense for bestått. Besparelsen varierte mellom eksamenene: mindre kull, og eksamener med mange kandidater nær grensen, sparte mindre.

Dette er simulerte oppgavetall, ikke minutter. De måler ikke tiden det tar å lese, gjennomgå eller godkjenne en vurdering, og de gjelder én grense for bestått, ikke en bokstavkarakterskala. I simuleringen fikk kandidater utenfor gruppen med full vurdering kalibrerte estimater; det modellvalget er ikke en påstand om at de kan unntas fra gjennomgang i praksis.

Hvordan kan Lectora støtte vurdering av skriftlig klinisk resonnering?

Sensorveiledningen kan skille mellom studentens konklusjon og begrunnelsen som gis. Differensialdiagnostikk, anamnese, begrunnelse for behandlingsplan, prøvebestilling og etisk eller juridisk resonnering kan inngå i vurderingen når matrisen angir det. Lectora foreslår poeng og skriftlige forklaringer ut fra materialet som er gitt; sensor avgjør om forslagene stemmer med besvarelsen og emnets krav.

Ved differensialdiagnostikk kan et svar måtte sammenligne alternativer og begrunne en prioritering med opplysningene i kasuset. Sensor avgjør hvilke alternativer som er akseptable, og om et uvanlig, men godt begrunnet resonnement gir uttelling. AI-utkastet kan bidra til å strukturere gjennomgangen, men avgjør ikke om svaret er klinisk gyldig.

I en skriftlig anamneseoppgave kan veiledningen angi hvilke spørsmål, observasjoner og manglende opplysninger studenten bør ta opp. Sensor kan bruke utkastet til å undersøke utelatelser og studentens forklaring av relevans. Dette utvider ikke den publiserte dokumentasjonen til praktiske kliniske ferdigheter, pasientbehandling eller OSCE-stasjoner.

Etiske og juridiske spørsmål kan skille mellom å navngi et prinsipp og å anvende det på de oppgitte fakta. Vurderingsmatrisen styrer den foreslåtte uttellingen. Kliniske og juridiske henvisninger må fortsatt kontrolleres av sensor; modellen er ikke en selvstendig autoritet på gjeldende regler.

Hva dokumenterer sammenligningen med menneskelige sensorer?

På lange skriftlige eksamener ved Det medisinske fakultet hadde Lectora mot faglæreren R² = 0,85, sammenlignet med R² = 0,64 mellom to menneskelige sensorer på samme materiale. Dette er en sterkere tilpasset lineær sammenheng i denne sammenligningen. R² alene måler ikke størrelsen på individuelle poengforskjeller, beviser ikke at en karakter er riktig, og dokumenterer ikke en generell fordel over menneskelige sensorer.

Omfanget er viktig når et annet emne vurderes. Den medisinske sammenhengen gjør sammenligningen relevant for skriftlig klinisk vurdering, men gir ikke ett nøyaktighetstall for alle kliniske emner, tilbakemeldingskvalitet eller vurderingsformer. En ny evaluering bør bruke institusjonens egne oppgaver, vurderingsmatrise og referansepoeng, med konkrete kontroller ved dens vurderingsgrenser.

Se valideringsmetoden for hva poengsammenligningen måler, og hvor grensene går.