Dette viser tolv kliniske eksamener ved UiB om AI-støttet vurdering

Om valideringen ved UiB medisin

MED12-sammenligningen gjelder den avsluttende integrerte kliniske eksamenen ved Det medisinske fakultet, Universitetet i Bergen. Den omfatter tolv gjennomføringer, 889 kandidat-eksamen-par og rundt 43 700 deloppgavesammenligninger på lange skriftlige eksamener. Rapportert R² var 0,85 for Lectora mot faglæreren og 0,64 mellom de to menneskelige sensorene på samme materiale; sammenligningen på den summative eksamenen nådde 0,86.

De menneskelige sensorene hadde allerede vurdert besvarelsene. Lectora ble kjørt blindt mot de samme besvarelsene og vurderingsmatrisen, uten tilgang til noen av sensorenes poeng. Dette er dermed en sammenligning med eksisterende referansepoeng, ikke dokumentasjon på at fakultetet erstattet vurderingsprosessen med simuleringen nedenfor.

De skriftlige kliniske oppgavene omhandler blant annet differensialdiagnostikk, anamnese, begrunnelse for behandlingsplan, prøvebestilling og etisk eller juridisk resonnering. Vurderingsmatrisen og sensorveiledningen angir hva hvert svar skal vise. Studien måler poengsamsvar; den validerer ikke hver type klinisk resonnering eller kvaliteten på den genererte tilbakemeldingen separat.

Simulatoren nedenfor viser kandidatpoeng med eksamenskoder. Det separate eksempelet på medisinsk vurdering er et fiktivt undervisningskasus, ikke et utdrag fra dette valideringsdatasettet.

Hvordan fungerer simuleringen av målrettet manuell vurdering?

Den retrospektive metoden går gjennom fem trinn. Først tar den utgangspunkt i et poengutkast for hver kandidat og allerede tilgjengelige referansepoeng fra sensor. Deretter velges et stratifisert kalibreringssett på fjorten kandidater: åtte fra den nedre delen av AI-poengfordelingen, fire rundt bestått-grensen og to fra toppen. Det gir et utvalg fra flere deler av fordelingen, ikke bare midten.

I tredje trinn knytter en lineær regresjon AI-utkastet til sensorpoengene i kalibreringssettet. Ved standardnivået på 99 % gjenspeiler prediksjonsintervallene den tilpassede modellens residualvariasjon og hver kandidats plassering i forhold til kalibreringsdataene. I fjerde trinn får kandidater valgt ut av terskelregelen ytterligere manuelle poeng i simuleringen, og regresjonen tilpasses på det utvidede referansesettet.

I femte trinn viser den valgfrie referansefasen resten av sensorpoengene, slik at de kalibrerte estimatene kan sammenlignes med hele referansedatasettet. Dette er et analysetrinn i simulatoren. Det gjør ikke formell sensorgodkjenning valgfri, og verken referansefasen eller et prediksjonsintervall garanterer riktige bestått/ikke-bestått-avgjørelser for et annet kull.

Denne trinnvise visningen bruker 99 % prediksjonsintervaller og en standardgrense på 70 % av kullets P90. Sammenligningssimulatoren på valideringssiden tilbyr også intervallnivåer på 90 % og 95 %. Dette er antakelser for å utforske den retrospektive metoden, ikke anbefalte bestått-grenser eller kontroller for modellsikkerhet som aktiveres i produktet. Bredere intervaller kan føre flere kandidater inn i utvalget for gjennomgang. Institusjonen fastsetter sin egen vurderingsgrense.

Hvilken reduksjon i manuell vurdering fant simuleringen?

På tvers av de tolv eksamenene ville metoden krevd manuelle poeng på 12 694 av de 41 733 sensor-oppgave-parene i en full gjennomgang: 69,6 % færre, avrundet til 70 %. Et oppgavepar er én vurderingsenhet for en sensor og en oppgave i denne analysen. Det er ikke et minutt med arbeid, og antallet måler ikke tiden det tar å lese, gjennomgå, rette eller godkjenne en vurdering.

Reduksjonen per eksamen varierte fra omtrent 40 % til omtrent 84 %. Kullstørrelse og konsentrasjonen av kandidater rundt bestått-grensen påvirket resultatet. Et fast kalibreringssett på fjorten kandidater utgjør en større andel av et lite kull; en tett gruppe nær grensen krever flere ekstra referansepoeng. Simulatoren lar leseren undersøke forskjellene fremfor å anta at alle eksamener gir samme resultat.

Simuleringen bruker kalibrerte estimater for kandidater utenfor utvalget for manuell vurdering. Dette modellvalget er ikke en påstand om at disse kandidatene trygt kan unntas fra gjennomgang i praksis. Resultatet gjelder de undersøkte dataene og én bestått-grense, ikke en bokstavkarakterskala eller en garanti for fremtidige eksamener. I Lectoras produktarbeidsflyt gjennomgår og godkjenner en kvalifisert sensor hver karakter før publisering.

Hvordan kan Lectora støtte vurdering av skriftlig klinisk resonnering?

Sensorveiledningen kan skille mellom studentens konklusjon og begrunnelsen som gis. Differensialdiagnostikk, anamnese, begrunnelse for behandlingsplan, prøvebestilling og etisk eller juridisk resonnering kan inngå i vurderingen når matrisen angir det. Lectora foreslår poeng og skriftlige forklaringer ut fra materialet som er gitt; sensor avgjør om forslagene stemmer med besvarelsen og emnets krav.

Ved differensialdiagnostikk kan et svar måtte sammenligne alternativer og begrunne en prioritering med opplysningene i kasuset. Sensor avgjør hvilke alternativer som er akseptable, og om et uvanlig, men godt begrunnet resonnement gir uttelling. AI-utkastet kan bidra til å strukturere gjennomgangen, men avgjør ikke om svaret er klinisk gyldig.

I en skriftlig anamneseoppgave kan veiledningen angi hvilke spørsmål, observasjoner og manglende opplysninger studenten bør ta opp. Sensor kan bruke utkastet til å undersøke utelatelser og studentens forklaring av relevans. Dette utvider ikke den publiserte dokumentasjonen til praktiske kliniske ferdigheter, pasientbehandling eller OSCE-stasjoner.

Etiske og juridiske spørsmål kan skille mellom å navngi et prinsipp og å anvende det på de oppgitte fakta. Vurderingsmatrisen styrer den foreslåtte uttellingen. Kliniske og juridiske henvisninger må fortsatt kontrolleres av sensor; modellen er ikke en selvstendig autoritet på gjeldende regler.

Hva dokumenterer sammenligningen med menneskelige sensorer?

På lange skriftlige eksamener i MED12-datasettet hadde Lectora mot faglæreren R² = 0,85, sammenlignet med R² = 0,64 mellom to menneskelige sensorer på samme materiale. Dette er en sterkere tilpasset lineær sammenheng i denne sammenligningen. R² alene måler ikke størrelsen på individuelle poengforskjeller, beviser ikke at en karakter er riktig, og dokumenterer ikke en generell fordel over menneskelige sensorer.

Omfanget er viktig når et annet emne vurderes. Den medisinske sammenhengen gjør sammenligningen relevant for skriftlig klinisk vurdering, men gir ikke ett nøyaktighetstall for alle kliniske emner, tilbakemeldingskvalitet eller vurderingsformer. En ny evaluering bør bruke institusjonens egne oppgaver, vurderingsmatrise og referansepoeng, med konkrete kontroller ved dens vurderingsgrenser.

Se hele valideringsmetoden for begrensningene ved poengsammenligningen og den retrospektive analysen av målrettet vurdering.