Det medisinske fakultet
Universitetet i Bergen
R² = 0.85
mot faglæreren
Det publiserte ankeret: 12 gjennomføringer av den avsluttende kliniske eksamenen, 889 kandidat-eksamen-par, vurdert blindt mot samme matrise.
Les studien →VALIDERING
Hvordan er Lectora validert?
Lectora er ikke validert i én enkeltstående studie. Verktøyet er bygget sammen med tre akademiske partnere over flere år, og hvert samarbeid kjører den samme sammenligningen mot den aktuelle faglærerens tidligere vurdering. Det publiserte ankeret er den avsluttende kliniske eksamenen ved Det medisinske fakultet ved Universitetet i Bergen: tolv gjennomføringer, 889 kandidat-eksamen-par på langsvarseksamen, rundt 43 700 deloppgavesammenligninger, kjørt blindt. På tvers av dem samsvarte Lectoras utkast med faglæreren på R² = 0.85, en sterkere tilpasset lineær sammenheng enn de R² = 0.64 som ble rapportert mellom to menneskelige sensorer på samme materiale. Spørsmålet hvert samarbeid stiller er det samme: er utkastet nært nok til å gjennomgås, eller starter du fra bunnen av?
Hvor tett samsvarer Lectora med faglæreren?
På tvers av tolv gjennomføringer av den avsluttende kliniske eksamenen ved Det medisinske fakultet ved Universitetet i Bergen, 889 kandidat-eksamen-par og rundt 43 700 deloppgavesammenligninger, samsvarte Lectoras utkast med faglæreren på R² = 0.85, og nådde 0.86 på den summative eksamenen. De to uavhengige sensorene som allerede hadde vurdert de samme besvarelsene, var enige med hverandre på R² = 0.64. Lectora ble kjørt blindt, mot samme vurderingsmatrise, uten tilgang til noen av sensorenes poeng.
Lectora (0–100) ↑
Faglærer (0–100) →
- Lectora vs. faglærer
- R² = 0.85
- To menneskelige sensorer
- R² = 0.64
12 eksamener · 889 kandidat-eksamen-par · 43 683 sammenligninger
Punktene er illustrative.
Hva fant den retrospektive simuleringen av arbeidsmengde?
I en retrospektiv simulering brukte metoden for målrettet manuell vurdering et stratifisert kalibreringssett på fjorten kandidater og merket kandidater med 99 % prediksjonsintervaller som krysset én bestått/ikke bestått-grense. På tvers av de tolv gjennomføringene ville den ha krevd manuell vurdering av 12 694 av de 41 733 sensor-oppgave-parene: 69,6 % færre, avrundet til 70 %, med rundt 40 % til rundt 84 % per eksamen. Dette måler simulerte reduksjoner i oppgavepar, ikke minutter spart eller resultater på en bokstavkarakterskala. Metoden og simulatoren nedenfor er ikke en funksjon som aktiveres ved installasjon; en kvalifisert sensor godkjenner hver karakter i produktets arbeidsflyt.
RETROSPEKTIV SIMULERING
Exam 01 · 78 kandidater · 48 kortsvarsoppgaver
4. Vurder risikoblokken manuelt
Bytt eksamen:
010203040506070809101112
Simulert oppgavereduksjon
73.1%
2 736 av 3 744 sensor-oppgave-par utelatt i simuleringen, ikke målt tidsbesparelse
Manuell vurdering
26.9%
Risikoblokk
7
Kalibrerings-R²
0.882
Full-kullets R²
0.833
Valgte oppgavepar
1 008
Oppgavepar i full gjennomgang
3 744
Prediksjonsintervall
90%95%99%
Hvor kommer grunnlaget fra?
Tre akademiske samarbeid, der hvert enkelt kjører den samme valideringen mot sin egen faglærers tidligere vurdering, også der AI gjorde det dårligere.
I de to uavhengige matematikkstudiene ved Matematisk institutt ved Universitetet i Bergen holdt vurderingssamsvaret: R² = 0,68 mot faglæreren (Pearson r = 0,82), gjennomsnittlig absolutt avvik 0,64 poeng på en 0 til 6-skala og 87,7 % bestått/ikke-bestått-samsvar ved grensen. Resultatet for tilbakemelding delte seg etter studiedesign. I milepælsstudien, der studentene så tilbakemelding fra faglærer, medstudenter og AI side om side, leste de AI-tilbakemeldingen minst (57 % mot 94 % for faglærer) og vurderte den som signifikant mindre nyttig (4,38 mot 5,72 på en 7-punktsskala). I sensorsamsvarsstudien, der hver student fikk enten menneske-pluss-AI eller kun menneske uten å vite hvilken, ble ingen signifikant nytteforskjell påvist (p = 0,45); casestudien slår fast at dette ikke er bevis på likeverdighet. Når studentene kunne se kilden, foretrakk de mennesket; når de ikke kunne se den, ble ingen forskjell påvist. De samme forskerne fant også at sensorsamsvaret falt fra ICC 0,874 til 0,608 med den tidlige prototypen, og det står på kortene nedenfor i stedet for å bli utelatt.
Matematisk institutt
Universitetet i Bergen
R² = 0.68
milepælsstudien, målt av UiB-forskere
Ikke vår egen måling. De samme forskerne fant at AI-assistanse senket samsvaret mellom sensorer fra ICC 0.87 til 0.61 på den tidlige prototypen, tatt med her fordi det er en del av grunnlaget. På tilbakemelding foretrakk studentene som kunne se kilden, mennesket.
Les hele funnene →Finans
NHH, Norges Handelshøyskole
—
Bestått/ikke-bestått-screening på lange analytiske innleveringer. Tall per kull er ikke publisert ennå — oppsummeringen per pilot går til emneansvarlig.
Les pilotens omfang →Les hele metoden → — hva R² måler i vurdering, hvordan grunnlinjen mellom sensorer ble produsert, og hele utregningen bak målrettet vurdering.
~248,500
SPØRSMÅL OG KASUS VURDERT PÅ TVERS AV DISTRIBUSJONER
…og det vokser hver uke.
20+ emner
I PRODUKSJON OG VERIFISERT
På tvers av medisin, matematikk, finans og mer.
12 eksamener · 889 kandidater
UIB MEDICINE-PILOT · MÅLRETTET MANUELL VURDERING
~43 700 AI-mot-sensor deloppgavesammenligninger via den målrettede manuelle vurderingsløkken.
På tvers av tolv gjennomføringer av den avsluttende kliniske eksamenen ved Det medisinske fakultet ved Universitetet i Bergen samsvarte Lectora med faglæreren på R² = 0.85 over 889 kandidat-eksamen-par og rundt 43 700 deloppgavesammenligninger, og 0.86 på den summative eksamenen. Den ble kjørt blindt, mot samme vurderingsmatrise. Det er en poengsammenligning på langsvarseksamen. Til sammenligning samsvarte to uavhengige menneskelige sensorer på samme materiale på R² = 0.64. Den tilpassede poengsammenhengen var sterkere for Lectora mot faglæreren i denne sammenligningen; R² alene måler ikke størrelsen på individuelle poengforskjeller. Casestudien fra UiB Medicine har gjennomgangen per eksamen. Den samme løkken er i pilot ved Matematisk institutt ved UiB og ved NHH Finans.
R² beskriver hvor mye variasjon en tilpasset modell forklarer. I disse lineære poengsammenligningene måler den hvor tett poengsummene følger en tilpasset linje. Selv R² = 1.0 kan forekomme sammen med systematiske forskjeller mellom sensorer; det er ikke en prosentandel riktige karakterer. Den avsluttende kliniske eksamenen ved Det medisinske fakultet ved Universitetet i Bergen rapporterte R² = 0.85 for Lectora mot faglæreren og R² = 0.64 mellom to menneskelige sensorer. Tallene beskriver dette datasettet, ikke en universell menneskelig målestokk. Metodesiden forklarer forskjellen.
På datasettet fra den avsluttende kliniske eksamenen ved Det medisinske fakultet ved Universitetet i Bergen var Lectoras samsvar med faglæreren (R² = 0.85) høyere enn samsvaret mellom de to menneskelige sensorene som opprinnelig vurderte eksamenen (R² = 0.64). Dette sammenligner lineære poengsammenhenger på det ene datasettet; det fastslår ikke perfekt samsvar eller en generell fordel over menneskelige sensorer.
Ja. Det publiserte ankeret er den avsluttende kliniske eksamenen ved Det medisinske fakultet ved Universitetet i Bergen: tolv reelle seks timers gjennomføringer, 889 kandidat-eksamen-par og rundt 43 700 deloppgavesammenligninger, kjørt blindt. Ikke et syntetisk testsett, ikke et lite utvalg og ikke en gunstig undermengde. Samme metode kjøres mot reelle kull i hvert nytt samarbeid før det går i produksjon.
889 kandidat-eksamen-par, på tvers av tolv gjennomføringer av den avsluttende kliniske eksamenen ved Det medisinske fakultet ved Universitetet i Bergen.
Ja. Den publiserte valideringen er en medisineksamen, kjørt på tvers av tolv gjennomføringer av den avsluttende kliniske eksamenen ved Det medisinske fakultet ved Universitetet i Bergen på samme kalibreringsløkke. Se pilotstudien fra UiB Medicine for gjennomgang per eksamen. For andre kliniske eksamener brukes samme valideringsmetodikk, og nye valideringer kjøres når institusjoner tar Lectora i bruk med egne vurderingsmatriser og eksamenssett.
Uavhengig, ja. Forskere ved Matematisk institutt og Senter for utdanningsforskning innen STEM ved Universitetet i Bergen gjennomførte to studier høsten 2025 på to matematikkemner, der AI-vurdering ble testet med Lectora som verktøy. Milepælsstudien (n = 1 051 par-vurderinger AI/faglærer fra 356 studenter på en 0–6-skala) fant samsvar på R² = 0,68 (Pearson r = 0,82), gjennomsnittlig absolutt avvik 0,64 poeng og 87,7 % bestått/ikke-bestått-samsvar ved 3.0/6-grensen. Sensorsamsvarsstudien (20 besvarelser vurdert fire ganger av 11 studentsensorer) fant at AI-assistanse senket ICC mellom sensorer fra 0,874 til 0,608 på den tidlige prototypen, med sensor-avhengig varians som steg fra 3,7 % til 26,3 %. Tilbakemelding ble testet under to design. I milepælsstudien så studentene tilbakemelding fra faglærer, medstudenter og AI side om side: de leste AI-tilbakemeldingen minst (57 % mot 94 % for faglærer) og vurderte den som signifikant mindre nyttig (4,38 mot 5,72 på en 7-punktsskala, alle parvise forskjeller signifikante). I sensorsamsvarsstudien fikk hver student enten menneske-pluss-AI eller kun menneske uten å vite hvilken, og ingen signifikant nytteforskjell ble påvist (p = 0,45), noe casesiden slår fast ikke er bevis på likeverdighet. Når studentene kunne se kilden, foretrakk de mennesket; når de ikke kunne se den, ble ingen forskjell påvist. Hele funnene, inkludert der AI gjorde det dårligere og de metodiske forbeholdene, er i UiB MatNat-casestudien.
Finans er en egen, løpende pilot ved NHH Finans, Norges ledende handelshøyskole, der Lectoras arbeidsflyt er testet for bestått/ikke-bestått-vurdering på store flersidige innleveringer i finansiell kapitalforvaltning. Valideringsmønsteret er det samme som for medisin: et reelt kull faglæreren allerede har vurdert, kjørt blindt av Lectora, sammenlignet deloppgave for deloppgave. Per-kull R²-tall er ikke publisert ennå; sammendraget per pilot deles med emneansvarlig.
Tre akademiske partnere. Det medisinske fakultet ved Universitetet i Bergen: den publiserte valideringen på tvers av tolv gjennomføringer av den avsluttende kliniske eksamenen (R² = 0,85 mot 0,64 mellom to menneskelige sensorer), skrevet ut i casestudien fra UiB Medicine. Matematisk institutt ved UiB: uavhengige studier fra UiB MatNat og Senter for utdanningsforskning innen STEM høsten 2025, en milepælsstudie (R² = 0,68 samsvar AI mot faglærer) og en sensorsamsvarsstudie (AI-assistanse senket ICC mellom sensorer fra 0,874 til 0,608), med hele funnene, inkludert der AI gjorde det dårligere. NHH Finans: lange analytiske innleveringer, pilot for bestått/ikke-bestått-vurdering. Hvert samarbeid kjører egen validering mot faglærerens tidligere vurdering før det går i produksjon.
Bare i en retrospektiv simulering, og bare ved én bestått/ikke bestått-grense. Kjørt på nytt over de tolv gjennomføringene av den avsluttende kliniske eksamenen ved Det medisinske fakultet ved Universitetet i Bergen ville metoden for målrettet manuell vurdering ha krevd manuell vurdering av 12 694 av de 41 733 sensor-oppgave-parene, 69,6 % færre enn den fulle gjennomgangen sensorene faktisk hadde gjort. Per eksamen varierer tallet fra rundt 40 % på eksamener der mange kandidater ligger tett rundt grensen, til rundt 84 % på større eksamener med spredte risikokandidater. Et stratifisert kalibreringssett på 14 kandidater pluss den lille blokken av grenseberørte risikokandidater metoden merker, står i stedet for den fulle gjennomgangen. Det er oppgavepar, ikke minutter; det gjelder en bestått/ikke bestått-grense, ikke en bokstavskala; og det er en publisert metode og en simulator på dette nettstedet, ikke en funksjon som slås på ved installasjon. Mindre kull sparer forholdsvis mindre fordi de 14 kalibreringskandidatene utgjør en større andel av dem.
Tolv gjennomføringer av den avsluttende kliniske eksamenen ved Det medisinske fakultet ved Universitetet i Bergen til nå: 889 kandidat-eksamen-par og rundt 43 700 deloppgavesammenligninger på tvers av kullet. Den publiserte valideringen, R² = 0.85 mot 0.64, er totalen på tvers av disse tolv gjennomføringene, som også ble brukt i den retrospektive simuleringen av målrettet manuell vurdering; den sterkeste enkelteksamenen nådde 0.86. Se casestudien fra UiB Medicine for arbeidsflyten i praksis; en anonymisert demo av analysen per eksamen er også tilgjengelig på forespørsel.