Det medisinske fakultet
Universitetet i Bergen
R² = 0.85
mot faglæreren
Det publiserte ankeret: lange skriftlige eksamener, vurdert blindt mot sensorenes egen vurderingsmatrise og sammenlignet med poengene de allerede hadde gitt.
Les studien →VALIDERING
Hvordan er Lectora validert?
Lectora er ikke validert i én enkeltstående studie. Verktøyet er bygget sammen med tre akademiske partnere over flere år, og hvert samarbeid kjører den samme sammenligningen mot den aktuelle faglærerens tidligere vurdering. Det publiserte ankeret er et sett lange skriftlige eksamener ved Det medisinske fakultet ved Universitetet i Bergen, kjørt blindt mot poeng sensorene allerede hadde gitt. På dem samsvarte Lectoras utkast med faglæreren på R² = 0,85, en sterkere tilpasset lineær sammenheng enn de R² = 0,64 som ble rapportert mellom to menneskelige sensorer på samme materiale. Spørsmålet hvert samarbeid stiller er det samme: er utkastet nært nok til å gjennomgås, eller starter du fra bunnen av?
Hvor tett samsvarer Lectora med faglæreren?
På lange skriftlige eksamener ved Det medisinske fakultet ved Universitetet i Bergen samsvarte Lectoras utkast med faglæreren på R² = 0,85. De to uavhengige sensorene som allerede hadde vurdert de samme besvarelsene, var enige med hverandre på R² = 0,64. Lectora ble kjørt blindt, mot samme vurderingsmatrise, uten tilgang til noen av sensorenes poeng.
Lectora (0–100) ↑
Faglærer (0–100) →
- Lectora vs. faglærer
- R² = 0.85
- To menneskelige sensorer
- R² = 0.64
Lange skriftlige medisineksamener, Universitetet i Bergen · vurdert blindt
Punktene er illustrative.
Hvordan holder målrettet manuell vurdering sensor i løkken?
Samsvaret betyr noe fordi det avgjør hvor sensorens tid går. Ved målrettet manuell vurdering vurderer sensorene først et lite utvalg uten å se Lectoras utkast, noe som kalibrerer utkastene til deres vurderingsnivå for akkurat den eksamenen. Alle besvarelser der det er tvil om bestått eller ikke bestått, vurderes deretter fullt ut, sensorene går gjennom de øvrige utkastene, og en kvalifisert sensor godkjenner hver karakter.
I en retrospektiv simulering på tidligere eksamener trengte denne fordelingen om lag 70 % færre manuelt vurderte oppgaver ved én grense for bestått. Det er et simulert antall oppgaver, ikke minutter spart eller et resultat for en bokstavkarakterskala. De detaljerte reglene for kalibrering og utvelgelse deles med deltakende institusjoner mens arbeidsflyten verifiseres fremover i piloter.
SENSOR I LØKKEN · SLIK FORDELES VURDERINGSARBEIDET
- Lectora
Utkast til hver besvarelse
Lectora foreslår poeng for hvert svar ut fra vurderingsmatrisen og sensorveiledningen.
- Sensorer
Kalibrering mot et menneskelig utvalg
Sensorene vurderer et lite utvalg uten å se utkastene, og Lectoras poeng tilpasses deres vurderingsnivå for akkurat denne eksamenen.
- Sensorer
Usikre besvarelser vurderes fullt ut
Alle besvarelser der det er tvil om bestått eller ikke bestått, går til full manuell vurdering.
- Sensorer
Sensor godkjenner hver karakter
Sensorene går gjennom de øvrige utkastene, og en kvalifisert sensor godkjenner hver karakter før den publiseres.
Hvor kommer grunnlaget fra?
Tre akademiske samarbeid, der hvert enkelt kjører den samme valideringen mot sin egen faglærers tidligere vurdering, også der AI gjorde det dårligere.
I de to uavhengige matematikkstudiene ved Matematisk institutt ved Universitetet i Bergen holdt poengsamsvaret: R² = 0,68 mot faglæreren og om lag 88 % samsvar om bestått eller ikke bestått. Resultatet for tilbakemelding delte seg etter studiedesign. Når studentene så tilbakemelding fra faglærer, medstudenter og AI side om side, leste de AI-tilbakemeldingen minst og vurderte den som signifikant mindre nyttig. Når hver student fikk enten menneske-pluss-AI eller kun menneske uten å vite hvilken, ble ingen signifikant nytteforskjell påvist (p = 0,45); casestudien slår fast at dette ikke er bevis på likeverdighet. Når studentene kunne se kilden, foretrakk de mennesket; når de ikke kunne se den, ble ingen forskjell påvist. De samme forskerne fant også at sensorsamsvaret falt fra ICC 0,87 til 0,61 med den tidlige prototypen, og det står på kortene nedenfor i stedet for å bli utelatt.
Matematisk institutt
Universitetet i Bergen
R² = 0.68
poengsamsvar med professoren, målt av UiB-forskere
Ikke vår egen måling. De samme forskerne fant at AI-assistanse senket samsvaret mellom sensorer fra ICC 0.87 til 0.61 på den tidlige prototypen, tatt med her fordi det er en del av grunnlaget. På tilbakemelding foretrakk studentene som kunne se kilden, mennesket.
Les hele funnene →Finans
NHH, Norges Handelshøyskole
—
Bestått/ikke-bestått-screening på lange analytiske innleveringer. Tall per kull er ikke publisert ennå — oppsummeringen per pilot går til emneansvarlig.
Les pilotens omfang →Les hele metoden → — hva R² måler i vurdering, hvordan grunnlinjen mellom sensorer ble produsert, og hvordan målrettet vurdering holder sensor på hver karakter.
~248,500
SPØRSMÅL OG KASUS VURDERT PÅ TVERS AV DISTRIBUSJONER
…og det vokser hver uke.
20+ emner
I PRODUKSJON OG VERIFISERT
På tvers av medisin, matematikk, finans og mer.
~70 % færre
UIB MEDISIN · MÅLRETTET MANUELL VURDERING
manuelt vurderte oppgaver i en retrospektiv simulering ved én grense for bestått. Hver karakter krever fortsatt godkjenning fra sensor.
På lange skriftlige eksamener ved Det medisinske fakultet ved Universitetet i Bergen samsvarte Lectora med faglæreren på R² = 0,85, kjørt blindt mot samme vurderingsmatrise. Det er en poengsammenligning på langsvarseksamen. Til sammenligning samsvarte to uavhengige menneskelige sensorer på samme materiale på R² = 0,64. Den tilpassede poengsammenhengen var sterkere for Lectora mot faglæreren i denne sammenligningen; R² alene måler ikke størrelsen på individuelle poengforskjeller. Casestudien fra UiB Medicine forklarer sammenligningen. Den samme løkken er i pilot ved Matematisk institutt ved UiB og ved NHH Finans.
R² beskriver hvor mye variasjon en tilpasset modell forklarer. I disse lineære poengsammenligningene måler den hvor tett poengsummene følger en tilpasset linje. Selv R² = 1,0 kan forekomme sammen med systematiske forskjeller mellom sensorer; det er ikke en prosentandel riktige karakterer. De skriftlige eksamenene ved Det medisinske fakultet ved Universitetet i Bergen ga R² = 0,85 for Lectora mot faglæreren og R² = 0,64 mellom to menneskelige sensorer. Tallene beskriver dette datasettet, ikke en universell menneskelig målestokk. Metodesiden forklarer forskjellen.
På de skriftlige medisineksamenene ved Det medisinske fakultet ved Universitetet i Bergen var Lectoras samsvar med faglæreren (R² = 0,85) høyere enn samsvaret mellom de to menneskelige sensorene som opprinnelig vurderte eksamenene (R² = 0,64). Dette sammenligner lineære poengsammenhenger på det ene datasettet; det fastslår ikke perfekt samsvar eller en generell fordel over menneskelige sensorer.
Ja. Det publiserte ankeret er et sett reelle lange skriftlige eksamener ved Det medisinske fakultet ved Universitetet i Bergen som sensorene allerede hadde vurdert, kjørt blindt. Ikke et syntetisk testsett og ikke et håndplukket utvalg. Samme metode kjøres mot reelle kull i hvert nytt samarbeid før det går i produksjon.
Ja. Den publiserte valideringen bruker skriftlige medisineksamener ved Det medisinske fakultet ved Universitetet i Bergen. Se pilotstudien fra UiB Medicine. For andre kliniske eksamener brukes samme valideringsmetodikk, og nye valideringer kjøres når institusjoner tar Lectora i bruk med egne vurderingsmatriser og eget eksamensmateriale.
Uavhengig, ja. Forskere ved Matematisk institutt og Senter for utdanningsforskning innen STEM ved Universitetet i Bergen gjennomførte to studier høsten 2025 i to innføringsemner i matematikk, med en tidlig Lectora-prototype som verktøy. Milepælsstudien fant poengsamsvar med faglæreren på R² = 0,68 og om lag 88 % samsvar om bestått eller ikke bestått. Sensorsamsvarsstudien fant at AI-assistanse senket samsvaret mellom sensorer, fra ICC 0,87 til 0,61. Om tilbakemelding: studentene som kunne se kilden, foretrakk mennesket; når de ikke kunne se den, ble ingen signifikant forskjell påvist (p = 0,45), noe som ikke er bevis på likeverdighet. Hele funnene, inkludert der AI gjorde det dårligere, er i matematikkstudien fra UiB.
Finans er en egen, løpende pilot ved NHH Finans, Norges ledende handelshøyskole, der Lectoras arbeidsflyt testes for bestått/ikke bestått-vurdering på store flersidige analytiske innleveringer. Valideringsmønsteret er det samme som for medisin: et reelt kull faglæreren allerede har vurdert, kjørt blindt av Lectora og sammenlignet deloppgave for deloppgave. Tall per kull publiseres ikke; sammendraget per pilot deles med emneansvarlig.
Tre akademiske partnere. Det medisinske fakultet ved Universitetet i Bergen: den publiserte valideringen på lange skriftlige eksamener (R² = 0,85 mot 0,64 mellom to menneskelige sensorer), skrevet ut i casestudien fra UiB Medicine. Matematisk institutt ved UiB: uavhengige studier sammen med Senter for utdanningsforskning innen STEM høsten 2025, en milepælsstudie (R² = 0,68 mot faglæreren) og en sensorsamsvarsstudie (AI-assistanse senket ICC mellom sensorer fra 0,87 til 0,61), med funnene, inkludert der AI gjorde det dårligere. NHH Finans: lange analytiske innleveringer, pilot for bestått/ikke bestått-vurdering. Hvert samarbeid kjører egen validering mot faglærerens tidligere vurdering før det går i produksjon.
Bare i en retrospektiv simulering, og bare ved én grense for bestått. Kjørt på tidligere skriftlige eksamener ved Det medisinske fakultet ved Universitetet i Bergen trengte målrettet manuell vurdering om lag 70 % færre manuelt vurderte oppgaver enn den fulle manuelle gjennomgangen sensorene faktisk hadde gjort. Sensorene vurderer først et lite utvalg uten å se utkastene, alle besvarelser der det er tvil om bestått går til full vurdering, og en kvalifisert sensor godkjenner hver karakter. Besparelsen var mindre for små kull og for eksamener med mange kandidater nær grensen. Det er antall oppgaver, ikke minutter, og ikke et resultat for en bokstavkarakterskala. Arbeidsflyten verifiseres fremover sammen med pilotinstitusjoner; den er ikke en funksjon som slås på ved installasjon.