PILOTSTUDIE · FINANS
Hvordan Norges Handelshøyskole (NHH) brukte Lectora til å vurdere flersidige regresjonsanalyser og lange finansielle eksamener
Norges Handelshøyskole (NHH) piloterer Lectora i finansielle emner som krever flersidige analytiske svar: faktormodeller, regresjonstolkning og verdivurdering. Denne siden beskriver pilotens omfang og vurderingsmetode; egne resultater for poengsamsvar i finans er ikke publisert.
Om NHH Finance-piloten
Norges Handelshøyskole (NHH) er en norsk handelshøyskole. Piloten dekker finansielle emner der eksamenssvar er to til fem sider lange: flersidig regresjonstolkning, faktormodeller, verdivurderinger og politisk resonnement.
Disse emnene passer ikke en énspørsmål-og-én-skåre-modell. De krever at sensoren følger et argument, vurderer hvordan studenten brukte data, og vurderer om konklusjonen følger. Det gjør dem til en krevende ramme for å evaluere vurderingsutkast.
Finanseksemplet bruker fiktive besvarelser, utarbeidede tilbakemeldingseksempler og illustrerende kulldata. Det viser ikke NHH-studenter eller målte resultater fra denne piloten.
Hvordan håndterer Lectora finansanalyser over flere sider?
Lange finanseksamener kombinerer grafer, regresjonsresultater, tabeller, beregninger og skriftlig tolkning over flere sider. Lectora kan bruke besvarelsene sammen med oppgaven, løsningsforslaget og sensorveiledningen til å lage et vurderingsutkast. Sensoren kontrollerer både lesingen av dokumentet og poengforslaget.
For hver deloppgave kan vurderingsmatrisen skille mellom beregningen i tabellen, tolkningen i teksten og koblingen mellom dem. Sensorveiledningen kan for eksempel gi uttelling for en riktig regresjonsberegning og samtidig kreve en egen vurdering av om studenten tolker R² riktig. Lectora lager utkast ut fra veiledningen; sensoren kontrollerer poengforslaget og begrunnelsen.
Å følge kryssreferanser kan kreve at sensoren veksler mellom en tabell på én side og tolkningen på en annen. Utkastet kan gi gjennomgangen et utgangspunkt, men er ikke en automatisk avstemming av alle tall. Kontroller viktige verdier, etiketter og konklusjoner mot originalbesvarelsen.
Kan Lectora vurdere regresjonsresultater og hypotesetester?
Retningsvalg i hypotesetesten (ensidig eller tosidig), valg av nullhypotese, tolkning av teststørrelse og formulering av p-verdi kan spesifiseres hver for seg i sensorveiledningen. Lectora bruker veiledningen til å foreslå poeng og tilbakemelding som sensoren gjennomgår.
En student kan for eksempel velge en tosidig test når oppgaven krever en retningsbestemt hypotese. Et utkast kan gi sensoren et utgangspunkt for å kontrollere valget og konsekvensene av det. Dette er et illustrerende vurderingsspørsmål, ikke et rapportert funn om NHH-kullet.
For femfaktormodeller og lignende analyser kan veiledningen spørre om studenten begrunner faktorattribusjon, drøfter koeffisientstabilitet på tvers av delperioder og tolker residualen riktig. Dette er kriterier for utkastet og sensorens gjennomgang, ikke kontroller som garantert lykkes automatisk.
Hvordan vurderer Lectora R²-tolkning og forklart varians?
Tolkning av R² krever at studenten skiller forklart varians fra påstander om kausalitet, prediktiv kraft eller styrken til én enkelt koeffisient. Vurderingsmatrisen kan be studenten gjøre disse skillene og knytte statistikken til den konkrete regresjonen.
Sensorveiledningen kan for eksempel skille mellom fire nivåer: feil, der R² brukes som kausalitet eller som mål på signifikans; overfladisk, der tilpasning beskrives uten forbehold; anvendt, der forklart varians tolkes i sammenheng; og fullstendig, der tolkningen knyttes til oppgaven og modellens begrensninger. Dette er illustrerende nivåer i en vurderingsmatrise, ikke en fast klassifikator innebygd i Lectora. Veiledningen bestemmer poengfordelingen; sensoren gjennomgår tilbakemeldingen og poengforslaget.
Hvor nøyaktig er AI-vurdering på finanseksamener sammenlignet med menneskelige sensorer?
De publiserte R²-verdiene på 0,85 (Lectora mot faglæreren) og 0,64 (to menneskelige sensorer mot hverandre) gjelder poengsamsvar på kliniske langsvarseksamener ved Det medisinske fakultet ved UiB, ikke finanseksamener. Tallene dokumenterer ikke nøyaktighet på finansielle beregninger, graflesing eller vurdering i finansfag.
Vi har ikke publisert et eget resultat for poengsamsvar eller en R²-verdi mellom sensorer i finans. For å evaluere en finanspilot bør Lectoras utkast sammenlignes med sensorvurderinger av representative besvarelser med samme oppgave og sensorveiledning. En slik sammenligning trengs før man trekker konklusjoner om resultatene i emnet.
Se valideringssiden for full gjennomgang av studien og metoden for validering per kurs.