Flervalgsoppgaver i undervisning og vurdering

Hva kan man teste med flervalgsoppgaver?

Flervalgsoppgaver som vurderingsform kan dekke bredt og teste studentene i store deler av pensum, på relativt kort tid.  Det må være en klar sammenheng mellom etablerte læringsmål og flervalgsoppgavene.

Et tips er å lage spørsmål utifra hvilke kognitive domener man ønsker å teste. En mye brukt modell i denne sammenheng er Blooms taksonomi, som deler kunnskap eller kognitive ferdigheter inn i seks hierarkiske kunnskapsnivåer.

Kunnskap som baserer seg på å huske og forstå befinner seg på det nederste trappetrinnet. Dette inkluderer blant annet evnen til å kunne gjengi og sammenfatte informasjon. Det å kunne anvende og analysere, plasseres i mellomsjiktet i kunnskapshierarkiet. Syntese og vurdering kan plasseres i kategorien høyt kunnskapsnivå, mens kunnskap til å skape eget materiale troner helt på topp Bloom’s Taxonomy. 

Med flervalgsoppgaver kan du  måle ferdigheter på flere trappetrinn. Du kan måle evnen til å memorere og huske pensum, men også evnen til å forstå og anvende kunnskap. Evnen til problemløsning kan også testes med flervalgsoppgaver. Et eksempel på dette er å presentere studenter for et tekstutdrag som inneholder et tydelig problem. Studentetene må deretter svare på spørsmål om dette.

På et høyere kognitivt nivå, kan flervalgsspørsmål teste evnen til å analysere en problemstilling, sammenlikne og anvende kunnskap i nye situasjoner. Interaktive spørsmålstyper og bilder og video kan bidra til å bygge en flervalgstest som er både krevende, har høy vanskelighetsgrad og er lærerik. Hvis man i tillegg gir studentene konstruktive tilbakemeldinger, vil dette utgjøre et godt grunnlag for gode formative tester, som støtter opp under læring.

  Tipset er derfor: formulerer spørsmål og konstruerer flervalgsoppgavene på en slik måte at du får testet de ferdighetene du ønsker. 

Hvordan konstruerer man gode flervalgsoppgaver?

KU Leuven (2022) viser til retningslinjer og råd til den som skal lage flervalgsoppgaver Formulating multiple choice questions - Education (kuleuven.be). Rådene kan brukes som en sjekkliste i arbeidet med flervalgstester, men er på ingen måte uttømmende. Vi viser til et selektivt utvalg tips til hvordan man kan konstruere gode spørmål og svaralternativer. 

Spørsmålet

• Formuler et tydelig spørsmål. Spørsmålet bør inneholde et klart problem, med lite rom for misforståelser. Studentene skal ikke trenge svaralternativene for å forstå spørsmålet.
• Svar på flervalgsspørsmålet selv (eller test på en kollega). Hensikten med dette er for å sjekke at overnevnte punkt er innfridd. Gjør justeringer hvis du selv ikke klarer å svare på spørsmålet eller hvis du nøler ved et svaralternativ.
• Spørsmålene skal være uavhengige av hverandre. Hvert spørsmål skal omhandle ett problem, og ikke avhenge av løsningene på tidligere oppgaver. 

Svaralternativene

• Formuler det rette svaret før du formulerer alternativene. Alternativene som ikke er det korrekte svaret, kalles distraktorer.
• Du kan finne de beste distraktorene i de feilene som studentene gjør oftest i faget.
• Svaralternativene bør ikke overlappe. Overlapper svar, kan dette implisere at flere svar er riktige og skape forvirring blant studentene. 
• Bruk en logisk rekkefølge. Da er det mindre sannsynlighet for at du gjennomgående plasserer svar på samme sted. Gjentakende mønster blant svaralternativene burde unngås, da det kan gi indikasjon på hva som er riktig svar.
• Distraktorene må være plausible. Unngå svaralternativer som er åpenbart riktige eller feil. Dette minsker sjansen for at studentene gjetter seg fram til riktig svar.

Se guiden i sin helhet her: Formulating multiple choice questions - Education (kuleuven.be) 

Valg av plattform

Når du skal lage flervalgsoppgaver, finnes det flere pattformer du kan velge mellom. Som underviser er det hovedsakelig Inspera, Canvas og Mentimeter som er relevante plattformer. Hvilken plattform du burde velge, vil avhenge av målet med flervalgsprøven. 

Flervalgsoppgave som eksamensform: Inspera

Når flervalgsoppgaver brukes som vurderingsform, så benyttes eksamensplattformen Inspera. Inspera kan være tidskrevende, fordi hvert spørsmål må legges inn manuelt. Det er riktignok mest tidskrevende første gangen man lager flervalgseksamen, da samme eksamen kan benyttes de neste årene. Eksempelvis kan man legge til 10 nye spørsmål og velge funksjonen "tilfeldig uttrekk".  

Dersom det er eksamenskandidater med både nynorsk og bokmål som hovedmål, må flervalgstesten lages på på begge skriftspråk. Dette er et krav fra språkrådet jf Forskrift om målform i eksamensoppgåver. Fordi dette må gjøres manuelt, kan kravet omgås dersom eksamensoppgaven vurderes å være "særlig omfattende". 

Uio har laget informative veiledninger for import og eksport av oppgaver i Inspera og Canvas: Importere og eksportere oppgaver 

Flervalgsprøve som obligatorisk/frivillig aktivitet: Canvas

Canvas brukes til å lage obligatoriske arbeidskrav eller frivillige flervalgsoppgaver. Som underviser kan du lage tester som studentene kan bruke til egen læring. Canvas er mer brukervennlig og mindre tidskrevende enn Inspera. 

Ønsker du å lage en flervalgstest, kan du følge disse trinnene:

1. Gå til emnerommet i Canvas.
2. Finn funksjonen "tester" i venstremenyen.
3. Trykk på "new quizzes". Dette gir deg mulighet til å lage en ny quiz.
4. Ønsker du flervalgstest, trykker du "flere valgmuligheter".
5. Trykk "lagre og publiser" når testen er ferdig. Dette vil gjøre den tilgjengelig for studentene.

Cell (senter for erfaringsbasert juridisk læring) har utformet er brukermanual Hvordan utforme tester i Canvas. Brukermanualen gir enkel veiledning om oppretting, oppbyggning og publisering av tester.

Flervalgsoppgave som aktivisering i undervisningen: Mentimeter

Hvis du ønsker å engasjere studentene med en mer interaktiv undervisning, er Mentimeter et godt valg. Plattformen kan brukes i undervisningsøkter. Mentimeter har laget en infomativ veiledningsvideo: Lag en interaktiv Mentimeter quiz 

Video: Mentimeter

Dilemmaer

Det finnes noen dilemmaer du kan støte på. Hvilket valg du tar er opp til deg. Likevel kan det være greit å forstå argumentene for og imot, før du gjør deg opp en mening. 

Antall spørsmål totalt

Hvor mange spørsmål man burde ha totalt, vil avhenge av type spørsmål og hvor omfattende de er. Høyere antall oppgaver kan gi større karakterspredning enn få. Hvor lang tid en student trenger på hvert spørsmål vil anghenge av oppgavens vanskelighetsgrad. SVEXFAC beregnet at studentene trengte 1 - 1,5 minutter per spørsmål. Med en time til rådighet, ble derfor deres totale antall, 50 spørsmål.

Antall svaralternativer

Vi anbefaler å ha tre svaralternativer. Flere enn to distraktorer kan virke overflødig og lite plausibelt. Flere enn tre alternativer benyttes likevel av noen, etter ønsket om å minske sjansen for gjetting. 

Poengberegning - med eller uten minuspoeng?

Det er delte meninger om bruk av minuspoeng på flervalgstester. Det argumenteres for at minuspoeng sørger for at gjetting ikke belønnes. Samtidig mener andre at dette kan føre til blanke svar. Noen studenter tar ikke sjansen på å få minuspoeng, og velger heller å svare blankt. Valget om å ha flervalgsoppgaver uten minuspoeng kan besluttes fordi man ikke ønsker å risikere at sudenter presterer dårligere enn deres faktiske nivå tilsier. En mellomløsning er å gi lave minuspoeng, f.eks. -0,25 poeng der rett svar gir 1 poeng. 

Tilrettelegging for studenter 

Flervalgseksamen er en vurderingsform som kan være krevende for studenter med lesevansker og dysleksi. Dette er studenter som ofte bruker lenger tid på å lese og forstå spørsmål og svaralternativer. Norske utdanningsinstutisjoner er lovpålagt universell utforming. Dette innebærer at vurderingsformer og undervisning skal være tilpasset studentenes evner og behov.

Måter å tilrettelegge på:

• Korte spørsmål og få svaralternativer per oppgave. Dette er hensiktsmessig fordi det er mindre tekst å lese og forstå.
• Utvidet eksamenstid. Studenten må søke om tilrettelegging på eksamen.
• Digitale hjelpemidler som talesyntese, der oppgaver og svaralternativer leses opp.  

Litteratur og kilder

Denne veilederen er kunnskapsbasert: den er basert på forskningslitteratur, veiledere fra andre høyere utdanningsinstitusjoner og på erfaringer fra undervisere og administrasjon ved UiO. Her finner du kildene som denne veilederen er tuftet på. 

Vitenskapelig artikler ol.

Bloom, B. S. (1956). Taxonomy of educational objectives; The classification of educational goals, by a committee of college and university examiners. New York: McKay.

Haladyna, T. M. & Downing, Steven M. (1993). How many options is enough for a multiplechoice test item? (Validity Studies). Educational and Psychological Measurement, 53(4), 999-1009.

Haladyna, T. M., Downing, S. M., & Rodriguez, M. C. (2002). A Review of Multiple-Choice Item-Writing Guidelines for Classroom Assessment. Applied Measurement in Education, 15(3), 309-34

Hecke, V, T. (2015). Initial correction versus negative marking in multiple choice examinations. Teaching Mathematics and its Applications: An International Journal of the IMA, 34(3), 171–178. https://doi.org/10.1093/teamat/hrv011

Holt, A. (2006) An analysis of negative marking in multiple-choice assessment. The School of Computing and Mathematical Sciences. The University of Waikato, Hamilton, New Zealand.

Lesage, E., Valcke, M. & Sabbe, E. (2013). Scoring methods for multiple choice assessment in higher education – Is it still a matter of number right scoring or negative marking?. Studies in Educational Evaluation, 39(3), 188-193.

Nwadinigwe, P, I. & Naibi, L. (2013). The Number of Options in a Multiple-Choice Test Item and the Psychometric Characteristics. Journal of Education and Practice, 28(4), 189-197.

O’Neill, D, L. (2021). Multiple choice-spørgsmål i undervisningen. Dansk Universitetspædagogisk Tidsskrift, 16(30). 70-83. file:///C:/Users/Kaja/Downloads/ONeill2021.pdf

Olsen, S, T. (2009). Flervalgsoppgaver og digitale læringsplattformer: En kvalitativ studie av forberedelse til den første delen av skriftlig eksamen i Biologi 2. [Masteroppgave, Norges teknisk-naturvitenskapelige universitet].

Sirnes, S. (2005). Flervalgsoppgaver - konstruksjon og analyse. Bergen: Fagbokforl.

Woodford, K. & Bancroft, P. (u.å.). Multiple choice questions not considered harmful, School of Software Engineering and Data Communications. Queensland University of Technology.

Brukermanualer/veiledere

CELL. (u.å.). 7. Brukermanual: Hvordan utforme tester i Canvas? Hentet 19.desember 2022 fra https://www.jus.uio.no/cell/ressurser/verktoy/brukermanual-krim1500.pdf

Horgen, S, A. (2017, 29.mai). Hvordan lage gode tester i Canvas [Video]. Youtube. https://www.youtube.com/watch?v=kYSULmSqMGU

Ku Leuven (2022). Formulating multiple choice questions. Hentet fra Formulating multiple choice questions - Education (kuleuven.be)

NTNU. (2014).  Flervalgsoppgaver. Undervisningsveileder fra Norges teknisk naturvitenskaplige universitet.

Olaussen, J. E. (16.august 2018). REAL- undervisningsseminar. Hentet 19.desember 2022 fra https://www.mn.uio.no/kurt/aktuelt/arrangementer/presentasjoner/2018/inkluderende-undervisning-real-uio-plenum-aug2018.pdf

Universitetet i Oslo. For ansatte. Importere og eksportere oppgaver. Hentet 19.desember 2022 fra https://www.uio.no/for-ansatte/arbeidsstotte/sta/eksamen/digital-eksamen/veiledninger/inspera/importere-og-eksportere-oppgavesett.html#toc4

Regler/retningslinjer

Dysleksi Norge. (2021). Rettigheter høyere utdanning. Dysleksinorge.no. https://dysleksinorge.no/rettigheter-hoyere-utdanning/

Universitetet i Oslo. Se hva du har fått innvilget. Hentet 16.desember 2022 fra https://www.uio.no/studier/eksamen/tilrettelegging/se-hva-du-har-fatt-innvilget/

Universitetet i Oslo. (u.å.). Eksamen. Uio.no. https://www.uio.no/studier/emner/sv/sv/SVEXFAC03/#exam

Erfaringsdelingssamtaler

I forbindelse med denne rapporten er det blitt gjennomført 3 erfaringsdelingssamtaler med ansatte på UiO.

• Eivind Balsvik, emneansvarlig for SVexfac, samtale om flervalgseksamen i SVEXFAC 22.september 2022.
• Eirik Finne, studiekonsulent på IFIKK, en samtale om bruk av Inspera til flervalgsoppgaver 15.november 2022.
• Francesca Jensenius (ISV), samtale om flervalgseksamen i STV4021 30.november 2022.