Til sak 8/07 Orienteringssak 1: Evaluering av masterstudiet
Som ledd i kvalitetssikringen av studietilbudet, plikter ISV å foreta jevnlige deltakerevalueringer av emner og program. Se UiOs sider om kvalitetssystemet.
ISV har imøtekommet kravet om evaluering blant annet ved at Carl Henrik Knutsen, som har tatt mastergraden hos oss, har laget en evalueringsrapport av masterstudiet. Resultatene bygger på ulike evalueringer som: Midtveisevalueringer, fremdriftsrapporter og sluttrapporter, og resultater som tidsbruk og karakterer. Dataene kommer fra tidsperioden 2005-2006.
Hovedfunnene vil bli presentert av Knutsen på et dagsseminar hvor temaet er: Diskusjon av undervisningsformer og vurderingsmetoder ved ISV.
Sammendrag fra rapporten
- Rapporten behandler ulike sider av studieopplegget og studenters gjennomføring av masterstudiet i statsvitenskap ved Institutt for statsvitenskap (ISV), Universitetet i Oslo. Resultatene bygger på ulike typer evalueringer, såkalte midtveisevalueringer, fremdriftsrapporter og sluttrapporter, men også resultater som tidsbruk og karakterer. Dataene kommer stort sett fra tidsperioden 2005-2006, som kommer etter innføringen av ”kvalitetsreformen” i tid.
I sin evaluering av ulike deler av undervisningen knyttet til masteroppgaven (veiledning av masteroppgaven, designseminar for oppgaven, fellessamlinger og informasjon fra instituttet) er studentene generelt positive. Det er likevel enkelte elementer som får bedre bedømmelser i gjennomsnitt enn andre. Best ut kommer den individuelle veiledningen, og dernest designseminaret.
Hva veiledning angår, har de fleste studentene mellom tre og fire møter med veileder i løpet av det første semesteret med oppgaveskriving. Når man ser nærmere på studentenes evaluering av veiledningsforholdet, er de generelt mest fornøyde med veiledernes tilgjengelighet og møteforberedelser, og minst fornøyde med veiledernes evne og vilje til å sette tydelige krav til studentene.
”Både-og” benyttes hyppigere som karakteristikk av fellessamlingene og informasjonen fra instituttet enn både designseminaret og veiledningen. Fellessamlingene det er tale om inngår i STV4900 Veiledningsseminaret sammen med den individuelle veiledningen.
Studentene har også evaluert ulike forslag til reformer av masteroppgaveopplegget. Det er flere studenter som sier seg uenige enn enige med samtlige av de fire følgende påstandene: ”Omfanget på oppgaven bør reduseres”, ”Det bør være mulig å velge oppgitt problemstilling”, ”Designseminaret kommer for tidlig”, og ”Designseminaret bør gå over hele tredje semester”. Dette tyder på at det ikke er overveldende etterspørsel etter disse reformene blant studentene.
Det er imidlertid flere studenter som er kritiske til den gjeldende ordning med tidsfrister for innlevering av masteroppgaver, der studentene må vente en lengre tidsperiode før de kan levere dersom de ikke rekker å levere til normert tid. Det er et stort mindretall på 41 prosent av de spurte studentene som ser på den gjeldende innleveringspraksisen som enten ”svært uheldig” eller ”uheldig”. De øvrige fordeler seg med 37 prosent som svarer ”både-og”, mens 22 prosent bedømmer ordningen med en klar tidsfrist som ”bra” eller ”svært bra”.
Det er stor spredning blant studentene hva tidsbruk på masteroppgaven i første semester angår, men den ”typiske student” bruker 20-29 timer per uke. Det er da også relativt stor spredning i forhold til progresjon med oppgaven etter et semester. Av de som gjør empiriske oppgaver har omtrent 30 prosent samlet lite data, mens en nesten lik andel allerede har påbegynt analysen. Ellers har den ”typiske student”, ifølge våre data, skrevet utkast til to kapitler av masteroppgaven etter et semester, og opplever selv å ha unnagjort mellom 20 og 40 prosent av oppgaven.
Analyser tyder på at spesielt tid brukt på lønnet arbeid reduserer tid brukt til masteroppgaven i det første semesteret. Én time med arbeid vil ifølge enkelte, riktignok svært usikre og betingede, estimater redusere den forventede tidsbruken på oppgaveskriving med en halvtime.
Så til tilnærmingsmåten studentene oppgir at de velger: Det absolutt vanligste forskningsdesignet for masteroppgaven er ulike varianter av casestudier, som velges av nesten to tredeler av studentene. Noe uventet ser det ut til at valg av forskningsdesign systematisk påvirker karakteren på masteroppgaven, selv etter kontroll for andre variable. Studenter som skriver casestudier later til å oppnå lavere karakterer, men det tas forbehold om at det her generaliseres ut fra et lavt antall observasjoner.
Ambisjonsnivået hva karakterer angår er relativt høyt for de fleste studentene, når dette oppgis etter ett semesters arbeid. Omtrent to av tre spurte studenter har ambisjoner om karakteren B eller bedre på masteroppgaven. Denne andelen er imidlertid ikke veldig mye høyere enn den faktiske karakterfordelingen for master- og hovedoppgaver de tre siste årene.
Analyser tyder på at det er flere faktorer som kan påvirke oppgavekarakteren på en systematisk måte. Mulighet til å kunne arbeide fulltid med oppgaven i det andre semesteret og god progresjon i forbindelse med skriving og databearbeiding i det første semesteret virker positivt inn på karakteren, og later også til å ha relativt sterke effekter. En god metodekarakter er også, ikke uventet, korrelert med en god oppgavekarakter.
Det er også faktorer som systematiske påvirker hvorvidt studenter klarer å levere oppgaven til normert tid. En faktor som synes å peke seg ut er innleveringssemester, selv om vi nok en gang har et relativt lite datagrunnlag å generalisere ut ifra. Studenter som har det kortere høstsemesteret som innleveringssemester har en lavere sannsynlighet for å få levert oppgaven til normert tid, selv om de i gjennomsnitt i vårt datamateriale har bedre progresjon i det første semesteret (som er et vårsemester). Imidlertid er det flere faktorer som er viktige for studentene uavhengig av semester. Det er relativt godt grunnlag for påstanden om at mulighet til å arbeide fulltid med oppgaven i andre oppgavesemester øker sannsynligheten for å levere til normert tid. Det samme gjelder ulike mål på progresjon med oppgaven i det første semesteret; både innsamling og analyse av data og skriving av kapittelutkast i første semester later til å øke sannsynligheten for å levere innen fristen som står i veiledningsavtalen. Studenter som både har hatt god progresjon i første semester, og som har anledning til å jobbe fulltid med oppgaven i andre semester, leverer i tide med en svært høy sannsynlighet. Dette gjelder spesielt hvis innleveringssemesteret er et vårsemester.
Hva fullføring av hele masterstudiet til normert forløp angår, er det visse indikasjoner på at studenter som får en av de to beste karakterene ved metodeeksamen har en høyere sannsynlighet for å klare av hele studiet på fire semestre.