Artikel

Laatst bewerkt door Marcel Penners op 22-07-2016 10:13

Voorspellende waarde van formatieve toetsen

Bij goed gebruik van formatieve toetsen zou je kunnen verwachten dat de prestaties van studenten op deze toetsen ook enigszins samenhangen met het eindcijfer dat zij halen voor het vak. Die samenhang heeft niet alleen te maken met de kwaliteit van de formatieve toetsen maar ook met allerhande randverschijnselen. Zo hingen de prestaties op het digitaal werkboek hier bij de afdeling Psychologie van de UvA in het begin sterk samen met de eindprestaties, maar nadat de itembank waarin duizenden items zaten structureel geharvest was en publiek op studeersnel.nl beschikbaar stond, was het snel gedaan met die voorspellende waarde.

Zoals in 2015 al geconstateerd tijdens het symposium fraude preventie bij digitaal toetsen, komt het motief om punten te sprokkelen vaak voort uit het meewegen van de behaalde punten voor de formatieve toetsen. Immers hoe beter je het doet hoe hoger je eindcijfer. Bij mijn eigen vak merkte ik dit fenomeen ook op. Hoewel ik uit de data kon zien dat studenten gemiddeld toch wel 2 uur aan een opdracht besteedden, was het merendeel van de antwoorden correct. Uit focusgroepgesprekken bleek dat men de opdrachten wel serieus nam, maar bij het invullen van het antwoord toch even controleerde wat het correcte antwoord had moeten zijn. Dit om maar geen punten op het eindcijfer mis te lopen.

Sinds een paar jaar zijn we dan ook overgestapt op een ander wegingsmodel. De eis is nu een maakverplichting maar hoe goed je de opdracht maakt maakt niet uit. Sterker nog, we zeggen zelfs dat het goed is om fouten te maken en dat we alleen dán kunnen zien waar je problemen mee hebt en hoe we je daar vervolgens mee kunnen helpen. Ik laat ook altijd bij aanvang van de cursus onderstaande Kahn academy video zien, omdat die zo treffend het belang van fouten in het leerproces weergeeft.

mqdefault.jpgDe malus regeling die we hanteren bestaat uit een staffel die aftrek op het eindcijfer ten gevolge heeft als men niet aan de verplichting voldoet. Een keer missen van een opdracht heeft zo bijvoorbeeld geen gevolgen, maar het niet maken van twee opdrachten geeft een aftrek van 0.1, drie opdrachten 0.25, oplopend tot uitsluiting van deelname. Nou kan je natuurlijk zeggen dat studenten nog steeds gebaat zijn bij het louter invullen van de opdrachten en dat klopt. Nu hanteren we wel wat maatregelen om studenten aan te spreken op hun prestaties. Zo moeten ze aan het eind van iedere formatieve opdracht reflecteren op wat goed en minder goed ging. Begeleiders bekijken deze reflectie en spreken studenten er op aan als ze de opdrachten niet serieus maken. Daarbij is natuurlijk de tijdsinvestering een aardige indicator.

Maar om te weten of men de opdrachten met aandacht maakt is natuurlijk wederom de vraag of de formatieve opdrachten nu wel samenhangen met het eindcijfer voor het vak.

Om hier achter te komen heb ik de behaalde cijfers op de 14 formatieve weekopdrachten samengevoegd en geaggregeerd tot één variabele. Door met een principale componenten analyse een onderliggende factor te extraheren was het mogelijk om de 14 opdrachten in één variabele te vatten. Vervolgens is deze gecorreleerd aan de eindcijfers van het vak. Onderstaande grafiek geeft de correlatie van bijna .3 goed weer. 

Correlatie formatieve en summatieve toets

Hoewel ik een correlatie van .3 niet heel erg hoog vind kunnen we toch wel constateren dat de opdrachten nu weer bijdragen aan de eindprestatie.

In het regressie model had ik ook nog de aanwezigheid tijdens de colleges in het eerste en laatste blok toegevoegd maar die bleken geen enkele voorspellende waarde te hebben. Lang leve de weblectures. Daarover een volgende keer meer.


REACTIES

  • Afbeelding Draaijer Silvester
     
     
     
     
     
    1135

    Sharon,

    Leuk artikel. Erg waar allemaal.

    Met jullie nieuwe systeem zijn jullie meer gaan zitten op het uitbuiten van het fenomeen van Loss Aversion (https://www.behavioraleconomics.com/mini-encyclopedia-of-be/loss-aversion/). Mensen zijn gevoeliger voor verlies dan voor winst.

    Hoewel het inzetten op loss aversion minder ethisch lijkt (of misschien is), is het wel een erg effectieve (extrinsieke) prikkel.

    Gr. Silvester

    • Afbeelding Sharon Klinkenberg
       
       
       
       
       
      MODERATOR

      Klopt inderdaad. Voordeel van een staffel is dat je dat ook kan voorleggen aan studenten. Bijvoorbeeld of ze het redelijk vinden. Als dat niet zo is kan je in discussie gaan wat ze dan wel een redelijke maat vinden.

PLAATS REACTIE