Artikel

Laatst bewerkt door John Doove op 15-06-2012 11:51

When data has meaning

 

For those experts focused on ‘all things data’, this is not news. But I recently had an “aha” moment when I was made to realize, we have never ever had access to such an enormous amount of user data as we do today. And this is huge. Not only in the privacy aspects involved, and regarding the echo chamber or online bubble we find ourselves in as a consequence. But also in the opportunities that it offers to influence behavior. Influence studying behavior.

Most universities will by now have one form or another of an online LMS. And whether they make use of it or not, the database and server behind a LMS log user data. Hits, time spent viewing, unique user, returning user, downloads, click throughs, etc. all are being stored.

Now the enormous question put before educators, policy makers, learning and educational technology staff members, is what are we going to do with this data? It is being stored. What do we want to harvest and why? And how will we present it back to the users? What is the behavior we want to stimulate, and how can we?

In that context, and in the context of the Learning Analytics project, we recently took a close look at the blackboard statistics for a particular Political Science course. This year was the first year weekly digital quizzes were used. We wanted to compare the file download statistics with those of last year to see if 1) more students had started downloading 2)earlier, which might be an indication that using digital quizzes had influenced students study behavior in a positive way. Unfortunately these statistics were not readily available, either in the generated reports on the front end or via a database query on the back end.

For a teacher, download statistics per file is information s/he can immediately use in the teaching process. It gives very specific insight into what students are accessing and what they are not. Teachers provide the weekly PowerPoint lecture files, mandatory reading and recommended reading. Distinguishing between these files is crucial for the download data to have any meaning.  If this data could be made available I know many lecturers would take a closer look at the user reports in Blackboard, and the opportunities they provide to influence study behavior in a positive way. 


SIG's en subthema's: Learning Analytics

REACTIES

  • Afbeelding Ruud Steltenpool
     
     
     
     
     
    150

    Zodra er echter maar bij 1 student de vage schijn gaat ontstaan dat die downloadstatistieken er zijn en dus waarschijnlijk een directe weerslag gaan hebben op de (uiteindelijke beoordeling van de) student, weet je zeker dat er downloads zullen zijn puur en alleen voor die statistieken. Dus nog een extra factor in de vervuiling van de statistieken. Ga je deze statistieken heel direct meewegen in het eindcijfer, dan worden deze cijfers zelfs compleet nutteloos: binnen no-time zal er een automatisch download-tooltje verschijnen

    • Afbeelding John Doove
       
       
       
       
       
      MODERATOR

      Beste Ruud,

      Zoals ik het begrijp dienen de statistieken zeker niet om studenten te beoordelen. Anders gezegd de downloadstatistieken hebben geen directe weerslag op de uiteindelijke beoordeling.

      Learning Analytics is naar mijn mening een tool die je kan inzetten om studenten te motiveren door een stukje feedback op hun eigen gedrag te geven of om docenten inzicht te geven in online leergedrag. 

      Wat betreft dat laatste geeft het artikel volgens mij een mooi voorbeeld hoe je het kan inzetten om bepaald online studie gedrag inzichtelijk te maken zoals: "wanneer en door wie wordt cursusmateriaal bekeken of worden formatieve toetsen gemaakt?" De docent kan met met deze informatie wellicht zijn/haar onderwijs (toetsen, content, cursusopbouw) aanpassen of bepaald gewenst studiegedrag te stimuleren. 

      Het is dus zeker van belang ook de studenten te vertellen dat dergelijke statistieken worden bijgehouden en dat deze kunnen dienen om feedback op de cursus en hun (eventueel) hun eigen gedrag te geven. Zeker niet om ze te beoordelen! (zie ook bijvoorbeeld de enquetes die een ander Learning Analytics project "User needs van student en docent bij het begruik van Learning Analytics" heeft gehouden onder studenten hierover). 

      Op deze manier is er ook geen aanleiding om een dergelijk tooltje te ontwerpen. En kunnen de logfiles een waardevolle bijdrage leveren aan het verkrijgen van inzicht in online leergedrag. 

       

       

PLAATS REACTIE