Artikel

Laatst bewerkt door Jocelyn Manderveld op 17-11-2015 16:50

Verslag Pre-conferentie over learning analytics tijdens Dé Onderwijsdagen 2015.

Learning analytics is typisch een onderwerp waar een onderwijsinstelling graag iets mee wil, maar dat voor acute koudwatervrees kan zorgen. Waar te beginnen? Hoe stelt u de juiste vragen en genereert u waardevolle inzichten? Mag dat zomaar, studentendata inzetten voor onderzoek naar leergedrag? In de aanloop naar Dé Onderwijsdagen organiseerden SURFnet en Kennisnet een pre-conferentie die in het teken stond van alle vragen en antwoorden rondom learning analytics.

Opening

Geen hotter topic onder onderwijsinstellingen dan learning analytics. Jocelyn Manderveld van SURFnet en Wietse van Bruggen van Kennisnet krijgen er dagelijks vragen over, vertellen ze in de opening van de pre-conferentie op maandag 9 november in het World Trade Center Rotterdam. De hoop is groot dat learning analytics de langverwachte katalysator zullen zijn voor onderwijs op maat. Binnenkort verschijnt er een privacy-convenant voor de hele sector, onthult Van Bruggen. In het kader van het innovatieprogramma Onderwijs op Maat wordt er hard gewerkt aan standaarden en privacy-onderwerpen. Bezoekers van de pre-conferentie ontvangen alvast de nieuwe SURFnet-uitgave Learning analytics onder de Wet Bescherming Persoonsgegevens.

Terugkijken

De zes dimensies van learning analytics

Hendrik Drachsler is assistent professor aan het Welten-instituut van de Open Universiteit en voorzitter van de SIG Learning Analytics. Hij geeft een kort overzicht van het waarom en hoe van learning analytics. Het waarom laat zich snel uitleggen: met studiedata zijn we voor het eerst in staat om leerprestaties on demand te volgen. Volgens een recent onderzoek van het MIT zijn algoritmes nu al beter in staat dan mensen om menselijk gedrag te voorspellen, bijvoorbeeld dreigende studie-uitval.

Het hoe van learning analytics

Dan het hoe. Drachsler onderscheidt zes dimensies van learning analytics.

1. Stakeholders. Dat zijn in de eerste plaats studenten, maar ook onder andere docenten, instituten en ouders. Studenten zijn meestal het datasubject, het onderwerp van onderzoek, de anderen de dataclient, de onderzoeker. Maar ook docenten kunnen zichzelf opeens als datasubject terugvinden, bijvoorbeeld in een instellingsbreed onderzoek naar het eigen onderwijs.

2. Doelstelling. Learning analytics bieden studenten reflectie op de eigen prestaties. Hoe brengen ze het ervanaf ten opzichte van de groep? Daarnaast kunnen learning analytics aanbevelingen genereren, bijvoorbeeld door te voorspellen wie de cursus niet zal halen.

3. Studiedata. Die zijn meestal helemaal niet gemaakt voor learning analytics en ze staan verspreid, waardoor het veel moeite kost om ze te analyseren. Bovendien is het technische gevecht tussen standaarden nog in volle gang.

4. Technologie. Onder andere datamining, visualisaties en statische analyse worden ingezet om inzichten te genereren uit studiedata.

5. Restricties. Zeg learning analytics en u zegt privacy en ethiek. Hoe bewaart u de data veilig? Wie heeft er toegang toe? Mag u data van kinderen gebruiken? Van wie zijn die data dan?

6. Competenties. Om effectief met studiedata aan de slag te gaan, is kritisch denkvermogen essentieel. Drachsler benadrukt het belang van meedenken met de data - wiskundige Ionica Smeets zal later die dag een aantal aansprekende voorbeelden geven van hoe het mis kan gaan.

Goede onderzoeksvragen

Uit de zaal komt de vraag wat goede onderzoeksvragen voor learning analytics zijn. Drachsler noemt als voorbeeld de vraag in hoeverre de kostbare high definition video's van de Open Universiteit worden bekeken. Hoe ver kijken de studenten de video af? Wanneer klikken ze op pauze of spelen ze een video nog een keer af? Voorheen had men geen idee. Ook interessant om te onderzoeken is de hoeveelheid tijd die studenten doorbrengen in het online lessysteem.

Terugkijken

Is uw instelling klaar voor learning analytics?

Jisc, de Britse zusterorganisatie van SURFnet, is de afgelopen periode bezig geweest met het ontwikkelen van een infrastructuur voor learning analytics, met als doel learning analytics effectiever in te zetten bij universiteiten en hogescholen in het Verenigd Koninkrijk. Niall Sclater, consultant en directeur bij Sclater Digital Ltd, was betrokken bij het project. Hij ontwikkelde samen met anderen een instrument waarmee hogeronderwijsinstellingen kunnen onderzoeken hoe ver ze zijn met de toepassing van learning analytics. De onderzochte instellingen variëren sterk in hun mate van readiness, zo blijkt. Nog maar weinigen zijn zo ver dat ze op institutioneel niveau de effecten van learning analytics kunnen optimaliseren.

Succesfactoren

Jisc onderscheidt een aantal factoren die experimenten met learning analytics tot een succes maken. Zo is het belangrijk dat alle stakeholders samenwerken en het idee loslaten dat zij zelf de bezitter van de data zijn. De data zijn van de instelling. Net als Drachsler benadrukt Sclater dat learning analytics moeten worden ingezet om een specifieke vraag te beantwoorden, niet voor het uitproberen van technologische mogelijkheden. Onderwijsinstellingen die succesvol learning analytics inzetten, hebben vaak een sterke leider die iedereen meekrijgt, met name de studenten. Die laatsten moeten erin geloven, in plaats van het gevoel krijgen dat ze bespioneerd worden. Transparantie is dan ook het toverwoord.

Killler app

Sclater laat zien welke route de data afleggen. Afkomstig van onder andere studenteninformatiesystemen, de online leeromgeving en de bibliotheek, worden ze opgeslagen in het Learning Records Warehouse en van daaruit naar de Learning Analytics Processor. Uiteindelijk is het de bedoeling dat de student zelf wat aan de analyses heeft. Daarvoor is een killer app onontbeerlijk. Sclater laat zien hoe de studentenapp die Jisc ontwikkelde, slim gebruikmaakt van gamification-elementen om studenten aan te sporen om harder te studeren. Heel belangrijk: ze bepalen zelf welke data over ze worden bijgehouden en welke gegevens voor anderen zichtbaar zijn.

Code of Practice

Aan de hand van 86 ethische en legale zaken ontwikkelde Jisc een Code of Practice voor learning analytics. De code gaat onder andere in op transparantie, toegang en validiteit van de analyses.

Uit de zaal klinkt de vraag naar voorbeelden van wat er met learning analytics kan worden bereikt. LACE, de learning analytics community exchange, bekijkt wereldwijd alle experimenten, antwoordt Sclater, maar er is nog weinig dramatisch bewijs gevonden. Het is bijvoorbeeld bekend dat studenten beter presteren met het stoplichtsysteem van het Signals Project, dat een seintje geeft wanneer een student achterloopt, maar wellicht zijn het sowieso de meer gemotiveerde studenten die hiervan gebruikmaken.

Meer informatie: analytics.jiscinvolve.org

Terugkijken

Featured sessies: Dashboards voor learning analytics

Een hulpmiddel dat instellingen kunnen gebruiken voor het verzamelen, analyseren en rapporteren van studiedata is een dashboard. Dat geeft docenten en studenten inzage in de voortgang en in mogelijke verbeterpunten. Renée Filius van Elevate en Allen Berg van de Universiteit van Amsterdam bespreken de functies van een dashboard.

Dashboard voor docenten

Renée Filius van Elevate deed dit jaar onderzoek naar de wensen en verwachtingen van studenten en docenten op het gebied van learning analytics. Met stip op één bij docenten staat de wens om het leerproces te monitoren. Daarnaast willen ze met learning analytics de kwaliteit van het onderwijsmateriaal bewaken en interactie faciliteren. Docenten ontvangen graag hulp van learning analytics, bijvoorbeeld notificaties als ze een actie moeten uitvoeren.

Een dashboard voor docenten moet wat hen betreft onder meer tonen wat de status is van een student in het totaaltraject en waar de groep zich bevindt. Ook moet het een overzicht geven van welke acties zijn uitgevoerd door de docent zelf. Docenten hechten veel waarde aan de vormgeving; het dashboard moet visueel intuïtief en overzichtelijk zijn. En het moet niet alleen data genereren, maar vooral ook analyses. Het liefst stellen de docenten de voorwaarden voor de analyses zelf in - als student A doet, moet B gebeuren. Dat betekent dat ze van te voren goed moeten uitdenken wat ze ermee willen.

Kansen en uitdagingen

Uit het onderzoek komt naar voren dat met name docenten bang zijn om de privacy van studenten te schenden. Studenten stellen het echter meestal op prijs om online te worden gevolgd, als dat betekent dat ze online advies krijgen en de docent vragen kunnen stellen. Verder heerst er wat angst voor 'luie docenten', die achteroverleunen en de learning analytics het werk laten doen. 'Luie studenten' zouden op hun beurt verkeerde verwachtingen kunnen krijgen, bijvoorbeeld aannemen dat ze met groene stoplichten hun toets sowieso wel halen. Kansen van learning analytics zien de ondervraagde docenten en studenten gelukkig ook, met name om het gebied van personalisering en kwaliteitsverhoging.

OpenDashboard

Allen Berg is namens de UvA betrokken bij de Apereo Foundation. Deze stichting ontwikkelt open source software en organiseert conferenties en netwerkbijeenkomsten voor ongeveer honderd aangesloten universiteiten. In het kader van het Apereo Learning Analytics Initiative is een Learning Record Store gebouwd voor het opslaan van studentendata. Ook zijn er twee Learning Record Warehouses en een Student Succes Plan (SSP) gebouwd, een portal voor studieadviseurs. Belangrijk in dit verband is het OpenDashboard dat Apereo met Jisc maakte. Vanwege het open karakter kunnen studenten er zelf mee aan de gang - een prima manier om angst voor learning analytics weg te nemen. Verschillende developer teams kunnen hun eigen visualisaties bouwen met het OpenDashboard. De gebruiker kiest zelf welke cards hij of zij in het dashboard wil zien. Het OpenDashboard is schaalbaar en makkelijk te integreren, bijvoorbeeld in Blackboard. Het nodigt daarmee uit tot samenwerking.

Terugkijken

Learning analytics op de pijnbank van de privacywet

Het beeld van de pijnbank dat het verhaal van internetjurist Arnoud Engelfriet (ICTRecht) ondersteunt, belooft niet veel goeds, maar zijn betoog is minder onheilspellend dan gevreesd. Ja, u heeft al heel snel te maken met persoonsgegevens als u zich met learning analytics inlaat. Hoe snel? Zodra een gegeven te herleiden is naar één specifiek persoon. Onder persoonsgegevens vallen dus ook een studentnummer, een verzameling tentamencijfers of iemands favoriete pizza. Persoonsgegevens mag u niet zomaar opslaan en gebruiken. Naar bijzondere persoonsgegevens, zoals gegevens over ras, politieke gezindheid en gezondheid, mag een onderwijsinstelling zelfs niet eens vragen.

Persoonsgegevens opslaan en gebruiken

Als u zich voor learning analytics met persoonsgegevens bezighoudt, is het uw plicht om te kunnen aanwijzen op welke grond u dit doet. De wet biedt hiervoor verschillende mogelijkheden, vertelt  Engelfriet.

  1. Toestemming
    Wellicht de makkelijkste: vraag om toestemming aan de student. Die vraag mag niet worden verstopt in de algemene voorwaarden. Evenmin kan de student worden verplicht om een pop-up te accepteren - toestemming geven moet je immers ook kunnen weigeren.
  2. Uitvoering overeenkomst
    Soms is het noodzakelijk (niet hetzelfde als handig!) voor de uitvoering van een overeenkomst om persoonsgegevens te gebruiken. Engelfriet geeft als voorbeeld dat bol.com uw postcode doorgeeft aan de postbode om een pakket bezorgd te krijgen.
  3. Wettelijke plicht
  4. Uitvoering overheidstaak
    U zou kunnen aantonen dat learning analytics onderdeel zijn van uw publiekrechtelijke taak, bijvoorbeeld omdat het verzamelen van persoonsgegevens noodzakelijk is voor het geven van excellent onderwijs (de rechter zal waarschijnlijk wel tegenwerpen dat het hogeronderwijsinstellingen eeuwenlang ook is gelukt zonder die gegevens)
  5. Gerechtvaardigd eigen belang
    Soms is er sprake van een legitiem eigen belang en is het vragen van toestemming niet realistisch. Deze insteek wordt bijvoorbeeld gebruikt ter rechtvaardiging van beveiligingscamera's.
  6. (Wetenschappelijk en statistisch onderzoek)
    Van belang is dat de gegevens alleen worden gebruikt voor het doel van het onderzoek en dat de privacy zo veel mogelijk wordt gewaarborgd. Persoonsgegevens mogen niet langer worden bewaard dan nodig voor het oorspronkelijke doel waarvoor ze zijn verkregen. Dat staat haaks op het doel van learning analytics, waarmee u in retrospect trends wil kunnen aanwijzen. Gelukkig biedt de wet biedt uitzonderingen voor wetenschappelijk en statistisch onderzoek, zolang u de gegevens niet gebruikt voor een ander doel. Achteraf bepalen of student X een fraudeur was, is dus uitgesloten.

Hoge boete

Gezien de hoeveelheid vragen snijdt Engelfriet een relevant onderwerp aan. In de SURFnet-uitgave Learning analytics onder de Wet Bescherming Persoonsgegevens is rustig na te lezen hoe het zit. Verdiep u in de materie, waarschuwt Engelfriet, want vanaf 1 januari 2016 wordt verkeerd gebruik van persoonsgegevens harder bestraft. Als u persoonsgegevens verwerkt, hebben de studenten recht op inzage, recht op correctie en recht op verwijdering. Ook niet onbelangrijk: ú bent verantwoordelijk voor de beveiliging van alle persoonsgegevens die u opslaat, niet de hostingpartij of leverancier. De boete op het verzaken van de beveiligingsplicht kan vanaf 1 januari 2016 oplopen tot ruim acht ton.

meer internetrecht op het blog van Arnoud Engelfriet: http://blog.iusmentis.com

Terugkijken

Keynote: de rol van data binnen onderwijs op maat

Denkt u alle juridische risico's te hebben afgedekt, blijkt de analyse van uw studiedata voor geen meter te kloppen. Wat er allemaal kan misgaan bij het analyseren en interpreteren van data, laat hoogleraar wetenschapscommunicatie Ionica Smeets zien met behulp van een aantal geestige voorbeelden. Zo rekent ze voor dat het gevaarlijk is om met learning analytics iets te onderzoeken dat zeldzaam is, zoals extreem talent. Waarschijnlijk levert dergelijk onderzoek vooral veel aanwijzingen op waarmee bij nader inzien niets aan de hand is.

Beroemd is Simpsons paradox: een trend in verschillende groepen keert zich om als u de groepen combineert. Per groep is er een stijging te zien, maar een grafiek van het geheel laat een dalende lijn zien. Intuïtief weet u vaak wel wanneer er iets mis is met een statistiek, stelt Smeets gerust.

Ook een valkuil: correlaties zien waar die er niet zijn. Dat het aantal verdrinkingen toeneemt als er meer ijs wordt verkocht, heeft bijvoorbeeld waarschijnlijk meer te maken met het aantal zwemmers  op een warme dag dan met het risico van het kopen van een ijsje.

Valide conclusies trekken

Data verzamelen is verbanden leggen, maar daarmee heeft u nog geen zicht op de oorzaak van de verbanden, wil Smeets maar zeggen. Hoe komt u dan van verbanden naar valide conclusies?

Een paar adviezen:

  1. Kijk niet naar één tijdstip, maar onderzoek de lange termijn.
  2. Zorg voor willekeur. Enthousiaste vrijwilligers die een nieuwe lesmethode testen zijn niet altijd even representatief voor een uitgeblust lerarenkorps als geheel.
  3. Kijk naar grensgevallen. Wel of geen cum laude vergelijken, gaat bijvoorbeeld het beste door de mensen te onderzoeken die nèt tegen cum laude aan afstudeerden.
  4. Denk na over data. Waar kijkt u precies naar, wat wilt u onderzoeken? Deze gouden regel kwam vaker terug op de pre-conferentie: ga uit van een vraag, niet van de technologie of van de beschikbare data.

Terugkijken

Verslag mede mogelijk gemaakt door Marjolein van Trigt

 


REACTIES


Geen reacties gevonden.

PLAATS REACTIE