Learning analytics tools in onderwijs beter evalueren en vergelijken

De introductie van learning analytics in het onderwijs zijn veelbelovend. Als praktische informatiebron geeft het docenten  en leerlingen informatie over het online studiegedrag. Toch lijken de mogelijkheden van learning analytics nog veelal onbenut. Vaak weten onderwijsgevenden of cursusontwikkelaars niet of de geïmplementeerde learning analytics ook echt hun doel bereiken en blijkt het moeilijk om tools met elkaar te vergelijken. Maren Scheffel, promovenda bij de Open Universiteit, deed onderzoek en ontwikkelde een gestandaardiseerd evaluatie instrument voor learning analytics, het Evaluation Framework for Learning Analytics, EFLA. Zij verdedigt haar proefschrift ‘The Evaluation Framework for Learning Analytics’ op 22 september 2017 bij de Open Universiteit in Heerlen. 

In haar proefschrift beschrijft ze het onderzoek naar gebruik en toepassing van learning analytics in het onderwijs. De belangrijkste uitkomst van haar onderzoek is de ontwikkeling van het standaard evaluatie instrument, EFLA.  Het raamwerk, voorziet in een lacune op het gebied van evaluatie-instrumenten en biedt een gestandaardiseerde manier aan om learning analytics tools te evalueren en de impact van learning analytics op de onderwijspraktijk te meten en te vergelijken. 

Inzicht in online studentgedrag en kwaliteit van het leermateriaal

Learning analytics tools  geven inzicht in de kwaliteit van het leermateriaal of de opbouw van de cursus. Het kan een complete dashboard zijn, of een visualisatie voor studenten en docenten in hun leeromgeving. Daarnaast bieden ze studenten de mogelijkheid om zelf meer regie over hun eigen studievoortgang te nemen. 

Met de toenemende behoefte om learning analytics tools meer te verankeren in leertheorieën en om vast te stellen of de tool het beoogde doel heeft bereikt, kan het EFLA raamwerk worden toegepast. Met dit evaluatie instrument kan worden gemeten of de tool daadwerkelijk invloed heeft op leer- en onderwijsprocessen en deze efficiënter en effectiever maakt. Bovendien kan door het leveren van bewijs worden aangetoond dat het verzamelen van gebruikersgegevens, wat gezien wordt als een van de grootste privacy-gerelateerde problemen, geoorloofd is.  

Evaluatie tools verankeren in leerstrategieën

Maren Scheffel beveelt het onderwijsveld aan om studenten en docenten bij de evaluatie van learning analytics tool meer dan tot nu toe te betrekken. ‘Om  grote successen te boeken moeten er twee aspecten worden aangepakt. Enerzijds moet de ’markt’, dat wil zeggen degenen die de learning analytics tools ontwerpen, ontwikkelen, implementeren en  leveren ervan overtuigd worden dat ze kunnen profiteren van het gebruik van het EFLA om hun tools te evalueren.

Anderzijds zullen de gebruikers ervan overtuigd moeten worden dat ze de EFLA-vragenlijst invullen. Zonder deelname van de gebruikers kan geen integrale evaluatie mogelijk zijn.’ Volgens de  promovenda kan deze werkwijze leiden tot verbeterde versies van de learning analytics tools. Uiteindelijk moeten betrokkenen tot een besef komen dat het doel van het verzamelen en analyseren van data binnen het onderwijs er niet is om intelligente systemen of domme systemen te ontwikkelen, maar om intelligente en succesvolle studenten te vormen en om het onderwijs te bevorderen. Vanuit die visie is het belangrijk dat er een gestandaardiseerd evaluatie instrument als het EFLA  is, om learning analytics tools in het onderwijs blijvend te evalueren.

De EFLA evaluatietool  is openbaar beschikbaar voor iedereen via de website: http://www.laceproject.eu/evaluation-framework-for-la/. Er zijn templates voor de vragenlijsten en ook een interactief spreadsheet om de EFLA score van een learning analytics tool te berekenen. 

Maren Scheffel verdedigt haar proefschrift met als titel ‘The Evaluation Framework for Learning Analytics’ op 22 september 2017, om 13.30 uur bij de Open Universiteit in Heerlen. Haar promotor is prof. dr. M.M. Specht, hoogleraar bij het Welten-instituut van de Open Universiteit. Co-promotor is prof. dr. H. Drachsler, hoogleraar bij het Welten-instituut van de Open Universiteit alsook bij de Goethe Universiteit in Frankfurt samen met het Duits instituut voor pedagogische onderzoek. 

_______________________________________________________________________