Vele opleidingen werken al jaren met een HILLⓁ aanpak, soms met duizenden lerenden. Vaak is er behoefte om meten op welke bouwstenen men best kan inzetten om de impact van de opleiding te versterken. Aan welke bouwstenen hebben de trainers, docenten of ontwikkelaars veel aandacht besteed bij het optimaliseren van de opleiding of bij het ontwerpen van een nieuwe opleiding? En wat zijn dan de leerervaringan van de studenten? Welke bouwstenen ervaren de lerenden als goed geïmplementeerd in de opleiding? Matchen de leerervaringen van de lerenden met de veronderstelde (beoogde) implementatie van HILLⓁ bouwstenen?
Een meetinstrument is handig om de feitelijke (lerenden) en veronderstelde (trainers, docenten, ontwikkelaars) HILLⓁ leerervaringen in kaart te brengen.
Je krijgt toegang tot vier instrumenten: de student-vragenlijst en de docent-/coach-/ontwikkelaar vragenlijst voor onderwijsprogramma’s. Telkens in 2 talen.
Met elke vragenlijst worden de zeven bouwstenen elk door middel van enkele gevalideerde vragen bevraagd. De instrumenten kunnen online worden ingevuld.
Instrumenten om de implementatie van de HILLⓁ bouwstenen de meten
HILLⓁ Education monitor:
Wanneer zowel docenten, coaches en/of ontwikkelaars als de studenten de vragenlijsten invullen, leveren niet alleen de resultaten van elke respondentengroep interessante informatie op, maar ook de vergelijking van de resultaten tussen beide respondentengroepen. Als docent/coach en/of ontwikkelaar is informatie over de
leerervaringen van studenten essentieel om zicht te krijgen op de mate waarin de beoogde vernieuwing of optimalisatie van de opleiding zijn doel heeft bereikt.
HILLⓁ Education monitor voor coaches/docenten/ontwikkelaars
Met deze vragenlijst kunnen docenten, coaches en/of ontwikkelaars in kaart brengen wat de verwachte opbrengsten zijn van de wijze waarop ze de lerende ondersteunen. Wat veronderstellen ze aan leerervaringen naar aanleiding van het herinrichten of ontwerpen van een opleidingen? In welke mate veronderstellen ze dat de studenten een voldoende/grote mate van urgentie, learner agency, teamwek en coaching, hybride leren, actie en kennisdeling, flexibiliteit en Assessment as learning ervaren?
HILLⓁ Education monitor voor studenten
Met deze vragenlijst kunnen we in kaart brengen wat de feitelijke opbrengsten zijn van de wijze waarop ze de lerende ondersteunen. Wat zijn de leerervaringen naar aanleiding van het herinrichten of ontwerpen van een opleidingen? In welke mate ervaren de studenten een voldoende/grote mate van urgentie, learner agency, collaboratie en coaching, hybride leren, actie en kennisdeling, flexibiliteit en Assessment as learning? Ondervinden studenten een juiste urgentie (een drang) met positieve effecten of een foute urgentie (dwang) met negatieve effecten?
Account(s) aanvragen
De HILLⓁ monitor is erop gericht de impact per opleiding of opleidingsjaar in kaart te brengen. Alleen dat geeft betrouwbare informatie.
Analyses op het niveau van een klas of 1 docent zijn enerzijds onbetrouwbaar, anderzijds willen we ook niet dat docenten individueel zouden kunnen afgerekend worden. Daarvoor dient de monitor niet. HILLⓁ is teamwork, maar dat had u al begrepen.
Je kan dus accounts aanvragen per richting of als je ook resultaten wil per leerjaar , dan maak je beter accounts per leerjaar (bijv. Zorg1, Zorg 2, Zorg3, etc.; CMD1, CMD2, CMD3,etc.; Econ Int1, Econ Int2, Econ Fin1, Econ Fin2, etc.)
Tips voor het inzetten van de vragenlijsten
De HILLⓁ monitor kan door alle medewerkers en studenten online worden ingevuld. Daarna kan u de feeback bekijken. U ziet rechtstreeks alle resultatengrafieken per HILLⓁ bouwsteen online.
Daarnaast is het noodzakelijk om focusgroep-interviews te organiseren met een steekproef uit de verschillende respondentengroepen (docenten/coaches/ontwikkelaars en studenten). Hieruit komt essentiële informatie over hoe de vragen zijn geïnterpreteerd kunnen worden en wordt duidelijk waarom de implementatie van bouwstenen hoog, laag of neutraal wordt gewaardeerd. Bij eerdere analyses bijvoorbeeld vond men dat er hoge urgentie werd ervaren, zowel bij coaches als lerenden. Die urgentie bleek echter onder dwang te zijn ontstaan en niet door drang van de lerende zelf. Urgentie door dwang (verplichting, straf) heeft heel andere effecten dan urgentie door drang (keuze, beloning).
Tips voor het uitvoeren van de noodzakelijke HILLⓁ focusgroep interviews
(1) Reserveer een tot max. twee uur de tijd per focusgroep interview;
(2) Groepsgrootte: zes tot maximim 12 personen. Door geen te kleine groepen te vormen (<4), zorg je dat er voldoende diversiteit aan input van de deelnemers is. Bij te grote groepen (>12) heb je het risico dat deelnemers zich niet comfortbel voelen om hun mening te uiten;
(3) Indien de populatie omvangrijk is (een opleiding met een groot aantal studenten), zorg dan voor meerdere focusgroepen. Het benodigde aantal focusgroepen wordt bepaald door wat men ‘saturatie van informatie’ noemt. Dit betekent dat wanneer er na een aantal focusgroepen bij een volgende geen nieuwe informatie naar voren komt uit de interviews, voldoende focusgroepen zijn geinterviewd.
(4) Samenstelling van focusgroepen: je kan met bestaande groepen werken (bijvoorbeeld onderwijsgroepen in een onderwijssetting) of je vormt nieuwe focusgroepen. Er zijn meerdere technieken om deze samen te stellen (google op: purposive sampling techniques). Welke techniek je ook kiest, het is belangrijk ervoor te zorgen dat je een goede representatie hebt van je populatie (bijvoorbeeld proportie mannen/vrouwen, verschillende leeftijdsgroepen; verschillende functieprofielen, et cetera);
(5) Een moderator is noodzakelijk om het gesprek te coördineren zodat iedere deelnemer aan het woord kan komen;
(6) Stappen in het interview:
6.1 Introductie moderator ;
6.2 Korte toelichting op het doel van het focusgroep interview, het interviewproces en hoe met de resultaten zal worden omgegaan;
6.3 Deelnemers stellen zich kort voor;
6.4 Elke deelnemer krijgt zeven kaartjes waarbij op elk kaartje de naam van de HILLⓁ bouwsteen staat met een korte beschrijving;
6.5 Elke deelnemer wordt gevraagd individueel de kaartjes te rangordenen: bovenaan ligt het kaartje met de HILLⓁ bouwsteen waarvan de deelnemer ervaart dat deze het best is geïmplementeerd in de opleiding of het L&D programma, daaronder het kaartje dat op de tweede plaats komt wat betreft goede implementatie en zo verder. Het onderste kaartje is de HILLⓁ bouwsteen die het minst goed is geïmplementeerd;
6.6 Discussie aanmoedigen en coördineren over de (verschillen in) ordening van de bouwstenen: waarom wordt welke HILLⓁ bouwsteen als ‘best geïmplementeerd’ervaren? Waarom wordt welke HILLⓁ bouwsteen als ‘slechtst geïmplementeerd’ ervaren? Moedig deelnemers aan hun ervaringen te beschrijven (‘story telling’)
(7) Video-tape het focusgroep interview indien mogelijk.
(8) Voor het verwerken van de interviews, is de transcript-gebaseerde analyse de meest zorgvuldige (je schrijft alle interviews letterlijk uit) maar tijdrovend. Een andere optie is de tape-based analysis waarbij je op basis van het bekijken van de videotape een verkort transcript schrijft. Uiteraard kan je ook notities nemen tijdens het groepsinterview en deze analyseren. Deze laatste methode is echter het minst zorgvuldig.
(9) Voor het analyseren van de interviews raden we aan de groep als analyse-eenheid te gebruiken maar tegelijk ook zorgvuldig aan te geven welke proportie van de deelnemers een afwijkende mening heeft.
(10)
Voor het coderen en vervolgens analyseren van alle interviewdata, raden we aan software zoals Atlas.ti te gebruiken. Voor meer informatie over verschillende qualitatieve data-analyse technieken, raden we volgende literatuurbron aan: Onwueghizie, A.J., Dickinson, W.B., Leech, N.L., & Zoran, A.G. (2009). A qualitative framework for collecting and analyzing data in focus group research. International Journal of Qualitative methods.
Benchmarking
Wil je een analyse van de vragenlijst-data, een vergelijking met andere opleidingen, benchmarking en vervolgens bijhorend advies krijgen over de optimalisering van je opleiding, neem dan contact op met de High Impact Learning (HILLⓁ) – Academy (info@highimpactlearningthatlasts.com). Een medewerker neemt dan contact met u op en u kan dan kiezen uit een aanbod van de High Impact Learning (HILLⓁ)- Academy.
Voorbeeldvragen
HILLⓁ monitor voor studenten
In mijn opleiding gaan we aan de slag vanuit een realistisch en uitdagend probleem of een casus.
Ik blijf geïnteresseerd en nieuwsgierig tijdens de leeractiviteiten.
Als student heb ik voldoende keuzes om mijn leertraject te plannen, projecten te kiezen, opdrachten te kiezen, enz.
Ik voel me verantwoordelijk voor mijn eigen leren en ontwikkeling, en ga pro-actief aan de slag met leeractiviteiten.
Ik ervaar assessment momenten als een kans om meer te leren.
Ik kan op regelmatige basis om feedback vragen en deze krijgen wanneer ik er behoefte aan heb.
Ik leer veel door actieve discussies met medestudenten.
Ik word gestimuleerd om zelf op zoek te gaan naar informatiebronnen en deze nieuwe informatie te bespreken en te delen met mijn medestudenten.
Ik leer van medestudenten door informatie, hulp of feedback te zoeken.
Het is geen probleem om fouten te maken, om ze te delen als een eerste stap om erover na te denken, en ervan te leren.
In mijn opleiding is er een goed doordachte mix tussen online en offline leermethoden.
Binnen het teamwerk worden ideeën, kennis en informatie gedeeld om een taak uit te voeren.
Wanneer we in teams werken, worden we ondersteund door coaches om het beste te maken van het leren in teamverband.
HILLⓁ monitor voor docenten
In mijn cursussen gaan studenten aan de slag vanuit een realistisch en uitdagend probleem of een casus.
Studenten blijven geïnteresseerd en nieuwsgierig tijdens de leeractiviteiten.
Studenten hebben voldoende keuzes om hun leertraject te plannen, projecten te kiezen, opdrachten te kiezen, enz.
Studenten voelen zich verantwoordelijk voor hun eigen leren en ontwikkeling en nemen proactief deel aan leeractiviteiten.
Voor de studenten zijn de beoordelingsmomenten een kans om meer te leren.
Studenten kunnen regelmatig feedback vragen en ze krijgen feedback als ze die nodig hebben.
Studenten leren veel door actieve discussies met medestudenten
Studenten worden gestimuleerd om zelf op zoek te gaan naar informatiebronnen en deze nieuwe informatie te bespreken en te delen met hun medestudenten.
Voor studenten zijn er volop mogelijkheden om te leren tijdens buitenschoolse activiteiten.
Studenten leren van medestudenten door informatie, hulp of feedback te zoeken.
In de opleiding is er een goed doordachte mix tussen online en offline leermethoden
De combinatie van online en offline leren is zinvol voor het leren van studenten.
Binnen het teamwork worden ideeën, kennis en informatie gedeeld om een taak uit te voeren.
Bij het werken in teams worden de studenten ondersteund door coaches om het beste uit hun team te halen.