Navigate / search

Van intuïtie naar zeker weten – toepassen van learning analytics

Blog geschreven in samenwerking met Francois Walgering van MOOCfactory.

Steeds meer trainers en procesbegeleiders gebruiken online middelen en platforms om leerprocessen te faciliteren. Dit heeft veel weg van face-to-face faciliteren maar kent ook een eigen dynamiek. Hoe weet je bijvoorbeeld of een online artikel is gelezen? Of hoeveel tijd een deelnemer besteedt aan het bekijken van een video of het maken van een opdracht? Welke deelnemers zoeken elkaar op? Waar vinden waardevolle leergesprekken plaats en wat zijn elementen die daartoe bijdragen?In een fysieke setting stel je procesvragen aan deelnemers: “hebben jullie meer tijd nodig voor deze discussie?” en “een extra opdracht over… lijkt zinvol.” Je kunt de interactie in de groep observeren, je voert het gesprek erover en zo verzamel je informatie die van belang is om het leerproces gaandeweg bij te sturen.

In een online omgeving mis je zicht op deelnemers. Online kunnen bepaalde data je behulpzaam zijn. Data die door het systeem verzameld worden, zoals mate van online activiteit, tijd besteed aan bekijken bron, bereikte level, lengte van discussies. Waarbij de waarde vervolgens zit in het analyseren en interpreteren: learning analytics. We hebben onlangs de kracht ervaren van learning analytics en delen deze ervaring hier graag met je.

De case: food and nutrition security course

We hebben een vijf-weekse online cursus (SPOC- Small Private Online Course) “Food and Nutrition Security” ontwikkeld en gefaciliteerd. Er namen zo’n 90 mensen aan mee en we hebben met hen gewerkt in ‘Curatr’, een leerplatform dat sociaal leren ondersteunt en stimuleert. Vier van de vijf weken hadden een specifiek thema, de vijfde week bestond uit het werken aan een praktijkcase, ingebracht door deelnemers en experts. De deelnemers ontvingen een certificaat bij een minimum aantal behaalde punten per week en het schrijven van een case reflectie. 19 mensen hebben het certificaat ontvangen.

Online monitoren- onze intuïtie

Reacties van deelnemers online op het platform en per mail, zowel inhoudelijk als over het proces, vormden in het begin voor ons de belangrijkste bron van informatie. We kregen daarmee een beeld van belangrijke onderwerpen, onderwerpen die tot discussie leidden, effectieve leeractiviteiten. Zo ontvingen we veel complimenten over de wekelijks aangeboden interactieve webinars. Na een upgrade van de software ontstonden er technische problemen wat de deelnemers ontmoedigde. En een aantal deelnemers liet ons weten de inhoud heel interessant te vinden, maar in de knoop te komen met hun werk. Door het volgen van discussies en expliciete interactie met een aantal deelnemers, ontwikkelden we gevoel voor de kwaliteit van het leerproces. En een groep enthousiaste deelnemers begon ons op te vallen als heel betrokken. Intuïtief voelden we aan dat we op de goede weg zaten met dit online leertraject. Maar… wat zouden de data ons kunnen vertellen?

Online monitoren- analytics

Het leerplatform Curatr verzamelt achter de schermen enorm veel gegevens via X-api (experience-api of tincanapi ). Buiten de algemene data zoals voornaam, achternaam, e-mail, organisatie en functie krijg je ook heel goed inzicht in de ‘User’- en ‘Usage’ data. Waar kun je dan aan denken?

Onder User Data verstaan we alle kwalitatieve data die je verzameld binnen het platform:

  • Alle discussies die door deelnemers gestart worden;
  • Alle reacties die in de verscheidende discussies zijn gestart;
  • Alle bronnen (video’s, pdf’s, blogs, websites) die door deelnemers zijn toegevoegd;
  • Alle reacties op aangeboden leeractiviteiten (e.g.  reflectievragen, quiz, open vragen)

Usage Data zijn meer kwantitatieve data (zie illustratie)

  • Hoeveel reacties er geplaatst zijn door deelnemers;
  • Hoeveel bronnen zijn toegevoegd door een deelnemer;
  • Hoeveel reacties door wie zijn geliked;
  • Wie welk level wanneer heeft gehaald;
  • Aantal deelnemers dat de SPOC heeft afgerond.

Learning Analytics betekent goed kijken naar de data, deze analyseren en daar actie op ondernemen. We kunnen op verschillende niveaus learning analytics uitvoeren. De diepte van de analyse heeft invloed op de betrouwbaarheid van de acties die we uiteindelijk aan onze bevindingen verbinden. Je zou kunnen zeggen dat Learning Analytics grofweg uit vijf stappen bestaat:

  1. Visualiseren: Je bekijkt de data zoals ze zijn: 100 deelnemers die de SPOC hebben afgerond, 20 deelnemers die in level 1 de test met een voldoende hebben afgerond. Deze kwalitatieve data is over het algemeen zo uit de achterkant van een leerplatform te halen.
  2. Clusteren: de data die je ziet kun je clusteren: alle activiteiten van een deelnemer,  alle discussies die gestart zijn, alle bronnen die zijn toegevoegd. Ze vormen samen wellicht een cluster ‘betrokkenheid’ of ‘kwaliteit’.
  3. Verbanden leggen: “na een mail van de facilitator is de activiteit op het leerplatform omhoog gegaan.” Of “de meeste activiteit in het leerplatform bestaat uit het discussieren met elkaar. “
  4. Patronen zien: activiteiten die meerdere keren zichzelf hebben beproefd. We zien bijvoorbeeld, door naar verschillende SPOCs te kijken, dat 80% van de deelnemers na 3 minuten naar een video kijken afhaakt.
  5. Acties naar de toekomst: zo kunnen we , op basis van het patroon ‘maximaal 3 minuten video’ besluiten om alleen nog gebruik te maken van video’s binnen die tijdsduur, of ervoor te zorgen dat de kern van de boodschap in de eerste 3 minuten van de video zit.

Learning analytics bij de Food and Nutrition Security SPOC

In het geval van de cursus ‘Food and Nutrition Security’ hebben we gedurende de cursus een aantal data gevolgd. Achteraf zijn we nog dieper in de data gedoken, met uitgebreidere analyse en interpretatie. Wat echt waardevol bleek en ons nieuwe inzichten heeft gegeven omtrent de wijze van participatie van deelnemers en de beweging als het gaat om sociaal leren. Een paar voorbeelden:

  • Het merendeel van de deelnemers die hoog zijn geëindigd in het leadershipboard, hebben punten gehaald door bij te dragen aan de discussie. Deze groep was voor ons ook zeer zichtbaar en hadden we snel in het vizier. Echter, er bleken ook twee deelnemers te zijn die flink wat punten hadden gehaald, puur door bronnen te bestuderen. Zij hadden weinig gereageerd online en waren daardoor voor ons ook onzichtbaar gebleven. Terwijl ze op hun manier zeer actief aan de cursus hebben meegedaan.
  • We waren ook nieuwsgierig naar bronnen die wel dan niet tot goede discussies leidden. Nu is ‘goed’ een kwalitatief begrip en daardoor moeilijk te meten. Maar er sprongen wel een paar discussies uit door het grote aantal reacties van deelnemers. We hebben die discussies vervolgens bekeken en een opvallend aspect daarbij w

    as de bijdrage van een expert/coach: het feit dat deze expert zich ging mengen in de discussie middels het stellen van vragen, geven van een mening, maakte dat de discussie echt tot interactie met een aantal deelnemers heeft geleid.

  • Aan deze cursus deed een divers gezelschap mee en we waren benieuwd of we verschillen zouden zien in participatie tussen bepaalde ‘groepen’ (e.g. werkzaam in Nederland versus werkzaam in Azie). Dit bleek zeker het geval. Sommige ‘groepen’ hadden een veel explicietere bijdrage aan het sociale leerproces dan andere groepen. Belangrijk om te weten bij het vormgeven van nieuwe leertrajecten! In de illustratie zie je de totale scores van de verschillende groepen gevisualiseerd. 

Een aantal lessen over het gebruik van learning analytics als online facilitator

  • Gegevens ‘achter de schermen’ kunnen zeer ondersteunend zijn aan je rol als online facilitator. Je kunt er bevestiging in vinden voor mogelijke interventies. Als beginnend online facilitator kun je schrikken of teleurgesteld zijn over het feit dat niet alle deelnemers online actief zijn. Waar komt dat door? Zijn de opdrachten niet helder? Als data dan laten zien dat men wel uitgebreid de aangeboden bronnen bestudeert maar achterwege laat om op het platform te reageren kun je daar je reactie op aanpassen. Je kunt bv. de mensen die niet reageren specifiek uitnodigen om dit wel te doen.
  • Het is waardevol om data uit ‘het systeem’ aan te vullen met eigen gevoel en observaties, zoals reacties van deelnemers per mail. Zo kunnen kwantitatieve en kwalitatieve gegevens elkaar kunnen versterken.
  • Maak, voor je van start gaat met het leertraject, een inventarisatie van indicatoren en aantallen. Wat zou je willen zien? Ben je tevreden met 10 actieve deelnemers? Wat vind je ervan dat bron a en bron b er blijkbaar uitspringen qua belangstelling? Als je dit voor de start doet weet je beter welke gegevens je helpen je om daar inzicht in te krijgen. Ga in deze fase ook na hoe je aan deze gegevens kunt komen: data uit het systeem, interview deelnemers, eigen observaties.
  • Maak een plan hoe je gegevens tijdens de cursus wilt gebruiken. In ‘Food and Nutrition Security’ case zijn we dieper gaan analyseren na afloop van de cursus. Natuurlijk hielden we gedurende het traject de voor de hand liggende data wel in de gaten zoals wie inloggen en wie achterblijven, maar we hadden de data nog beter kunnen gebruiken. Zo hebben we achteraf pas de activiteit in de verschillende gebruikersgroepen vergeleken. Dit hadden we ook eerder kunnen doen.
  • De learning analytics zoals beschreven vond plaats op cursusniveau. Je kunt ook een stap verder gaan en de data uit de betreffende cursus vergelijken met data uit andere cursussen. Met de opbrengsten uit zo’n analyse kun je conclusies trekken die bijdragen aan toekomstige ontwerpen.
  • Neem er de tijd voor. Plan het ook in! Learning analytics is toch een relatief nieuwe activiteit voor veel online facilitators. En zeker als je gedurende de cursus wilt monitoren middels data, vraagt dit een regelmatige blik op het dashboard en analyse en meningsvorming om je komende interventies te bepalen.
  • En..ga in gesprek om de data te interpreteren! Bekijk de data met nieuwsgierigheid en objectiviteit en bespreek dit met de betrokkenen. Onderzoek wat ze kunnen betekenen, kom niet te snel met je oordeel. Gevoel en intuïtie zijn cruciaal. Soms bieden juist data nieuwe perspectieven maar vaak bevestigt het een bepaalde intuitie. Dit kan dan een katalysator zijn om actie te ondernemen.

Last but not least… ga zorgvuldig om met de betreffende data. Wees transparant over het gebruik van gegevens en in je bedoeling daarmee. Vertel deelnemers heel duidelijk wat je met de data gaat doen. Uiteindelijk werk je met gegevens over het functioneren van personen in een leeromgeving.

Sociale media bij de ambulancedienst- naar een sociaal intranet

Met veel plezier hebben we een praktijkonderzoek uitgevoerd bij de ambulancedienst RAV IJsselland en Oost.De ambulancedienst constateerde vorig jaar dat er een de ene kant wel wat te verbeteren was in interne communicatie;  en aan de andere kant dat technologische ontwikkelingen nieuwe kansen bieden om slim te communiceren en samen te werken binnen de organisatie. De startvraag was daarom: hoe kunnen we communicatie binnen de organisatie verbeteren met gebruik van nieuwe media?

Via een praktijkonderzoek zijn we op zoek gegaan naar nieuwe vormen van interne communicatie die bij de organisatie passen. Dit praktijkonderzoek duurde 5 maanden en werd uitgevoerd door een pioniersgroep van 17 mensen, door ons begeleid. Het praktijkonderzoek bestond uit interne reflecties, de blik naar binnen (onderzoek binnen de organisatie), blik naar buiten (op bezoek bij andere organisatie) en een experimenteerfase. De ervaringen binnen dit traject zijn interessant vanuit het oogpunt hoe technologie zijn weerslag heeft op organisaties en zullen wellicht herkenbaar zijn voor andere organisaties. Wat vooral opviel is dat ook als je niet stuurt op sociale media, deze media toch de intrede doen in de organisatie. Zo waren er binnen de ambulancedienst een grote hoeveelheid app-groepjes ontstaan. Als je hier als management niet op stuurt krijgt dit zijn eigen dynamiek en kan het een cultuur versterken die je juist niet wilt.

De uitkomst was dat de organisatie veel kan hebben aan een sociaal intranet, waarbij er wel veel aandacht moet zijn voor het stimuleren van een nieuwe manier van communiceren. Een experiment liet namelijk zien dat mensen niet graag in open groepen online delen, maar echt de veiligheid van een kleine besloten groep nodig hebben. In één keer naar een sociaal intranet is dan een grote stap.

Het artikel over onze ervaringen is deze week in het tijdschrift TVOO verschenen en daar zijn we trots op! We mogen het hier ook met jullie delen. Je kunt het artikel over sociale media bij de ambulancedienst  daarom hier downloaden. Herken je iets uit je eigen organisatie? Deel het hieronder in de reacties dan kunnen wij er ook weer van leren.

 

 

Een video interactief maken. Hoe?

Maak jij ook regelmatig gebruik van een YouTube filmpje om iets duidelijk te maken? Of gebruik je een zelfgemaakt filmpje om je boodschap over het voetlicht te brengen? Hoe kun je mensen uitnodigen om bewust naar een filmpje te kijken? Ik merk dat ik regelmatig zoek naar manieren om mensen meer gericht naar een video te laten kijken. Dat kan door ze van tevoren een vraag mee te geven, maar er zijn ook handige tools waarmee je een video interactiever kunt maken. Wie experimenteert mee?

Naar aanleiding van deze uitnodiging kwamen we donderdag 3 september met zo’n 15 Losmakers online bij elkaar voor een toolverkenning. Waar waren we nieuwsgierig naar? Hier de vragen die we deze avond met elkaar wilden onderzoeken:

Experimenteren: tools en toepassing

In aanloop naar deze avond hebben we met tools geëxperimenteerd. Tools die bij de kop zijn gepakt:

    • Zaption: Hiermee voeg je linkjes, polls, meerkeuzevragen toe aan video’s.
    • Educanon: Net als Zaption biedt deze tool de mogelijkheid om meerkeuzevragen toe te voegen aan een video.
    • EDpuzzle: een uitgebreide tool waarmee je geschreven commentaar, meerkeuzevragen en open vragen kunt toevoegen. Ook kun je zelf iets inspreken.
    • Thinglink: aan een foto of video kun je extra informatie toevoegen waar de gebruiker naar eigen behoefte gebruik van kan maken.
    • Vialogues: met deze tool maak je interactie en discussie rondom een video eenvoudig.
    • VideoAnt: Hiermee kun je een discussie toevoegen aan de video. . Voor soft skills bijvoorbeeld erg mooi. Je kunt feedback geven aan iemand die b.v. probeert een moeilijke boodschap te geven en dan met een paar meekijkers in gesprek over wat goed is en wat beter kan.

Tijdens het webinar hebben we elkaar geïnformeerd over de tools en de mogelijkheden. Op basis daarvan hebben we een vlotte analyse gemaakt van overeenkomsten en verschillen:


 

Om wat voor interactie kan het gaan?

Een prachtig voorbeeld van een interactieve video is van life-saver en vind je hier. Dit is een heel professioneel filmpje maar het gaat om de interactieve ervaring die hier in zit. Ik heb Jake overigens niet kunnen redden helaas ☺Jij wel? Aan wat voor vormen van interactie kun je denken als je gebruik wilt maken van tools zoals hierboven genoemd?

  • je legt de gebruiker op bepaalde momenten in de video een vraag voor (open, gesloten, meerkeuze);
  • de gebruiker kan online in gesprek met andere kijkers, synchroon of asynchroon, middels een chat-achtige omgeving en wel dan niet rondom een specifieke vraag;
  • je kunt aan de video extra online bronnen toevoegen op bepaalde momenten in het verhaal. Denk aan een filmpje wat een specifiek element toelicht, een link naar een website of een artikel. De link kan ook naar een omgeving verwijzen waarin je de gebruikers uitnodigt iets te delen, ergens op te reageren.
  • je kunt een video maken met verschillende keuzepaden erin. Zo kan de gebruiker zijn eigen verhaallijn maken.
  • of je voegt op bepaalde momenten in de video een opdracht toe (bijvoorbeeld door inspreken met EDpuzzle) waar deelnemers echt even aan moeten werken alvorens verder te kijken.

Dit lijstje is natuurlijk niet uitputtend en al experimenterend kom jij vast weer op nieuwe toepassingsmogelijkheden. Leuk om te horen!

 

Nog meer, ter inspiratie

Tijdens het webinar werden er nog een aantal andere tools en links genoemd die de moeite waard kunnen zijn om eens te bekijken:

  • Video’s downloaden via www.youtubeinmp4.com
  • Interessante ontwikkeling is de Swivl; een apparaatje waarmee je op afstand een iPad of iPhone kunt besturen terwijl je opneemt.
  • Periscope.tv
  • Blendspace: voor het maken van een puzzel met korte filmfragmenten
  • Maandag filmpjes van Jorick Scheerens: elke maandag een video-toelichting op een tool
  • Klynt: Voor toevoegen van online informative aan een video
  • Ivorystudio voor het maken van een video met keuzemogelijkheden

En tot slot een leuk tegenhangend artikel van De Correspondent “Een rustgevende nooduitgang“.

Al met al een inspirerende avond die smaakt naar meer. Met voldoende stof tot experimenteren en ideeën voor toepassing in de praktijk!

Schrijf je snel in voor de Teamhackathon op 15 oktober!

Als ZZP-er werk ik met mensen uit verschillende teams in organisaties. Wat ik zie is dat er nog weinig verandert in de praktijk van het samenwerken ondanks alle mogelijkheden en tools die beschikbaar zijn. Mensen klagen over teveel mails – teveel vergaderingen – tijdsverlies en elkaar niet inspireren.  Ik ben zelf wel tevreden :). Ik heb heel weinig vergaderingen, kan me concentreren op mijn taken en weet van elk team welke toolset we gebruiken. Zo gebruiken Sibrenne en ik voor ons nieuwe boek een wiki als basis en een dropbox voor hoofdstukken. We zetten de skype chat open als we op dezelfde dag aan het schrijven zijn. Verder hebben we een groep op diigo waar we interessante bronnen delen en een huishouden op amazon voor onze boeken.  Ik probeer slim om te gaan met afspraken en dat is niet alles online doen maar soms ook in zien dat aan het begin van een project het belangrijk is om elkaar wel te ontmoeten. Waarom werken teams nog niet slimmer? Het zit denk ik vast op doorgaan op dezelfde weg met oude gewoontes. Het vereist een duidelijke visie op een toolset, goede afspraken en doorzetten. Een workshop van een dag gaat niet helpen.

Teamhackathon – geen gewone workshop of training
Daarom organiseren wij de teamhackathon op donderdag 15 oktober. Het belooft een actieve en inspirerende dag te worden! Ik heb er in ieder geval veel zin in. Een dag waarin we met 8 bijzondere experts teams willen ondersteunen om een stap te zetten in hun online strategie en afspraken. Hierbij kan horen het kiezen van de juiste toolset maar ook goede afspraken over het gebruik of een andere rolverdeling. Als team (liefst die je met 2 of 3 mensen uit je team mee, maar je kunt ook alleen komen) stap je in met een heel concrete vraag.. iets wat jij heel graag beter wilt laten verlopen. Bijvoorbeeld: meer onderlinge kennis uitwisselen, resultaatgerichter kunnen werken, bijeenkomsten effectiever inrichten of minder gebruik van email. Tijdens de teamhackathon werk je aan die vraag en heb je aan het eind van de dag een tastbaar resultaat: een teamstrategie, een ingerichte tool om mee te werken of een plan voor de komende paar bijeenkomsten.
Meer informatie vind je hier:
Vroegboekkorting en teamkorting

De prijs voor de dag is 345 euro. tot 15 september is er een vroegboekkorting zodat je 295 euro betaalt. Je teamleden krijgen ook korting, gebruik de kortingscode teamlid bij het winkelmandje. Koop hier je ticket voor de dag.