Wat is validiteit bij beoordeling

Ongeacht het beoordelingstype is er een vereiste waaraan moet worden voldaan om de resultaten zinvolle informatie te geven. Dat is validiteit bij de beoordeling. Als we de validiteit goed hebben, doen we meer dan alleen scores genereren. We creëren zinvolle trajecten voor leren, ontwikkeling en kansen.

Maar wat is validiteit bij beoordeling precies? Eenvoudig gezegd, het is de mate waarin een beoordeling meet wat ze zou moeten meten. Beoordelingen bepalen het leven van veel leerlingen. Ze beïnvloeden hoe leerlingen zichzelf zien en hoe docenten lesgeven.

Dus als we beoordelingen willen die versterken in plaats van beperken, hebben we een genuanceerd begrip van validiteit nodig. In deze gids behandelen we het belang van validiteit en hoe je dit kunt integreren in online cursussen.

Wat is validiteit bij beoordeling in eLearning?

Validiteit bij de beoordeling is het vertrouwen dat wat we meten een afspiegeling is van wat echt belangrijk is. In eLearning, waar personalisatie en innovatie de norm zijn, wordt het waarborgen van validiteit zowel complexer als belangrijker.

In feite stelt validiteit de vraag of we meten wat we wilden meten. Dat klinkt misschien eenvoudig, maar in digitale leeromgevingen, waar beoordelingen vaak verder gaan dan meerkeuzevragen en naar simulaties, peer reviews of interactieve taken, vereist het antwoord een zorgvuldig ontwerp en reflectie.

Er zijn verschillende soorten validiteit bij de beoordeling:

• Geldigheid van de inhoud: Omvat de beoordeling al het relevante materiaal? Het controleert of de vragen of taken de volledige reikwijdte van het onderwezen weerspiegelen.
• Constructvaliditeit: Meet de beoordeling de onderliggende vaardigheid of het concept? Het type richt zich op hoe goed de taak abstracte eigenschappen zoals kritisch denken of creativiteit vastlegt.
• Validiteit van het criterium: Hoe goed komen de beoordelingsresultaten overeen met resultaten uit de praktijk of externe benchmarks? Het is een validatie van uw beoordeling door deze te vergelijken met een andere betrouwbare maatstaf.
• Geldigheid van het gezicht: Ziet de beoordeling eruit alsof ze meet wat ze beweert te doen? Hoewel het meer om perceptie gaat dan om statistisch bewijs, heeft gezichtsvaliditeit invloed op het vertrouwen en de betrokkenheid van leerlingen.

Een voorbeeld van validiteit bij de beoordeling

We hebben besproken dat validiteit het vermogen betekent om nauwkeurig te meten wat we van plan zijn te meten in een beoordeling. Maar hoe is het eigenlijk van toepassing op een echte situatie?

Stel dat er een online cursus is over projectmanagement. De eindbeoordeling is een getimede meerkeuzetest gericht op terminologie. Hier is de vraag: meet die test daadwerkelijk iemands vermogen om een echt project te beheren?

Waarschijnlijk niet. Het kan memoriseren omvatten, maar niet besluitvorming, teamwerk, conflictoplossing of tijdbeheer, die essentieel zijn voor de rol.

Stel je nu een andere beoordeling voor dezelfde cursus voor. Leerlingen wordt gevraagd een projectplan op te stellen en samen te werken met leeftijdsgenoten in een gedeelde werkruimte. Ze moeten ook reageren op onverwachte veranderingen in de reikwijdte door middel van een simulatie van vertakkingen.

De opzet is complexer, maar komt meer overeen met de werkelijkheid competenties onderwezen wordt. In het laatste geval is de validiteit dus sterker.

Waarom is validiteit bij de beoordeling belangrijk?

Bij elke beoordeling is validiteit niet alleen belangrijk omdat dit vereist kan zijn door een regelgevende instantie of een autoriteit. Er zijn veeleer verschillende andere redenen waarom beoordelingen geldig zijn.

Cultiveert betrouwbaarheid

Zonder validiteit lopen zelfs de meest geavanceerde tools het risico lawaai te maken. Resultaten genereren die er officieel uitzien, maar weinig zeggen over wat een leerling eigenlijk weet of kan doen.

Als een beoordeling daarentegen geldig is, wordt het een krachtige lens. Het toont ons duidelijk vaardigheden, hiaten, groei en potentieel.

Gevolgen uit de echte wereld

Validiteit draagt in feite veel bij aan de resultaten van cursussen in de praktijk. Stel dat een eLearning-programma voor bedrijven is ontworpen om werknemers bij te scholen in gegevensanalyse.

De eindtest meet echter alleen theoretische definities in plaats van praktische toepassing. Nu kan het bedrijf iemand als „gekwalificeerd” certificeren, terwijl die persoon in werkelijkheid moeite heeft om die vaardigheden in de echte wereld toe te passen. Hierdoor zal de werknemer slecht presteren en kansen missen.

In onderwijsomgevingen staat er zelfs nog meer op het spel. Stel je een student voor die een online wetenschapscursus volgt. Als de beoordelingen alleen het onthouden van formules belonen in plaats van ze toe te passen op echte problemen, kan die student hoge cijfers krijgen zonder de stof echt te begrijpen. Later, in meer gevorderde cursussen of op de werkvloer, beginnen de hiaten zichtbaar te worden.

Op een bredere schaal heeft de validiteit van beoordelingen ook invloed op financiering, aanwerving, beleid en vooruitgang. Het gaat dus niet alleen om individuele prestaties. Het vormt de systemen waarin we leren en werken.

Ondersteunt innovatie

Wanneer beoordelingen geldig zijn, kunnen ze ook innovatie ondersteunen. Geldige beoordelingen inspireer creativiteit en kritisch denken bij studenten.

Wanneer de focus verschuift van onthouden naar toepassing en probleemoplossing, worden studenten aangemoedigd om buiten het kader te denken en unieke oplossingen te vinden. Naast het ondersteunen van innovatie in de klas, bereidt deze aanpak studenten ook voor op toekomstig succes op de werkplek, waar creatieve probleemoplossing en aanpassingsvermogen hoog in het vaangeschreven staan.

Vier beoordelingspijlers en waar validiteit past

Validiteit is een van de vier pijlers van beoordeling. Laten we de andere drie en hun relatie tot validiteit bespreken.

Doel

De eerste pijler van elke beoordeling is het doel. Waarom evalueer je iets? U kunt dit doen om de basiskennis van de leerlingen te controleren of om het toekomstige leren te begeleiden.

Stel dat u een cursus digitale marketing maakt. Het doel van de beoordelingen in deze cursus is om leerlingen voor te bereiden op het voeren van echte campagnes. Daarvoor moeten de beoordelingen verder gaan dan de theorie en praktische vaardigheden testen.

Geldigheid

Het tweede principe is validiteit, dat we hierboven al in detail hebben uitgelegd. Hier vraag je jezelf af: meten we eigenlijk wel wat we zeggen dat we zijn?

Als het doel van je cursus bijvoorbeeld is om strategie aan te leren en de eindtoets alleen vraagt naar definities van marketingtermen, dan slaagt de beoordeling niet voor de validiteitstest. Een meer valide aanpak zou zijn om een campagne te analyseren en statistieken te interpreteren. Deze taken weerspiegelen de vaardigheden die er echt toe doen in de echte wereld.

Betrouwbaarheid

Als je eenmaal weet dat de beoordeling geldig is, is consistentie de volgende stap. Betrouwbaarheid betekent dat de resultaten stabiel en herhaalbaar moeten zijn. Als twee leerlingen met vergelijkbare vaardigheden onder vergelijkbare omstandigheden dezelfde beoordeling maken, moeten hun resultaten op elkaar aansluiten.

Als leerlingen bijvoorbeeld worden gevraagd een voorbeeldcampagne te evalueren, maar de beoordeling volledig afhangt van de subjectieve mening van een enkele instructeur, kunnen de resultaten enorm variëren. Als u in plaats daarvan een toevoegt gedetailleerde rubriek of laat meerdere beoordelaars de beoordeling controleren, de resultaten zullen consistenter zijn.

In een digitaal platform kan geautomatiseerd scoren ook de betrouwbaarheid ondersteunen. Bijvoorbeeld Coursebox, een door AI aangedreven cursusbouwer, heeft een AI-sorteerder. Je kunt de tool gebruiken om door AI gegenereerde beoordelingen te maken en de AI-beoordelaar vervolgens beoordelingen laten beoordelen op basis van de rubriek die je opgeeft.

Aangezien de markering geautomatiseerd is en op rubrieken is gebaseerd, is er geen risico op onderwerping. De resultaten zullen dus consistent en betrouwbaar zijn.

Waarde

De beste assessments testen niet alleen, maar geven ook les. Ze moeten inzichten bieden die leerlingen kunnen gebruiken en waar docenten naar kunnen handelen.

In ons voorbeeld van een digitale marketingcursus hierboven zou de beoordeling kunnen eindigen met gedetailleerde feedback over de strategieën van de leerlingen. Wanneer leerlingen zien hoe ze kunnen verbeteren en instructeurs een duidelijk beeld krijgen van waar ze hen kunnen ondersteunen, levert de beoordeling echte waarde op.

Hoe maak je je online cursusbeoordelingen geldig?

Gebruik de volgende tips om aan de geldigheidseisen te voldoen wanneer je beoordelingen maakt voor je online cursussen.

Begin met het einde in gedachten

Elke geldige beoordeling begint met duidelijkheid. Wat moeten leerlingen aan het einde van de cursus kunnen doen? Als je cursus creatief schrijven leert, moet je beoordeling niet draaien om grammaticaoefeningen. Het moet leerlingen vragen om daadwerkelijk schrijven te creëren en erover na te denken.

Idealiter zou de beoordeling rechtstreeks gekoppeld moeten zijn aan de leerdoelen. Als de cursus creatief schrijven bijvoorbeeld zegt dat leerlingen aan het einde van de cursus een kort verhaal van 500 woorden kunnen schrijven, dan moeten de leerlingen voor de beoordeling precies dat doen.

Pas het beoordelingsformaat aan de vaardigheid aan

Het soort beoordeling dat je kiest voor je cursus moet afhangen van de vaardigheid die je onderwijst. In de cursus creatief schrijven kan een geschreven kort verhaal bijvoorbeeld de beste manier zijn om te beoordelen of leerlingen de geleerde concepten en technieken kunnen toepassen.

In een cursus voor gegevensanalyse moet de beoordeling de leerlingen echter vragen om echte datasets te interpreteren en vervolgens beslissingen te nemen op basis van patronen. Ondertussen kunnen meerkeuzevragen geschikt zijn om de kennis van studenten over specifieke feiten of concepten in een cursus, zoals geschiedenis of biologie, te testen.

Context uit de echte wereld integreren

Hoe meer een beoordeling de omgeving weerspiegelt waarin een vaardigheid zal worden gebruikt, hoe valider deze wordt. In een ondernemerschapscursus is het bijvoorbeeld veel beter om leerlingen te vragen een pitch deck voor een bedrijfsidee op te stellen dan hen te vragen de fasen van de levenscyclus van een bedrijf op te sommen.

Het idee is om de beoordeling zo realistisch en relevant mogelijk te maken voor scenario's uit de echte wereld. Op deze manier begrijpen leerlingen de praktische toepassing van wat ze hebben geleerd.

Feedback geven die de leerdoelen versterkt

Zoals we hierboven hebben besproken, moeten leerlingen doordachte en gerichte feedback krijgen op hun beoordelingen. Het gaat er niet alleen om hen te vertellen wat ze goed (of fout) hebben gedaan, maar ook waarom het belangrijk is. Vervolgens kunnen ze de punten tussen beoordeling en echte competentie met elkaar verbinden.

Als je Coursebox gebruikt, kun je elke cursist individuele feedback geven. Als alternatief kan de AI-beoordelaar de beoordelingen markeren en kunnen leerlingen vervolgens hun resultaten vergelijken met de rubriek om te begrijpen waar ze tekortkwamen.

Conclusie

Instructieontwerpers zien vaak het belang van beoordelingen over het hoofd en richten al hun energie op de inhoud van de cursus. Als de beoordelingen echter niet geldig zijn, wordt het begrip van de leerlingen niet nauwkeurig gemeten.

Validiteit is ook de voorloper van de andere twee beoordelingspijlers (betrouwbaarheid en waarde). Dus als je het verkeerd hebt, kan het hele beoordelingsproces uit elkaar vallen. De tips in deze handleiding, gecombineerd met geautomatiseerde beoordelingsinstrumenten zoals Coursebox, kan helpen om veelvoorkomende valkuilen op het gebied van validiteit te vermijden.