Introductie kwaliteitscheck op ontworpen toetsvragen

Ben Wilbrink

30 oktober 2009 Van Nelle-fabriek

Mijn achtergrond in het kort is de volgende. Ik ben van huis uit experimenteel psycholoog en pas dat toe als onderwijsonderzoeker. Ik heb altijd belangstelling gehad voor selectieprocessen, en kijk ook op die manier naar hoe onderwijs en examens functioneren. Door onderzoek naar aansluitingen tussen hoger onderwijs en arbeidsmarkt ben ik gevoelig voor de uiteindelijke relevantie van toetsvragen: niet alleen hier en nu, maar wat voegt deze inhoud toe aan de bagage waarmee studenten straks verder de wereld in trekken? Het ontwerpen van toetsvragen had mijn intense belangstelling rond 1980, resulterend in een Aula in de Hoger Onderwijs Reeks pdf, en is sinds een aantal jaren weer terug op mijn agenda: hier.

Op het middagprogramma staat een oefening in intervisie, waar het erom gaat dat u ervaart wat uw eigen kracht is in het vinden van sterke en zwakke plekken in toetsvragen die door anderen zijn ontworpen, en wat de grote bijdrage kan zijn van dezelfde analyse die anderen loslaten op toetsvragen die u zelf hebt ontworpen. Deze intervisie kunt u eenvoudig ook op uw eigen werkplek organiseren, waarmee een grote stap is te zetten in kwaliteitsverbetering van uw toetsvragen. Allerlei detailkwesties kunt u wel opzoeken in de makkelijk toegankelijke literatuur. Of mij e-mailen.

Wat ik nu met u wil doen, is aantal bijzondere gevallen bespreken. Het zijn toetsvragen die niets met uw eigen onderwerp te maken hebben, dat zou maar afleiden. Toch snijd ik er kwesties mee aan die voor iedere ontwerper van belang zijn. U hoeft dit niet allemaal te onthouden, het gaat meer om het krijgen van de vrijheid om op verschillende manieren te kijken naar het ontwerp van toetsvragen. Als het de tongen losmaakt voor de middagsessie, dan is dat prachtig. Even snel een oefening met de 7-puntslijst:

Graag een reactie van de deelnemers: eerste indruk (#1 uit de zevenpuntslijst)

• Dit is rubbish, inderdaad.

Wat denkt u dat de ontwerper van deze vraag wil weten? (#2 uit de zevenpuntslijst)

• Kennis van de 7-puntslijst zelf.

Wat vindt u van de inhoud van deze vraag? (#3 uit de zevenpuntslijst)

• Maar die 7-puntslijst is geen doel op zichzelf. Dit is een vraag die er helemaal niet toe doet. Weg ermee.

Wat is het effect van vragen zoals deze op de manier van omgaan met de cursustof? (#6 uit de zevenpuntslijst)

• 
  Het leidt tot passief leren, en draag dus niet bij aan enige vaardigheid in het omgaan met de cursusstof in situaties die ertoe doen.

Goed, dan hebben we dat gehad. Vragen die direct uit de lesstof zijn afgeleid moet ik toch even genoemd hebben, ik ben er geen fan van. De 7-puntslijst komt in het volgende nog meer van pas.

Wat is uw eerste indruk (#1)

• De eerste indruk moet wel zijn dat dit geen gewone redactiesom is. Dat klopt dan, het gaat om een type vraag dat voorkomt in onderzoek naar rekenen. Het is niet een fout van de zetter.

Hint: wat denkt u dat de ontwerper van deze vraag wil weten, van wie, en waarom? (#2)
Wie is de ontwerper, een leerkracht, wiskundige, literair auteur, onderwijsonderzoeker?

• Laten we eerst stellen dat het de ontwerper er kennelijk om gaat of leerlingen op dit aas toehappen. De achterliggende motieven van de ontwerper hebben te maken met #6 uit de 7-puntslijst, daarover straks meer.

Leveren de antwoorden de verwachte informatie op? (#5)

• Het typische onderzoekresultaat is dat iets minder dan de helft van de leerlingen in deze leeftijdsgroep aan het rekenen slaat, en een antwoord produceert. Deze leerlingen laten zich bovendien niet van hun stuk brengen door de uitleg dat deze vraag geen antwoord kan hebben.

Is de vorm van de vraag adequaat? (#4). In het bijzonder: zou een keuzevraag dezelfde informatie opleveren?

• Een alternatief zou dan expliciet aangeven dat de vraag zo niet is te beantwoorden. Een ander alternatief zou ‘36’ zijn. Het bijzondere is nu dat de misvatting zo hardnekkig is, dat het weggeven van het juiste antwoord waarschijnlijk weinig invloed zal hebben. Immers, bij doorvragen blijken leerlingen in staat om tegen alle redelijke argumenten in, vast te houden aan het gegeven antwoord.

Dan een variant op #6 uit de 7-puntslijst: ik vraag niet of het stellen van vragen van het type ‘de leeftijd van de kapitein’ effect zou hebben op het onderwijs (dat zou het zeker hebben). Nee, de vraag is of ‘gewone’ redactiesommen, gezien de resultaten op ‘de leeftijd van de kapitein,’ wel functioneren zoals leerkrachten en anderen verwachten?

• Het idee achter deze vraag is kort gezegd dat redactiesommen mogelijk geen goede rekenopgaven zijn. In dit onderzoek gaat het niet om de taligheid van redactiesommen. Waar gaat het wel om: een redactiesom vraagt altijd twee dingen tegelijk, en de ontwerper loopt het risico dat deze dubbelslag niet gaat lukken.

Wat is die dubbelslag, welke twee dingen vraagt een redactiesom?

• Allereerst: de leerling moet de gegevens en de vraag omzetten naar een rekenkundig model. Vervolgens kan de kandidaat met dat rekenmodel gaan rekenen.

Terug naar ‘Wat is de leeftijd van de kapitein?’: er valt geen rekenkundig model te maken bij deze opgave. Hebben leerlingen dat door? Wat denkt u van 10-jarige leerlingen? Hoeveel slimmeriken zijn er onder de tienjarigen?

• Iets minder dan de helft.

Vraag: ziet u een analogie met specifieke typen toetsvragen in vakken in bijvoorbeeld het hoger onderwijs, of in uw eigen vakgebied?

• Dit gaat toevallig over redactiesommen, omdat daar goed onderzoek over beschikbaar is, maar hetzelfde probleem is herkenbaar in veel andere vakgebieden. Op academisch niveau: nieuwelingen zijn geneigd om problemen op te lossen door onmiddellijk met formules te gaan stoeien en rekenen, zonder eerst na te denken. ‘De leeftijd van de kapitein.’
• Een voorbeeld van goed ontwerp: het vignet met een medisch diagnostische opgave, waarin onvoldoende gegevens om een diagnose te kunnen stellen, maar waar de kandidaat dat moet onderkennen en aangeven welke extra informatie nodig is.

Het zou best aardig zijn om de kwaliteiten van deze vraag te analyseren aan de hand van de 7-puntslijst, maar anders dan bij de overige gevallen, gaat het mij in dit geval om het beantwoorden van de vraag zelf.

Wat is uw eerste indruk hier? (#1)

• Het antwoord is niet ‘12,’ en die 12 fouten hoeven niet allemaal fout te zijn geraden.
• Zeker is dat 12 vragen fout zijn, bij een normale puntentelling, en bij gedwongen raden (want geen enkele vraag is onbeantwoord gebleven, valt aan te nemen).

De hamvraag is dan: hoe kunnen we weten op hoeveel vragen deze kandidaat heeft geraden?

• Als zij dat niet zelf heeft aangegeven kunnen we dat niet weten.

Dat is erger dan het lijkt, hebt u enig idee waarom dat kan zijn?

• Het kan best zijn dat de twaalf foute vragen niet fout zijn geraden, maar fout zijn gemaakt. En dat alle 38 goed zijn gemaakt, en geen enkele goed is geraden.
• Het aantal geraden is al evenzo een enigma als de leeftijd van de kapitein in de voorgaande vraag.
• En toch zijn er in de literatuur formules te vinden om ‘te corrigeren voor raden.’

Denkt u dat deze formules die ‘corrigeren voor raden’ juist zijn, ook binnen de nadrukkelijke vooronderstellingen die ze maken? Als u ‘nee’ zegt, rechtvaardig dan dat antwoord.

• Veel auteurs hebben wel bedenkingen tegen het gebruik van deze formules, maar geven ze toch. Deze formules veronderstellen dat kandidaten ofwel het juiste antwoord weten, ofwel raden tussen twee of meer alternatieven. Die veronderstelling schiet tekort: vragen kunnen ook fout worden geweten. Maar dat laatste wist u natuurlijk al.
• Zelfs de beste auteurs kunnen u het gebruik van de ‘afleider’ aanbevelen: een alternatief dat verleidelijk is voor de kandidaat die het juist antwoord niet weet. Hier is er ineens wèl het besef dat kandidaten tot fouten zijn te verleiden, en gebruiken zij dat op immorele wijze tégen hen.

Wat is een conclusie uit deze verkenning?

• Raden is werkelijk heel storend bij serieuze toetsen, en zeker wanneer er relatief veel fouten gemaakt (in plaats van geraden). Doe er iets aan. Niet door keuzevragen te vermijden. Wel door te voorkomen dat kandidaten raden: geef een bonus voor onbeantwoord gelaten vragen (foute antwoorden leveren 0 punt op). Dat zal raden niet helemaal uitbannen, maar dat hoeft ook niet.

Eerste indruk? (#1)

• Dit lijkt een gewone redactiesom, of een ‘denksom’ zoals ze wel genoemd zijn. Dat is correct. Niets bijzonders, toch?

Deze vraag is gesteld in een landelijke toets in de VS, voor 45.000 leerlingen. Laten we eerst eens kijken welke antwoorden er mogelijk zijn, goed, of fout. Ziet u ze? (#2 en 5)

• Goed: 32 bussen. Fout: 31. Fout: 31 rest 12. Fout: een foute berekening.

Dan vraag ik u een schatting te geven van de percentages gescoord op deze antwoordalternatieven. (#5: concreet aangeven welke antwoorden te verwachten zijn, altijd goed om dat later met de werkelijke cijfers te vergelijken)

• Respectievelijk: goed 23%, fout (31) 18%, fout (31 rest 12) 29%, en foute berekening 30%.

Ook is deze vraag een variant op die van ‘de leeftijd van de kapitein’, ziet u hoe?

• Inderdaad, de spanning bij deze vraag is die tussen rekenen en een rekenmodel opstellen.

Eerste indruk? (#1)

• Het zou een vraag in een psychologische test kunnen zijn ..... .

Wat wil de ontwerper van deze vraag weten? (#2)

• Of de kandidaat de bedoelde 5e term kan geven, kennelijk, maar dat is te flauw. De vraag kan in een wiskundetoets staan, kennelijk bedoelt de ontwerper dat de kandidaat ‘ziet’ dat de dit de waarden zijn van (n+1)² - 1 ofwel n(n+2).

Is de formulering van de vraag in orde? (#4)

• Die tweedegraads-vergelijking is een mogelijk model dat past bij deze opgave, zeker.
• Maar er zijn oneindig veel andere wiskundige modellen mogelijk die ook een reeks vormen met dezelfde vier begintermen. Wat betekent dat ‘de’ volgende term onbepaald is. En dat betekent dat de kandidaat maar moet gissen wat er met de vraag is bedoeld.
• Ergo: moeten gissen wat er met een vraag is bedoeld, is geen wiskunde. Of beter geformuleerd: ‘de volgende term’ is geen wiskunde.
• een mogelijke reeks is bijvoorbeeld: 3, 8, 15, 24, 3, 8, 15, 24, 3 8 15, 24, ....
• of: n⁴ - 10n³ + 36n² - 48n + 24, waarvan de vijfde term ‘59’ is.
• De ontwerper kan dit probleem oplossen door expliciet te vragen naar de formule van veelterm in de 2e graad. Om dan ook nog de 5e term te vragen, is dan toch een beetje overbodig geworden.

Wat denkt u, is dit een incidentele misser in een wiskundetoets, of komt dit type gebrek van niet-wiskundige vragen op enige schaal voor, en hoe vaak dan wel (volgens de auteur waaraan ik refereer)? (#6, de ernst van dit type ontwerpprobleem)

• Het gaat volgens Milgram (2007) om ongeveer een kwart van de vragen in staatstoetsen wiskunde in de VS, toetsen waar vaak stevige consequenties aan verbonden kunnen zijn.
• Ontwerpers van deze inhoudelijk gemankeerde vragen weten niet goed wat het is om wiskunde te doen, mogelijk omdat zij zelf geen wiskundige zijn.

‘De leeftijd van de kapitein’?

• Ja, ook dat nog, want de kandidaat die geen wiskundevraag krijgt voorgelegd, maar iets anders, moet zelf maar gissen wat dan wèl de bedoeling is. Als haar interpretatie dan een andere is dan die van de vragensteller, dan is er een probleem.

Eerste indruk? (#1)

• Oneindig bij een stapel stenen?

Wat wil de ontwerper weten? (#2)

• Er is ongetwijfeld een wiskundig model op te stellen voor de oversteek van de n-de tegel. Dan is het antwoord vervolgens te berekenen.
• Het antwoord is mogelijk experimenteel te verkrijgen: bouw maar een stapel tegels.

Is het een inhoudelijk interessante vraag? (#3)

• Zeker zo interessant als de bus-vraag hierboven.

Is de vormgeving van de vraag gelukt? Is de stam van de vraag volledig? Zijn de gekozen alternatieven geslaagd? (#4)

• De stam van de vraag is onvolledig: de vraag is naar de maximale oversteek, maar er is geen maximale hoogte aangegeven. Bij een open vraag zou dat geen probleem zijn, de kandidaat kan zelf aangegeven dat hij bijvoorbeeld voor een stapel van 10 tegels het antwoord wil geven. Maar bij deze keuzevraag is die vrijheid er niet meer, omdat de gegeven alternatieven die vrijheid blokkeren.
• De alternatieven zijn een ramp. Ook zonder een wiskundig model te hebben opgesteld, zou het toch bijzonder vreemd zijn dat de maximale oversteek precies 2 is, en bij welke hoogte van de stapel zou dat dan wel moeten zijn? Het laatste alternatief valt meteen door de mand: een stapel tegels kan niet oneindig ver oversteken. Dan blijft ‘ongeveer anderhalve tegel’ over, maar als de hoogte van de stapel tegels onbepaald is, lijkt dit op voorhand ook onjuist maar valt erop te experimenteren. Er is dus waarschijnlijk geen juist alternatief voorhanden.
• De kandidaat wordt hier dus gedwongen in de positie van et casus ‘de leeftijd van de kapitein’, door expliciet die tegels buiten beschouwing te laten, te vermoeden dat de vragensteller een antwoord uit een wiskundig model wil hebben, dus los van welke werkelijke wereld dan ook, anders dan die van de wiskunde.

Wat doen dit soort opgaven met de belangstelling van kandidaten voor het vak wiskunde? (#6)

• Die raken van de wiskunde vervreemd.

bronnen:

de 7-puntslijst voor intervisie Ben Wilbrink. Voor de lijst zelf zie hier, een ingekorte versie is onderaan deze pagina geplaatst.

de leeftijd van de kapitein
Lieven Verschaffel, Brian Greer and Erik de Corte (2000). Making sense of word problems. Lisse: Swets & Zeitlinger. p. 4. Hoofdstuk 2 behandelt een reeks onderzoeken met dit type vragen.

fout raden Ben Wilbrink. Een toets is voor Jan of Marie een steekproef uit hun kennis. Daar zitten dus toevalligheden in. Een applet dat deze toevalligheden zichtbaar maakt, en bovendien de mogelijkheid biedt om te werken met een bonus voor opengelaten ragen, geef ik hier.

fout weten
Alan H. Schoenfeld (2007). What Is Mathematical Proficiency and How Can It Be Assessed? In Alan H. Schoenfeld (Ed.) (2007). Assessing mathematical proficiency (59-73). Cambridge University Press. p. 69-70. http://www.msri.org/communications/books/Book53/files/05schoen.pdf gezien 8-2009

is dit wiskunde?
Milgram, R. J. (2007). What is mathematical proficiency? In A. H. Schoenfeld: Assessing mathematical proficiency (31-58). Cambridge University Press. p. 31-58. http://www.msri.org/communications/books/Book53/files/04milgram.pdf gezien 10-2009

het stapelen van tegels:
Nationale Wetenschapsquiz 2005 www.nwo.nl/quiz. Mogelijk ontleend aan: Eric W. Weisstein (2005?). Book Stacking problem mathworld, met literatuurlijst waarin de cantilevered books zijn behandeld, de oudste is 1953, maar het zal in de 18e eeuw ook al wel zijn bestudeerd.

de leeftijd van de kapitein: meer voorbeelden

Een toets bestaande uit vragen van dit type werd individueel schriftelijk afgenomen, met bij iedere opgave de vraag: “Wat denk je van dit probleem?” Van de 9- tot 11-jarigen gaf 62% aan dat ze deze vragen niet behoorlijk konden beantwoorden. De overigen twijfelden niet, en rekenden antwoorden uit.

Alcuin, de meester die door Karel de Grote naar zijn hof was gehaald om onderwijs van de grond te tillen. De ‘verkeerde’ redactiesommen zijn het West-Europese onderwijs dus van meet af aan meegegeven. Met de beste bedoelingen natuurlijk, om leerlingen scherp te leren rekenen. Dat een slak binnen zijn lifetime niet bij de zwaluw zou komen, dat was en kleinigheid waar leerlingen zich maar beter niet als ‘irritante slimmerik’ op konden manifesteren. Zie Gerritsen.

De leeftijden: 90% van de studenten en onderwijzers begonnen eraan te rekenen, maar is er is geen vraag gesteld! Ook de treinen-opgaaf brengt 'een groot aantal mensen' aan het rekenen (hebt u het juiste antwoord gezien?). De prijs voor de gans bleek 'tientallen mensen, die jarenlang les hebben gegeven' te machtig: ze konden er niet mee uit de voeten (dus zonder op te meken dat de vraag zo niet is te beantwoorden), of kwamen na lang nadenken toch met een oplossing.

De volgorde: eerste een rekenkundig model opstellen, en dan pas gaan rekenen, is niet dwingend. Het omgekeerde kan namelijk ook Bijvoorbeeld: bewijs de stelling van Pythagoras met een natuurkundige proef. Zie Mark Levi (2009). Dit idee is natuurlijk niet nieuw, Levi verwijst onder andere naar werk van George Polya.

Mark Levi (2009). The mathematical mechanic. Using physical reasoning to solve problems. Princeton University Press.

hoeveel fouten: meer voorbeelden

Gevestigde ideeën over keuzevragen stammen uit de zestiger jaren: de oprichting van het Cito, een stevig boek voor docenten onder redactie van Adriaan de Groot en Robert van Naerssen (1969). Uit dit boek spreekt een groot optimisme over de verdiensten van de meerkeuzetoets, destijds consequent ‘studietoets’ genoemd, boven de bekende proefwerken, tentamens, en examens. Het ligt dus voor de hand om dit boek te raadplegen over fout gemaakte in plaats van fout geraden vragen. Hoofdstuk 18 gaat in het bijzonder over wat te doen met raden. Keer op keer kan de lezer daar vinden dat aangestreepte foute alternatieven zijn aangestreept omdat de kandidaat daar heeft geraden. Geen woord over de mogelijkheid dat kandidaten vragen gewoon fout kunnen weten. Dit is geen onschuldig verzuim van Van Naerssen, die hier overigens de internationale literatuur volgt. Op deze stilzwijgende veronderstelling dat kandidaten nooit iets verkeerd weten, berust een uitvoerig betoog over de optimale strategie van kandidaten, over scoringsformules, en over de wenselijkheid dat kandidaten de niet geweten vragen raden in plaats van open laten. Er is een kleine uitzondering: deze literatuur signaleert wel dat kandidaten die een vraag niet weten, een verkeerd alternatief aantrekkelijk zouden kunnen vinden bij het raden op die vraag. Maar zelfs dat gaat voorbij aan de overvloedigheid waarmee foute antwoorden voorkomen bij de klassieken korte open vragen.

Over niet beantwoorde keuzevragen zijn De Groot en Van Naerssen (1969) een tikje dubbelhartig. De Groot stelt (p. 17) onomwonden dat kandidaten die keuzevragen openlaten, daarvoor niet gestraft mogen worden maar een bonus toegekend moeten krijgen, per vraag gelijk aan 1 gedeeld door het aantal keuzealternatieven. Dat is krenterig, maar het principe is royaal. Van Naerssen hamert in hoofdstuk 18 voortdurend op het de kandidaten verplichten om altijd te raden op niet geweten keuzevragen. Dat betekent dat hij per ongeluk of systematisch niet beantwoorde vragen fout laat rekenen. Is dat laatste een ramp? Hetzelfde gebeurt ook bij korte open vragen: ‘geen antwoord’ en een ‘fout antwoord’ leveren beide meestal geen punt op. En vergeet niet de mogelijkheid bij opstelvragen om uitvoerig op te schrijven wat je allemaal wèl weet, om te versluieren dat het gevraagde antwoord schuldig moet blijven.

A. D. de Groot en R. F. van Naerssen (Red.) (1969). Studietoetsen, construeren, afnemen, analyseren. Mouton.

fout weten: meer voorbeelden

Natuurlijk, deze landelijke toetsen zijn zo ontworpen dat de vragen een behoorlijke moeilijkheidsgraad hebben, dus dat er veel fouten worden gemaakt hoeft niet te verbazen. Wel is het opmerkelijk dat er zo vaak uit het hoofd wordt gerekend, met jammerlijke gevolgen. Overigens zijn er bij dit onterechte uit het hoofd rekenen enorme verschillen tussen zakke en sterke rekenaars: de sterke rekenaars doen het uit het hoofd nog niet eens zo slecht. Zie verder Van Putten voor de gedetailleerde studie van de rekenresultaten in Nederland. Voor de meest recente artikelen in de woordenstrijd over realistisch rekenen, zie ook enkele artikelen in Psychometrika, 2009 (

http://www.springerlink.com/content/j66j04535373562t/fulltext.pdf

http://www.fi.uu.nl/publicaties/literatuur/7129.pdf

http://www.springerlink.com/content/u2nk351678n1214g/fulltext.pdf).

het stapelen van tegels: meer voorbeelden

Bovenstaande vraag is van een idiotie die bij wiskundige problemen wel vaker is te zien. Het idiote is dat hier een 'leuke context' is bedacht bij een wiskundig model. De omgekeerde wereld dus. Nu was de bedoeling van Ionica Smeets om haar gehoor vrolijke opgaven te laten maken, daar is niets mis mee. Maar met wiskunde heeft deze opgave dus niets te maken. Een dame in haar gehoor vond het ook nogal dom, hoewel ze de goede oplossing had: deze dame werd afgeserveerd: “Klagen over een stomme som die ze goed hebben: dat zijn irritante slimmeriken.” Er zijn ongetwijfeld reële situaties waarin dit probleem kan spelen, gebruik dan ook een reële situatie. Hebt u het antwoord al bedacht? Laat u niet afleiden door die aardbol, maar neem in plaats daarvan een muntstukje (of een aardbol-puntenslijper). Voor dat muntstukje is het antwoord meteen duidelijk, ook zonder formules te kennen (leg er een touw van 1 meter omheen): de kat past er in. Nu nog bedenken dat bij een verkeersrotonde het nog steeds de kat is die tussen touw en rotonde gaat passen. Dus ook bij die (echte) aardbol, maar daar heb je wel een heel bijzonder soort fantasie bij nodig (om maar eens iets te noemen: die bol is niet glad als een biljartbal). Ionica Smeets sleept er vervolgens, volkomen overbodig, de formule voor de straal van een cirkel bij, suggererend dat kennis van die formule het gestelde probleem beantwoordt.

Een variant op deze vraag is in een recente wetenschapsquiz (2008) gesteld, ook hier is weer een geflipte context bedacht bij een wiskundig modelletje. Ik kon deze vraag niet beantwoorden, ik begreep niet wat de ontwerper van de vraag bedoelde of wilde weten, ook al geven de alternatieven een hint in de bedoelde richting.

bespreekitems

Ben Wilbrink, 30-10-2009

Voor de volledige versie, met beknopte theorie toegevoegd, zie deze pagina.

Intervisie op vraagontwerp: 7 aandachtspunten.

Er ligt een concrete toetsvraag voor, zoals hij in een toets zou kunnen staan. Dus zonder het ontwerpidee, een modelantwoord, of statistische gegevens uit een eerdere afname.

Opmerkingen die bij eerder behandelde vragen al zijn gemaakt, hoeven niet telkens herhaald. Is dit de eerste te bespreken vraag, let dan meer op inhoud en vorm in algemene zin. Is het de derde of vierde vraag, dan kan alles korter, en let scherper op wat specifiek is bij de te bespreken vraag.

1. Eerste indruk van de vraag

2. Wat wil de ontwerper weten over de kennis van de kandidaat?

Natuurlijk, aan de vraag is niet altijd te zien wat de ontwerper wil weten; geef aan wat je denkt dat de ontwerper mogelijk wil weten, en neem dat dan ook mee bij de volgende aandachtspunten.

3. Is de vraag inhoudelijk adequaat? Kan het anders, beter? (Motiveer)

Het kan zijn dat de vraag beroerd is geformuleerd, of de verkeerde vorm heeft, maar dat is hier niet het punt. Is dit inhoud die ertoe doet, die specifiek is voor het gegeven onderwijs? Gaat het om begrip, onderlinge verbanden leggen, kennis motiveren, weten waarom je weet wat je weet?

4. Is de vorm van de vraag adequaat? Kan het anders, beter? (Motiveer)

Bekijk wat een ideale vorm voor deze vraag zou zijn.

Past de inhoud goed bij de vorm van de keuzevraag, is de inhoud ideaal om een open vraag over te stellen. En waarom is dat dan? Leidt dit tot een wijzigingsvoorstel voor de vorm van deze vraag?

5. Krijgt de ontwerper de bedoelde informatie? Kan het dan anders, beter? (Motiveer)

Zelfs bij simpele vragen zijn er vaak tal van mogelijkheden waarop kandidaten komen tot de verschillende antwoorden die ze geven. Wat daarbij voor de ontwerper van belang is, zou uit de antwoorden moeten blijken. Lukt dat bij dit ontwerp van de vraag? Wat zou dat kunnen verbeteren, en waarom?

6. Is het OK wanneer kandidaten zich gericht op vragen zoals deze gaan voorbereiden?

Een toets mag wel eens mosterd na de maaltijd zijn, maar studenten uit de volgende lichting zullen eruit afleiden hoe zij zich er het best op kunnen voorbereiden, misschien met zo weinig mogelijk inspanning. Gaat dat goed, als deze vraag typisch is voor de meeste vragen in de toets? Denk ook aan onbedoelde effecten: als rekenopgaven altijd een antwoord hebben, leren scholieren dat verwachten, alsof de wereld altijd kant-en-klare opgaven zal stellen; een artsexamen met veel keuzevragen geeft bepaald een verkeerd beeld van wat het is om medische kennis te gebruiken.

7. Overige punten van kwaliteit (zoals taal)

Dubbelzinnige tekst, moeilijke woorden, fouten in het Nederlands of de interpunctie, onbedoelde hints: het zijn allemaal kleinigheden die belangrijk kunnen zijn.