Voortschrijdend inzicht. Allereerst: lezen van teksten is een vorm van probleemoplossen. Eigenlijk moet dit hoofdstuk dus na dat over probleemoplossen komen. Het lezen van teksten is niet vanzelfsprekend: er komt een complexe warwinkel van semantische duiding bij kijken, waar we ons doorgaans niet van bewust zijn. Maar hoe gaat dat ik het onderwijs: daar is iedereen voortdurend bezig zich nieuwe kennis en inzichten te verwerven, en is die semantiek evident niet altijd een geautomatiseerd proces, om het zo maar te zeggen. Dit theoretisch inzicht moet ik nog helemaal verwerken in de onderstaande tekst van dit hoofdstuk. Dus wees gewaarschuwd ;-)
Vervolgens is van belang dat de teksten verondersteld moeten worden te behoren tot een goed omschreven inhoudelijk domein. Het stellen van vragen over teksten is een vorm van toetsen van beheersing van dat inhoudelijke domein. Zie ook David Didau (April 27, 2018). Why English is not a 'skills based' subject. blog, waarin een en ander uitstekend onder woorden is gebracht. Contrasteer dat met wat we vaak zien bij eindexamens Nederlands en vreemde talen: daar kan het vragen over teksten makkelijk ontaarden tot pogingen om zoiets als algemeen tekstbegrip te toetsen. Maar algemeen tekstbegrip, dus los van specifieke inhoudelijke domeinen, bestaat niet. Ook dit springende punt moet ik in dit hoofdstuk nog inwerken. Wie nieuwsgierig is leest Willingham & Lovette ‘Can Reading Comprehension Be Taught?’ pdf
Caveat. Ik begin met met 'Toetsvragen bij tekst' te schrijven, maar de opzet van het hoofdstuk in 1983 was juist het behandelen van toetsvragen over tekstuele leerstof, dus niet, zoals helaas steeds meer het gebruik is geworden, toetsvragen over in de toets zelg gegeven teksten. Studenten hebben een opgegeven boek over de geschiedenis van de psychlogie bestudeerd, en krijgen daar een tentamen over. Dat zou ook best een open boek tentamen kunnen zijn, maar dat is toch een totaal andere situatie dan de malligheid van teksten in de huidige eindexamens, teksten die de kandidaten dan voor het eerst onder ogen krijgen.
Toetsvragen bij tekst: dat is een heel breed terrein. Het gegeven in een keuzevraag is tekst. Het studieboek is tekst. Maar ook film bevat tekst, en dat is een fantastisch veld waar het van eminent belang is hoe kijkers een verhaal, een fabel, ontvangen (Bordwell, 1985: Narration in the fiction film). Onderwijsregisseurs kunnen daar nog veel inspiratie uit putten. Om welk soort tekst het ook gaat, voordat er iets van zijn boodschap overkomt zal de lezer (kijker) de tekst betekenis moeten geven. Betekenis geven, dat is het domein van dit hoofdstuk. Het gaat om het verbinden van kennis zoals gelezen in de tekst, ook met al bestaande eigen kennis. Komt dat bekend voor? Het gaat om redeneren (Leighton en Sternberg, 2004).
De inzet is hoog, zoals ik met een citaat probeer duidelijk te maken. Meteen maar een eindexamen, de top van toetsvragen.
Aleid Truijens (20 mei 2008). Nog even over die schoolexamens .... . De Volkskrant
Bovenstaand citaat komt uit een column van Aleid Truijens. Welaan, een column, er zal wel iets overdreven zijn. Dat neemt niet weg dat een ervaring zoals die van Aleid voor de onderwijsonderzoeker, en voor de ontwerper van examenopgaven Nederlands, een critical incident is: een niet weg te poetsen waarneming die een wezenlijk punt van functioneren of dysfunctioneren blootlegt. In ieder geval zit er de suggestie in dat het een goed idee is de opgaven bij een tekst van mevrouw A. bij wijze van laatste check ook nog eens door die mevrouw A. onder examenomstandigheden te laten beantwoorden. Blijkt dan dat de ontwerper van de vragen en mevrouw A niet in dezelfde wereld leven, dan is het waarschijnlijk zo dat de ontwerper een probleem heeft, en niet mevrouw A. Uit voorgaande hoofdstukken dringt zich het beeld op dat zo'n eindexamen Nederlands niet een eindexamen Nederlands is, maar een eindexamen eindexamens, een naar binnen gekeerde onderneming. Een brevet van onvermogen voor het onderwijs, de Cevo, of wie dan ook voor deze schraalheid verantwoordelijkheid dragen. Kan het anders, dan? Zeker. Kostenefficiënt ook? Natuurlijk, de investeringen in het middelbaar onderwijs zijn zo hoog, die zet je toch niet door een rammelend eindexamen op de tocht?
Een tekst is in dit verband van het ontwerpen van toetsvragent: de opgegeven stof voor de toets, de tekst die bij de opgave zelf als te lezen tekst is meegeven, en—last but not least—de tekst van de opgave zelf. Zo bestaat het oplossen van problemen (hoofdstuk 7) tenminste uit het begrijpen van het probleem zoals het is gesteld, en pas daarna of daarnaast komt het uitwerken van een oplossing. Het begrijpen van de probleemstelling op zich is een belangrijke variant van het begrijpen van tekst. Dat belooft wat, want voor wiskundige probleemstellingen is er een natuurlijk criterium voor het begrepen hebben: een geldige oplossing geven bewijst het begrepen hebben. Zou het mogelijk zijn voor het begrijpen van tekst in brede zin opgaven te ontwerpen die dat begrip aantonen? Even beide benen weer op de grond. Ook bij redactiesommen of ingeklede vergelijkingen is dat allereerst goed verstaan of begrijpen van de gestelde vraag een voorwaarde om een goed antwoord te kunnen geven. Maar wat is hier precies bedoeld met verstaan, respectievelijk begrijpen, van tekst?
begrijpen versus interpreteren
Leighton (2004) maakt een interessant onderscheid tussen begrijpen en interpreteren: begrijpen is het betekenis geven aan een tekst in overeenstemming met de bedoeling van de auteur, interpreteren is het betekenis geven aan dezelfde tekst vanuit de eigen kennis van de wereld.
Dit onderscheid is direct relevant voor de ontwerper van toetsvragen. De ontwerper wil immers dat haar vragen goed worden begrepen, maar kan eigen interpretaties mogelijk niet altijd tegenhouden. Aan uitgewerkte antwoorden is na te gaan hoe de testee met de vragen is omgegaan. Bij keuzevragen is dat niet mogelijk, tenzij testees de mogelijkheid of de verplichting krijgen om gegeven antwoorden te motiveren.
Leighton laat zien dat het onderscheid tussen begrijpen en interpreteren vergaande consequenties heeft voor de betekenis van psychologisch onderzoek naar redeneren (reasoning), en in het gevolg daarvan dus ook voor tests en toetsen waarin redeneren een (hoofd)rol speelt. Leighton is bepaald niet de enige die het probleem signaleert, zij citeert de Amerikaanse Standards voor tests en testgebruik die er een belangrijk punt van maakt:
AERA, APA & NCME (1999).The Standards for Educational and Psychological Testing. standard 1.8 zie hier.
Ik heb een vermoeden dat keuzevragen in teveel gevallen niet aan deze, ook juridisch afdwingbare, kwaliteitseis voldoen, tenzij testees hun antwoorden (moeten, kunnen) onderbouwen.
Natuurlijk is dit alles van eminent belang bij het ontwerpen van toetsvragen over tekst, maar het belang is niet minder groot bij toetsvragen over andere stof.
Jacqueline P. Leighton (2004). The assessment of logical reasoning. In Jacqueline P. Leighton and Robert J. Sternberg: The nature of reasoning (291-312). Cambridge University Press.
Bij het ontwerpen van toetsvragen over tekst is het belang om inzicht te krijgen in de betekenis die de student aan de tekst geeft: is dat een betekenis zoals de auteur van de tekst die bedoelt, of is dat mogelijk een andere betekenis die de student op basis van haar eigen kennis van de wereld aan die tekst geeft? De box hierboven werkt dit onderscheid uit tussen begrijpen naar de bedoeling van de auteur, en interpreteren vanuit de achtergrondkennis van de lezer. Ik heb, als auteur van de tekst in bovenstaande box, een belangrijke punt impliciet gelaten; de vraag is dan, hebt u bij lezing van de tekst mijn bedoeling toch goed begrepen, of hebt u een eigen interpretatie van de boodschap gemaakt? Het punt waar het om gaat is het volgende. Een interpretatie, in afwijking van de bedoeling van de auteur van de tekst, kan legitiem zijn. Sterker nog: een conclusie op basis van een redelijke eigen interpretatie kan volkomen juist zijn, en tegelijk niet volgen uit begrijpen van de tekst zoals bedoeld door de auteur. Vandaar de kwaliteitseis die de Standards stelt: om een gegeven antwoord te kunnen beoordelen, moet bekend zijn wat het begrip of de interpretatie is die achter het gegeven antwoord ligt. Maar natuurlijk, u bent dat probleem al vaak tegengekomen: een keuzevraag kan anders begrepen zijn dan de ontwerper bedoelde, op grond waarvan een ander alternatief als het beste antwoord is aangegeven. In een autoritaire omgeving verliest de student zo’n claim veelal, terwijl een vooruitziende ontwerper de student de gelegenheid heeft gegeven om antwoorden toe te lichten zodat deze claimant een bewijs in handen heeft. Wat denkt u van de standaardvraag ‘Wat bedoelt de auteur hier met .... [citaat uit de tekst]?’ Deze formulering lost natuurlijk het probleem van begrijpen versus interpreteren niet op. Maar daar wees Aleid Truijens in een eerdere box al op.
Ik wil dit onderscheid tussen begrijpen en interpreteren graag in heel mijn boek gaan gebruiken, maar dat moet ik nog realiseren. Ook in dit hoofdstuk. Ik neem de termen van Leighton niet over, want het is niet bepaald handig om zo specifieke betekenissen te geven aan algemene termen.
Een grof onderscheid dat van meet af aan duidelijk moet zijn is dat tussen het in enge zin verstaan van tekst, en het in brede zin begrijpen of interpreteren van tekst.
Tot het verstaan van een tekst behoort alles wat redelijkerwijs als met de tekst zelf gegeven is te beschouwen. Onbedoeld dubbelzinnige tekst is dus niet goed te verstaan, behalve door de dubbelzinnigheid zelf volledig te begrijpen. Het goed verstaan van een tekst kan op zich heel ver gaan, wanneer het zich uitstrekt tot het adequaat signaleren van de relevante verwijzingen en andere relaties die met de tekst zelf zijn gegeven: dit is het onderwerp van analyse van tekst (paragraaf 6.3).
Tot het begrijpen van tekst behoort bovendien hoe de lezer de inhoudelijke boodschap van de tekst relateert aan kennis die zij overigens al heeft. Het is handig om dat surplus met een technische term aan te duiden als het maken van inferenties bij de gegeven tekst (paragraaf 6.4): gevolgtrekkingen maken die verder gaan dan wat in de tekst is gegeven, door het gegevene met andere kennis te verbinden. In het volgende is het begrijpen van tekst dus vooral die voorwaardelijke combinatie van analyse en inferentie. Er is prachtig werk gedaan over het begrijpen van probleemstellingen door George Pólya (1945/1957), psychologisch geduid door Allen Newell (1980), en over het begrijpen van tekst door Judi Randi, Elena Grigorenko en Robert Sternberg (2005) (in lijn met oudere inzichten, zie bijvoorbeeld Readence en Moore, 1983), wat het de ontwerper van vragen mogelijk moet maken om zich te bevrijden van knellende banden van traditie en misplaatste technische voorschriften.
Het verschil met hoofdstuk 5 is dat in dat hoofdstuk specifieke relaties het onderwerp van leerstof en toetsvragen zijn, terwijl in dit hoofdstuk 6 de relaties binnen de gegeven tekst op zich nieuw kunnen zijn, en de inferentiële relaties tussen de inhoud van de tekst en overige kennis door de lezer vrijelijk gelegd worden. Het verschil met hoofdstuk 7 is dat na het begrijpen van de probleemstelling de oplossing nog is te vinden of te construeren. Dat geldt overigens ook voor het opstel: dat is een onderwerp dat in hoofdstuk 7 thuishoort en niet in dit hoofdstuk 6, omdat het opstel immers meer is—naar vorm, naar inhoud, of beide—dan het alleen begrijpend uitwerken van een gekozen onderwerp.
Ik zal nog geschikte voorbeelden zoeken die de volgende algemene opmerkingen illustreren. In de tussentijd dragen deze opmerkingen hopelijk bij aan een wat reflexieve houding van de lezer bij het thema van dit hoofdstuk.
Het begrijpen van tekst is een nogal persoonlijk ding, omdat nu eenmaal het opnemen van kennis een constructief proces is waarbij nieuwe kennis wordt verbonden met al aanwezige kennis (zie bijvoorbeeld De Leeuw en Chi, 2003 pdf). De onmiddellijke gevolgtrekking is dat het dan voor de ontwerper van toetsvragen niet meer zinvol mogelijk is om gericht vragen te stellen over de zo begrepen kennis. Zou de ontwerper toevallig bij student A adequaat vragen, dan is dat voor student B zeker niet meer het geval omdat student B de stof noodzakelijk heeft verbonden met een iets andere voorkennis dan die van student A. Gerichte vragen, zoals keuzevragen en korte open vragen, schieten vaak net mis, waardoor de validiteit van de vragen wegglijdt. Is dat ernstig? Ja, ook als het een heel klein effect is, omdat een onderwijsloopbaan ongeveer twee decennia duurt en de opstapeling van kleine missers ongemerkt problematische proporties kan aannemen. Zijn er alternatieven beschikbaar? Ja, de leerling laten uitleggen hoe zij een tekst heeft begrepen, en alle mogelijke varianten hierop. Wie toch gerichte vragen gebruikt: uit laten leggen waarom gegeven antwoorden goede antwoorden zijn; dan gaat het dus minder om het goed of fout zijn van het gegeven antwoord, dan om de kwaliteit van de inferenties in de gegeven toelichting.
Is analyse van tekst nog wel enigszins objectief te beoordelen als adequaat of niet, met het begrijpen van tekst is dat lastiger omdat niet alleen verschillen tussen studenten in voorkennis dat oordeel moeilijk maken—het gaat immers niet aan die verschillen als zodanig altijd maar weer in oordelen mee te nemen—maar ook omdat de voorkennis van de beoordelaar zelf niet een vanzelfsprekend faire norm of referentie is voor deze beoordeling. Ik vermoed dat hier de bron ligt van een deel van de subjectieve ellende bij het beoordelen van werkstukken en opstellen (Hartog en Rhodes, 1936, en zeeën van ander onderzoek naar opstelbeoordelingen).
Het reproduceren van (onderdelen van) de tekst zelf, letterlijk of in eigen woorden, is zelden de bedoeling. Wat dan wèl de bedoeling is van het bestuderen van tekst is in de praktijk altijd weer een beetje een mysterie, bij iedere docent weer anders, en daarom een bron van examenellende. Het sleutelwoord is inferentie, het trekken van conclusies en leggen van verbanden binnen de stof, en van de stof met andere kennis. Maar dat is een perfect open einde: dat stelt nauwelijks enige beperking aan wat docenten over tekst kunnen gaan vragen. Dat is een recept voor een ramp. Laat ik het duidelijk maken aan de hand van de axioma's van Euclides: een heel klein stukje tekst, daar volgt dan heel zijn meetkunde uit. De uitdaging voor dit hoofdstuk is dan om enigszins af te bakenen wat het aanvankelijke begrijpen van tekst is, zoals van de voor een tentamen opgegeven literatuur, en hoe inferenties die een stuk verder gaan dan dat aanvankelijke begrijpen, maar dat aanvankelijke begrijpen vooronderstellen, tot adequate examenopgaven kunnen leiden. Dat gaat dus toe naar een soort gelaagdheid in het begrijpen van tekst: een eerste begrip op basis van stevige bestudering van de tekst; een tweede begrip op basis van een gerichte probleemstelling die tot een verdieping leidt. Die verdieping is dan redelijk uniek; er zijn talloze andere mogelijke verdiepingen, zodat deze bepaalde verdieping hoogstwaarschijnlijk als zodanig niet door de studenten is voorbereid, dus moeten zij die ter plekke realiseren (al dan niet met het open boek erbij). Anders gezegd: het eerste begrijpen is al gerealiseerd en nu op basis van geheugen beschikbaar, het tweede, verdiepte begrijpen moet nu gebeuren op basis van het eerste begrijpen van de stof. Ik ben benieuwd of ik dit in een aantal mooie casus duidelijk kan maken.
Tekst gaat over een stukje van de wereld. Het is aan de student om daar iets mee te doen, aan de docent om daarbij geen tijd—geen vertrouwen dus—van de student te verspillen. Het citaat uit Kuhn (2005) mag dan wat mysterieus lijken—het hele boek is nodig om het goed te kunnen plaatsen—het geeft wel aan wat er op het spel staat. Dus ook bij het ontwerpen van toetsvragen bij die tekst, over die tekst, of naar aanleiding van die tekst.
In het hoger onderwijs gaan literatuurtentamens over veel tekst ineens. De ontwerpmogelijkheden uit de voorgaande hoofdstukken passen daar niet altijd even goed op. En juist het literatuurtentamen plaatst de docent voor problemen bij het ontwerpen van vragen. Dit hoofdstuk behandelt de eigenaardigheden en eigen mogelijkheden voor het ontwerpen van vragen over tekst. Ook hier is een leerstofinventarisatie wel de minste voorbereiding, maar die dreigt de stof op te delen in afzonderlijke partjes, waardoor belangrijke doelen van het literatuurtentamen de mist ingaan.
Voor de editie 1983 is geen onderzoek gedaan naar de geheel eigen thematiek die verbonden is met analyse en inferentie, met inductief redeneren. Voor deze herziening zal dat wel gebeuren, stapsgewijs, en waarschijnlijk om te beginnen door gebruik te maken van het werk van Deanna Kuhn (2005), en via dat vruchtbare onderzoek ook naar de onderliggende funderende literatuur. De interessante link in het werk van Kuhn is naar het idee om ‘ontdekkend leren’ in het onderwijs binnen te brengen. In zijn kwaadaardige vorm staat dat laatste bekend als ‘het nieuwe leren,’ dat leerlingen met lege handen de samenleving in dreigt te sturen. Om ‘ontdekkend’ te kunnen leren is een sterke vorm van metacognitief functioneren een voorwaarde: je moet weten wat je al weet, tegelijk nieuw empirisch materiaal kunnen analyseren en daar conclusies uit te trekken (inferentie), en die beide vervolgens aan elkaar te verbinden. Dat is een hooggestemd ideaal, want het blijkt dat volwassenen hier ook maar bedroevend weinig van terecht brengen—dat biedt politici angstig veel ruimte om de kluit te belazeren. Hooggestemd: het is belangrijk dat het onderwijs op dit punt scoort—voor een keer wil ik daar het woord ‘competentie’ wel voor gebruiken—gezien het maatschappelijk belang (Amartya Sen is hier de filosoof van het huis), en ook hooggestemd omdat er nog een complete didactiek en toetsmethodiek voor valt te ontwikkelen. Dat is de grotere uitdaging die ook in dit hoofdstuk zit.
Gaat dit de zweverige kant op? Welnee, er zijn juist aanwijzingen dat in de harde schoolvakken deze dimensies van redeneren pregnant aanwezig zijn (Leighton, Gokiert en Cui, 2005, pdf).
Dicht tegen het onderzoek van Kuhn aan bevindt zich de lijn van ‘wetenschappelijk redeneren’ in het onderwijs, zie voor een overzicht Zimmerman (2005) pdf.
De indeling van wat een leerling zoal met teksten kan doen ligt eigenlijk wel voor de hand: onthouden, analyseren van relaties binnen de gegeven tekst, en de analyse verbinden met (eigen) theorie om zo tot buiten de tekst zelf liggende conclusies te komen. Het eigen mentale model van de wereld speelt altijd een rol, op de achtergrond bij onthouden en analyseren, nadrukkelijk bij het trekken van conclusies, terwijl er in alle gevallen aanleiding kan zijn het eigen mentale model aan te passen bij nieuwe gegevens die uit de tekst. Dat zou in grote lijnen tevens een Deanna Kuhn model kunnen zijn. Alles overziend, is er dan ook een omgekeerde weg: het eigen mentale model in tekst vastleggen, eventueel onder gebruikmaking van nieuwe data, toegepast op nieuwe data. Inderdaad, tekst is te zien als neerslag van een theorie over de wereld, aan de hand van bepaalde data, in de figuur aangegeven door de gedimde labels. In het algemeen zal er spanning bestaan tussen de theorie achter de tekst, en de persoonlijke theorie van degene die de tekst leest, analyseert, of er gevolgen uit trekt. Zou dat laatste niet zo zijn, dan was onderwijs overbodig. Nu het wel zo is, is het geweldig spannnend wat er kan gebeuren.
De ‘persoonlijke theorie’ in het schema is geen onbelangrijk gegeven in dit geheel, ook al speelde het in de editie 1983 in het geheel geen rol—in die editie kwam het pas als ‘model van de student’ in het hoofdstuk over probleemoplossen aan de orde. Wat in dit verband nu het belangrijke inzicht is uit het werk van Deanna Kuhn—en andere cognitief psychologen—is dat deze persoonlijke theorie bijna vanzelf leidt tot het begrip van ‘weten wat je weet,’ dus van meta-cognities, en—minder vanzelfsprekend—hoe die in het onderwijs en bij de toetsing een rol spelen. Begin maar met te bedenken dat het hele idee van het toetsen van leerling een meta-cognitie is: de leraar—de samenleving—wil weten wat de leerling weet. Dan zijn we meteen thuis.
22-12-2007 Het schema ziet er misschien wel veelbelovend uit, maar het lijkt toch veel te beperkt te zijn, en wel hierom: er is een beter schema beschikbaar (Randi, Grigorenko en Sternberg 2005). Onthouden, analyseren en gevolgtrekkingen maken komen daar natuurlijk eveneens in voor, dat kan niet verrassen. Een kleine toevoeging is dat voordat de lezer iets heeft om te onthouden, de tekst wel goed gelezen moet zijn, de woorden bekend moeten zijn, etcetera.
Een belangrijke waarneming van deze onderzoekers is dat veel van wat in het onderwijs tekstbegrip heet, een beperkte schoolse betekenis heeft omdat het vooral beperkt is tot wat aan tekst of leerstof is aangeboden, en omdat bij het toetsen van tekstbegrip het gevaar is dat alleen die antwoorden als goede antwoorden worden gehonoreerd die in lijn zijn met wat bedoeld is dat de leerling begrijpt, of in lijn met wat anderen ook zo begrijpen. De directe analogie is hier met de woordproblemen bij het rekenen: een schoolse wereld opent zich voor de leerlingen, netjes geordend omdat iedere vraag een helder antwoord heeft dat ‘goed’ is.
In het schema heeft de persoonlijke theorie van de leerling al een prominente plaats gekregen. Bij Randi, Grigorenko en Sternberg komt dit idee terug, en wel bijzonder goed uitgewerkt, aansluitend op Sternbergs triarchic theory van intelligentie (Sternberg 2003). Voor de ontwerper van toetsvragen is het onontkoombaar dat het grootste deel van wat er over of naar aanleiding van tekst valt te vragen, een open karakter moet hebben, waarin plaats is voor persoonlijke interpretaties, persoonlijke zingeving, en creatieve omgang met de tekst waarin eigen varianten op die tekst gecomponeerd worden. De auteurs onderscheiden drie grote componenten in het begrijpen van tekst: de analytische, de praktische, en de creatieve component, drie verschillende manieren om zich de tekst eigen te maken (zie Sternberg 2008 voor een kort overzicht). De analytische kennen we wel. De praktische is die van persoonlijke zingeving, ook letterlijk opgevat in de zin dat tekstgegevens verbonden worden met gebeurtenissen uit het persoonlijk leven, het eigen persoonlijk leven en niet alleen maar in algemene zin. De creatieve component is als het ware het componeren van een eigen tekst bij de gegeven tekst, daar op onderdelen eigen creatieve wendingen aan geven, andere mogelijke ontwikkelingen aangeven, voorspellen wat de plot kan zijn, etcetera.
Dit klinkt allemaal leuk en aardig, maar is dit ook evidence based? Ja. En is het toepasbaar op tekst met een moeilijke boodschap, zoals scheikunde of wiskunde? Ja. Wat zijn de prestaties van leerlingen onder dit creatieve regime vergeleken met een gewone behandeling van dezelfde tekst? Beter. Ha, beter op welke toetsen? Op gewone toetsen, die dus dicht bij de tekst zelf blijven en juist geen ruimte bieden voor die persoonlijke component. Toetsen kan dus veel beter, wanneer daarin ruimte komt voor al het authentieke dat in deze benadering van Randi, Grigorenko en Sternberg zo prominent aanwezig is. Kom je dan bij portfolio's en zo uit? Zeker ook, ja.
Keuzevragen passen van nature slecht bij deze open benadering van wat tekstbegrip is. Er is ook onderzoek dat dat mooi laat zien, en leraren kennen het waarschijnlijk uit eigen ervaring ook heel goed: leerlingen die niet het ‘goede’ alternatief hebben gekozen, kunnen een heel plausibel verhaal hebben bij het alternatief dat zij dan wel hebben aangestreept, juist omdat daar ook die persoonlijke zingeving in aanwezig is. Keuzevragen om tekstbegrip te toetsen is dus niet zonder meer een goed idee, daar moet altijd ruimte voor die persoonlijke component bij. Dat kan door altijd een korte toelichting op het gegeven antwoord te laten schrijven, een toelichting die dan ook wel in de beoordeling moet worden betrokken, en dan het belangrijkste antwoord kan vormen.
Het werk van Deanna Kuhn heeft raakvlakken met dat van Randi, Grigorenko en Sternberg, deze twee lijnen van theorievorming en onderzoek kunnen elkaar versterken.
Randi, Grigorenko en Sternberg (2005), zie literatuur.
Robert J. Sternberg (1985). Beyond IQ: The triarchic theory of human intelligence. Cambridge University Press.
Een globale indeling van mogelijke toetsvragen is in vragen over de letterlijke tekst, vragen over de globale inhoud, analyse van de tekst, vragen naar inferenties bij de tekst, vragen naar actieve beheersing van de informatie uit de tekst.
De categorieën 2, 3 en 4 komen in dit hoofdstuk aan de orde. Het is nu al duidelijk dat er uiteenlopende ontwerpmogelijkheden zijn. Ook voor een student is het dus niet vanzelfsprekend op welk soort vragen zij zich moet voorbereiden.
onderstaande tekst van dit hoofdstuk is nog niet volledig herzien
Het is niet vanzelfsprekend dat de toets tot doel heeft de diepte van bereikte inzichten te peilen. Bij het literatuurtentamen kan het doel ertoe beperkt zijn dat de student bepaalde informatie opneemt en kan reproduceren; toetsvragen horen dan ook tot die reproduktie beperkt te blijven. Het kan zelfs gebeuren dat het doel beperkt is tot het simpelweg vaststellen of opgegeven literatuur gelezen is of niet. In dit geval heeft de toets de rol van presentielijst toegewezen gekregen. De analogie is met het practicum waar het er alleen om gaat of de student aan de geplande activiteiten heeft deelgenomen. De toets kan gebruikt worden om op indirecte wijze vast te stellen of de student aan zijn verplichtingen tot het doornemen van de literatuur heeft voldaan en niet meer dan dat, de toets als participatiecontrole dus, een idee afkomstig van Hofstee (1973).
De technische uitwerking die Hofstee geeft, is onnodig beperkt tot tweekeuzevragen die door bijna iedereen die geparticipeerd heeft goed beantwoord kunnen worden. Keuzevragen kunnen geschikt zijn door hun ‘herkenningskarakter,’ maar dat mag het gebruik van aanvulvragen niet uitsluiten. Gemakkelijke vragen liggen inderdaad voor de hand, maar ook moeilijke vragen, die niet iedere participant goed zal maken, kunnen gebruikt worden voor participatiecontrole. Voorwaarde is dat de vragen duidelijk ‘beter’ beantwoord worden door participanten dan door niet-participanten; eventueel kan dat met een proefgroep gecontroleerd worden.
Ook toetsing als participatiecontrole vraagt om zorgvuldige voorbereiding: een goede leerstofinventarisatie en toetsvragen geschreven volgens de vraagmogelijkheden die passen bij het doel ‘participatiecontrole.’ Om met de leerstofinventarisatie te beginnen: deze is te verrichten door het screenen van de opgegeven literatuur op al die informatie die zeker na een keer aandachtig lezen bij de student zal blijven hangen. Doorgaans zal er een geprononceerd onderscheid zijn tussen informatie die geproduceerd kan worden, zoals belangrijke thema's, en informatie die mogelijk niet geproduceerd, maar zeker wel herkend kan worden, zoals namen en getalsmatige gegevens. Het onderscheid geeft al aan waar aanvulvragen te gebruiken zijn, en waar in ieder geval een beperking tot keuzevragen nodig is. In de leerstof inventarisatie kunnen ook ‘vanzelfsprekende’ gevolgtrekkingen meegenomen worden. Omdat het in ieder geval om ‘saillante’ informatie gaat, moet een dergelijke inventarisatie in korte tijd te maken zijn. De vorm die ervoor gekozen kan worden: een lijst (vergeet niet bij ieder item de vindplaats aan te geven, bron met bladzijdenummer) of simpelweg aanstrepen in de tekst. Schematiseren (zie 3.4) kan zeker geen kwaad en is aan te raden wanneer dezelfde onderwerpen op meerdere plaatsen in de opgegeven literatuur ter sprake komen.
Onbenullige toetsvragen blijven tamelijk dicht bij de informatie zoals die in de bestudeerde literatuur al gegeven werd. Bedenk dat het ook voor onbenullige toetsvragen mogelijk kan zijn met nieuwe voorbeelden te werken (het laatst gegeven voorbeeld illustreert dat). Wanneer gevraagd wordt nieuwe voorbeelden te produceren, te benoemen of te herkennen moet er wel op gelet worden of van de studenten verwacht wordt dat ze zich op dergelijke vragen actief voorbereiden of niet. In het laatste geval zijn dergelijke vragen alleen te gebruiken wanneer er voldoende aanwijzingen of hints in verwerkt worden om de vraag tot een echt onbenullige vraag te maken: wie de stof gelezen heeft kan de vraag beantwoorden, wie dat niet gedaan heeft blijft het antwoord schuldig (of moet raden). De reden hiervoor is dat er anders strijd met het doorzichtigheidsbeginsel zou ontstaan èn dat anders niet uitgesloten kan worden dat de vragen veeleer een beroep doen op intelligentie.
Deze voorbeelden zetten de toon. Het lijkt een gemakzuchtige manier van vragen. Zeker het tweede voorbeeld heeft dat in zich: neem de titels van de paragrafen uit het boek, en zet er ‘Wat is’ voor. De ontwerper die dit uit gemakzucht doet, schiet zich in de voet: er komt een berg nakijkwerk bij kijken. Strenge maar rechtvaardige toetsen met die type vragen dwingen de student natuurlijk wel om de stof op dezelfde manier actief te bestuderen: kan ik het in mijn eigen woorden navertellen?
Een minder passief verwerken van de tekst dan het alleen maar gelezen hebben, is het in eigen woorden weergeven—zoals in de voorbeelden hierboven—of herkennen van de hoofdpunten, de kern gedachten, de grote lijnen, de belangrijke thema's of verstrekte gegevens. Dat zijn al die onderwerpen die in de tekst zelf al aangeduid worden als belangrijke punten. Wanneer het de bedoeling is dat studenten de literatuur globaal bestuderen, hoeven zij de stof niet zo actief te verwerken als in de volgende paragrafen aan de orde is. Dat is geen kwestie van principe, maar van daadwerkelijk volgen van een gekozen onderwijsdoel. Dat betekent voor teksten waarbij het niet zonder meer duidelijk is welke de belangrijke onderwerpen zijn, dat de docent een inventarisatie van die onderwerpen maakt en deze lijst aan de studenten beschikbaar stelt (als onderdeel van de stof voor de toets). Advies: ga er niet al te snel vanuit dat studenten deze onderwerpen zelf wel uit de literatuur kunnen selecteren. De student kijkt met heel andere ogen naar de tekst dan de docent met enkele tienduizenden uren ervaring op zijn vakgebied. Wanneer er ook maar enige twijfel is, kies dan de zekere weg en maak zo'n onderwerpenlijst. Of doe een experiment, bijvoorbeeld door enkele collega's helemaal onafhankelijk van elkaar de belangrijke onderwerpen op een rijtje te laten zetten. Het is wel zeker dat de onderlinge overeenstemming veel minder dan perfect is en dat sommige lijsten heel wat meer ‘belangrijke onderwerpen’ bevatten dan andere over dezelfde literatuur. Het helpt de student natuurlijk ook enorm wanneer hij aan een ruime verzameling ter beschikking staande toetsvragen kan zien en door oefening kan ervaren, op welke wijze en wat er over de literatuur gevraagd wordt.
Probeer onder woorden te brengen op welke manier er over deze hoofdpunten gevraagd zal worden. Schrijf de toetsvragen in overeenstemming met deze bedoeling. En geef de beschrijving als een soort instructie ook aan de studenten.
Let er bij het maken van de inventarisatie van hoofdpunten op dat daar ook alle belangrijke relaties tussen hoofdpunten afzonderlijk in genoemd worden. Het zou niet fair zijn de student tijdens de toetsing te verrassen met vragen die de relatie tussen twee hoofdpunten betreffen, terwijl de hem bekende lijst onderwerpen slechts beide hoofdpunten en niet hun onderlinge relatie bevat in de volgende voorbeelden is dat de relatie (het kenmerkende verschil) tussen de klassieke en de keynesiaanse economische school. De volgende vragen passen bij een tekstfragment uit Pen en Van Gemerden Macro-economie (Aula 620), ook afgedrukt in Mirande (1981, blz. 161 e.v.).
Het antwoord in dit voorbeeld is de letterlijke tekst uit Pen en Van Gemerden; in redelijkheid zal ieder antwoord goedgekeurd worden waarin het bestaan van een kringloop van inkomens en besteding wordt genoemd, en ook daar zijn heel wat uiteenlopende bewoordingen voor te kiezen (zie het volgende voorbeeld). De vraag slaat op een onderwerp dat in de lijst waarvan hierboven sprake was aangeduid kon zijn als ‘de kern van de keynesiaanse economie,’ en niet als ‘de keynesiaanse economie’ want daar kan van alles en nog wat mee bedoeld zijn, bijvoorbeeld de historische ontwikkeling van deze economische school.
Het is voor veel studenten een uitstekende geheugensteun wanneer zo'n theoretisch punt van de keynesiaanse economie niet alleen in verbale vorm onthouden wordt, maar wanneer er ook een andere representatie van gemaakt wordt, bijvoorbeeld schematisch. Een stimulans voor het op deze wijze verwerken van de gegeven hoofdpunten is dan het terugvragen van de essentie ervan in de vorm van zo'n schema. In dit geval al heel eenvoudig, een blokje voor respectievelijk bedrijven en consumenten, en twee pijlen met daarbij de aanduiding dat het om geldstromen gaat (inkomens en besteding).
Keuzevragen zijn soms mogelijk, maar daarom nog niet aan te raden.
Pen en Van Gemerden behandelen slechts drie scholen, dus is het iedere lezer van dat boek duidelijk waartussen gekozen moet worden. De keuzevraag geeft geen extra informatie weg en levert geen raadkans op waar die er in de vorm van een aanvulvraag niet zou zijn. De formulering van de vraag is een parafrase van de formulering zoals die in het boek voorkomt. Gebruik bij voorkeur parafrasen en geen letterlijk uit de opgegeven literatuur overgenomen uitspraken. Dat voorkomt dat studenten kapitaliseren op uit het hoofd leren of op domme herkenning van uitspraken. Het gebruik van parafrasen bevordert een betere verwerking en een beter onthouden van de leerstof (zie o.a. Rickards, 1979). Voorwaarde daartoe is dan wel dat studenten hun stofbeheersing oefenen op dergelijke geparafraseerde vragen.
Een voorbeeld van een vraag over de relatie tussen twee hoofdpunten, waarbij de relatie met zoveel woorden ook in de lijst van hoofdpunten opgenomen hoort te zijn:
De antwoorden zijn passages uit Pen en Van Gemerden. Men kan de student niet verbieden letterlijk te citeren, maar een parafrase is natuurlijk prima. De letterlijke passages zouden als ‘modelantwoorden’ gebruikt kunnen worden bij het nakijken van de antwoorden. Dat nakijken kan overigens wel lastig zijn, want studenten kunnen met sterk uiteenlopende formuleringen voor de dag komen, die toch als goed aangemerkt kunnen worden. Dit kan voorkomen worden door een verdere specificatie in de vraagformulering op te nemen, of door er meer een aanvulvraag van te maken.
In deze vragen komt nog een ander belangrijk verschil tussen deze twee scholen naar voren. Ook dit verschil moet in de onderwerpenlijst dan wel genoemd zijn.
Merk op dat al deze vragen gesteld zijn op een tamelijk hoog niveau van abstractie. Dat is een nadeel dat hoort bij het alleen maar om globale verwerking van de opgegeven literatuur vragen. Het alternatief is dat de student op een meer actieve wijze met de stof omgaat. Wanneer de student zich oefent op het bedenken van nieuwe voorbeelden bij begrippen en relaties die in de literatuur voorkomen (of het benoemen en herkennen van nieuwe voorbeelden), dan kunnen toetsvragen geconcretiseerd worden door van nieuwe voorbeelden gebruik te maken. Het nogal abstracte karakter van toetsvragen over globaal bestudeerde literatuur brengt ook met zich dat er maar een beperkt aantal vragen over geschreven kunnen worden. Wie alleen opstelvragen stelt, waarin gevraagd wordt in eigen woorden de kern van een bepaald hoofdpunt weer te geven, beschikt over evenveel vragen als er hoofdpunten in de lijst voorkomen. Dat hoeft natuurlijk niet bezwaarlijk te zijn: de student die al deze hoofdpunten in eigen bewoordingen weer kan geven, beheerst de stof perfect (naar de maatstaf van het gestelde en beperkte onderwijsdoel). Bij aanvulvragen is het mogelijk per hoofdpunt een klein aantal verschillende vragen te formuleren, zoals de gegeven voorbeelden ook laten zien.
Geconcentreerde aandacht voor de hoofdpunten in de literatuur is een eerste stap op de ladder van het meer bewust met teksten omgaan. Een volgende stap is het bewust, expliciet gestructureerd te lijf gaan en verwerken van de opgegeven literatuur. Zolang het alleen gaat om informatie in de tekst zelf gegeven, is dat analyse. Informatie uit de tekst verbinden met al aanwezige kennis, of uit een tekst gevolgtrekkingen maken die die niet die van de auteur zijn, is inferentie (zie 6.4) Vat beide termen op als een pragmatische etikettering voor een vat met gevarieerde inhoud. Het analytisch bestuderen van een tekst kan op heel uiteenlopende zaken gericht zijn van de betekenis van gebruikte woorden tot de bedoeling achter een heel boekwerk, van de empirische status van gedane uitspraken tot de logische samenhang in een gegeven argumentatie enz.
De term ‘analyse’ suggereert een verwantschap met de categorie ‘analyse’ in de cognitieve taxonomie van onderwijs doelen van Bloom c.s. (1956). Die verwantschap is zeker wel aanwezig, en daar zal ik ook gebruik van maken. Maar er is een heel wezenlijk verschil in de benadering van Bloom c.s. en die welke in deze paragraaf uitgewerkt zal worden Bloom c.s. beschouwen het analytisch omgaan met tekst als een vaardigheid op zich, te vergelijken met schriftelijke uitdrukkingsvaardigheid. Voor middelbaar en hoger onderwijs is het een belangrijk doel de student deze vaardigheid bij te brengen. Bij Bloom c.s. zijn analytische toetsvragen dan ook bedoeld om deze vaardigheid zelf te toetsen. Daarbij is de standaard gang van zaken dat de student een nieuw stuk tekst krijgt voorgelegd met een aantal vragen die via analyse van de gegeven tekst te beantwoorden zijn. Een belangrijke Amerikaanse gestandaardiseerde toets als de New High School Equivalency Examination bestaat voor een aanzienlijk deel uit precies dergelijke analytische vragen, ook voor vakken waarvan je zou denken dat het daarbij toch allereerst om kennis en inzicht in inhoudelijke onderwerpen zou gaan. Welnu, voor dergelijke analytische vragen zal ik geen vraagmogelijkheden geven want dat zijn vragen die niet algemeen te gebruiken zijn, maar slechts voor het studieonderdeel dat in het bijzonder gericht is op het bijbrengen van dergelijke analytische vaardigheden in algemene zin.
Hoe zijn analytische vragen dan wel te gebruiken? Op welke manier is het analytisch omgaan met teksten dan wel zinvol? Vergelijk analyseren weer met die andere algemene vaardigheid: schrijven. Ook zonder dat schrijven een expliciet doel van het onderwijs is, speelt het een belangrijke rol omdat de student zich schriftelijk moet kunnen uitdrukken. Op dezelfde wijze is analyseren van belang: als hulpmiddel of techniek om je een tekst op bepaalde wijze ‘eigen’ te maken. Iemand die zich een tekst door analyse eigen heeft gemaakt, heeft een ander, dieper inzicht in het in die tekst behandelde onderwerp dan iemand die slechts op globale wijze van diezelfde tekst kennis heeft genomen. Daar ligt dan ook de aansluiting met de te schrijven toetsvragen: het is nu mogelijk om de toetsvragen te richten op de ‘resultaten’ van het analytisch bestudeerd hebben van een tekst. Merk op dat dit iets anders is dan het schrijven van toetsvragen die tekstanalyse vragen uit te voeren op een gegeven (nieuw) stuk tekst, ook al zullen deze vragen naar de vorm veel gemeenschappelijks kunnen vertonen met de eerstgenoemde.
Dat klinkt veelbelovend, maar hoe voorkom je dat toetsvragen die gericht zijn op het analytisch verwerkt hebben van de literatuur niet veeleer dat analytisch vermogen van studenten toetsen dan de kennis en het inzicht die via analyse verkregen zijn? Dit is een probleem, inderdaad, maar het is niet ernstiger dan het vergelijkbare probleem dat zich voordoet bij toetsen waarbij het mede aankomt op het vermogen van de student zich schriftelijk uit te drukken. Of meer algemeen: bij de voorbereiding op een tentamen speelt het op intelligente wijze omgaan met de leerstof altijd een rol, maar dat wil nog niet zeggen dat toetsresultaten eerder een weerspiegeling van verschillen in intelligentie dan van verschillen in stofbeheersing zouden zijn. Dat neemt echter niet weg dat het problematisch kan worden wanneer de vragenschrijver zich van de mogelijkheid van verwarring van beide niet bewust is. Wie vragen stelt die alleen maar te beantwoorden zijn door studenten die analytische hoogstandjes kunnen maken, gaat ver over de schreef. De analytische vaardigheden die bij de student verondersteld worden, moeten redelijk zijn, liever nog bescheiden verondersteld worden. Aan de didactische kant kan de docent er ook veel aan doen door glashelder te maken op welke wijze de student analytisch met de literatuur om kan gaan of verwacht wordt om te gaan. Dat kan gebeuren door een aantal modelmatige voorbeelden te geven en door te laten oefenen op toetsvragen die op die analyse geënt zijn (en daarbij uit te leggen op welke wijze de toetsvragen ingaan op analytisch ‘verwerkte’ informatie). Daarbij kan een lijst van analytische vragen gebruikt worden, samen te stellen uit de lijst die ik verderop in deze paragraaf zal geven.
Analytisch lezen is ‘lezen wat er staat,’ zou je kunnen zeggen. En dat is niet altijd even eenvoudig.
Het analyseren van deze uitspraak kan aanleiding vormen tot het schrijven van een uitgebreid opstel. Het thema is de relatie tussen een Nederlands besluit en ontwapeningsonderhandelingen. Er wordt een oorzakelijk verband tussen beide gelegd. In dit geval is dat een kansmatig (stochastisch) verband: het staat niet vast dat er zo'n oorzakelijk verband is, maar de mogelijkheid ertoe bestaat. Het is een verband dat niet empirisch aantoonbaar is, ook niet wanneer Nederland stationering afwijst en de onderhandelingen mislukken. Dat bestempelt de uitspraak tot een uitspraak met een suggestief karakter. (Hij is van Amerikaanse functionarissen, NATO-hoofdkwartier Brussel, augustus 1981). Een wazige term in deze uitspraak is ‘succes’: de betekenis daarvan is niet duidelijk, terwijl de betekenis van de uitspraak in zijn geheel er toch van afhangt. Enzovoort, enzovoort.
Analytische vragen zijn bijvoorbeeld: Wat is het thema van deze paragraaf?; Welke argumenten voor of tegen worden aangevoerd?; Worden er voorbeelden gegeven?; Welke conclusies worden getrokken?
Analytische vragen zijn op verschillende manieren in te delen. Bij het schrijven van toetsvragen is het gebruik van een indeling in ‘bewust’ en ‘kritisch’ handig: er kan gevraagd worden of de student zich ervan bewust is dat een gelegd verband oorzakelijk van karakter is, terwijl kritische vragen bijvoorbeeld de empirische onderbouwing voor een verondersteld oorzakelijk verband betreffen.
Voor het schrijven van toetsvragen kan begonnen worden met analytische vragen te bedenken ervan uitgaande dat studenten bij de toets de beschikking over de betreffende tekst hebben. Is het niet de bedoeling dat studenten bij de toets de bijbehorende tekst als gegeven krijgen, dan kunnen de vragen later redactioneel geherformuleerd worden.
In de volgende lijst met mogelijke analytische vragen, die als niet meer dan suggestief en zeker niet als volledig moet worden gezien, is een ordening aangebracht van vragen betreffende woorden en begrippen, via vragen over relaties, naar vragen over tekstgedeelten.
Woorden
begrippen
Relaties
Tekstgedeelte (uitspraak, alinea, paragraaf, hoofdstuk, boek)
Argumentatie
In iedere discipline zijn er wel een aantal analytische vragen die voor dat vak van bijzonder belang zijn en die de student bij het doorwerken van de literatuur routinematig moet kunnen stellen en beantwoorden. Het is niet gezegd dat de analytische vragen die in uw vak van grote betekenis zijn ook in bovenstaande lijst voorkomen.
Het is aan te raden uit bovenstaande uitgebreide lijst van mogelijkheden een klein maar select aantal vraagmogelijkheden voor gebruik in de toets te kiezen. Zorg ervoor dat studenten hun literatuur dan ook met analytische vragen in het achterhoofd bestuderen. Geef ze het lijstje met de te verwachten vragen van analytische aard. Geef onderwijs in het analytisch omgaan met tekst (door daar zelf in uw college een ‘model’ van te geven, door in werkgroepen aandacht te besteden aan deze tekstanalyse). Wanneer studenten over een set analytische vragen beschikken zoals die ook op het tentamen te verwachten zijn, bevordert dat het analytisch lezen, met de daaruit resulterende betere verwerking van de stof.
Analytische toetsvragen hebben enigszins het karakter van reproduktievragen, zij het dat nu niet gevraagd wordt tekst of informatie letterlijk te reproduceren. De waarde van deze analytische vragen lijkt dan ook beperkt, maar dat is grotendeels schijn. Allereerst heeft het gebruik van analytische vragen een ‘feed-forward'’-effect op de wijze waarop de student de literatuur verwerkt en dat kan op zich al rechtvaardiging genoeg zijn. Maar er komt bij dat voor een literatuurtentamen soms niet veel meer verwacht mag worden dan het analytisch verwerken van de gegeven tekst, welnu dan kan men daar ook tevreden mee zijn. Tenslotte is er nog de mogelijkheid analytische vragen over de literatuur te combineren met vragen die inferenties betreffen; zie de volgende paragraaf.
Analysis of text has been described beautifully and very much to the point by Deanna Kuhn in the first part of her 2005 chapter 7 The skills of argument. This part of chapter 7 is original with the book, it is not based on research published elsewhere. I will choose this exposition as my frame of reference for the paragraph on analysis of text. The particular case discussed by Kuhn is an admissions test used by, amongst others, The City University of New York (CUNY), testing for argumentative skill. Regrettably, the test is used as an intelligence test, not as one testing for achievements in the skill of reasoning. That is no fault of the test itself, it is an omission in the curriculum followed by the students that have to sit this test.
Kuhn meticulously treats one concrete analysis example from this test, showing the complexity of what it is that is asked from the students sitting this test. And then this is only a test of reasoning with information given to the student, not one of reasoning with course material studied. Kuhn's work demonstrates that analytical questions on text can be very complex indeed, even in cases where content itself is kept perfectly transparent. The citation illustrates that there might be serious problems in the relation between analytical questions asked of the student in the exam, and the quality and content of the instruction or course preparing the student for the very same examination. Be careful not to err here.
Kort na de oorlog heeft Stellwag (1949) een paar aardige experimenten gedaan met tekstanalyse door eindexamenklassers van het gymnasium, gedetailleerd gerapporteerd in haar boek. Het zijn experimenten met telkens een enkele klas, maar het gaat hier niet om de aantallen deelnemende leerlingen, maar om de kwaliteiten van hun antwoorden op de (analytische) vragen over een gedurende een reeks van lessen gezamenlijk vertaalde tekst.
[Ik moet dit materiaal nog bestuderen. Waarschijnlijk moeten deze leerlingen bij hun analyse wel gebruik maken van hun wereldkennis, in zoverre zit er dus wel een vleugje synthese bij, zoals uit het onderwerp van Stellwag al af te leiden: ‘vorming.’ Ik vermoed dat er overeenkomst is tussen dit begrip ‘vorming’ en wat anderen onder tekstbegrip zouden verstaan. Stellwag gaat grondig in op de literatuur hierover, dat is dus de (ook experimentele) literatuur uit de eerste helft van de vorige eeuw.]
Omdat het hier gaat om een klassieke scholing, is er het geweldige voordeel dat deze in de directe traditie van het West-Europese onderwijs staat: dat was immers onderwijs in de Latijnse klassieken. Stellwag, zelf eveneens classica, begint haar boek dan ook met enkele historische essays over dat onderwijs, die op zich een verdienstelijk overzicht van de geschiedenis van ons onderwijs geven. Deze essays zijn niet zomaar een toegift, ze zijn functioneel in deze studie naar wat ‘vormende waarde’ zou kunnen zijn. Daarin zit de vraag naar transfer van het in deze opleiding geleerde naar toepassing in geheel andere maatschappelijke omstandigheden. Nog steeds de heilige graal van de onderwijspsychologie, of beter: van het onderwijs.
H. W. F. Stellwag (1949). De waarde der klassieke vorming. Een cultuur-historische paedagogisch-psychologische en didaktische inleiding. Groningen: Wolters.
De tekst van ‘Toetsvragen schrijven’ 1983 is een nogal zwakke uitwerking van wat het is om gevolgtrekkingen uit tekst te maken. Anno 2007 is een ‘sterke’ uitwerking mogelijk aan de hand van de recente literatuur, waarvan Deanna Kuhn (2005) over ‘onderzoekend leren’ en Randi, Grigorenko en Sternberg (2006) over wat het is om tekst te ‘begrijpen’ goede representanten zijn. Langs deze lijnen zal paragraaf 6.4 een ingrijpende opwaardering krijgen, evenals overigens de voorgaande paragraaf over analyse.
Waar het bij het lezen werkelijk op aan komt is het verbinden van de informatie in de tekst met al aanwezige kennis. Dat heet hier inferentie: het leggen van dwarsverbanden vanuit het gelezene. Het is het belangrijkste dat in het onderwijs—en daar niet alleen, natuurlijk—gebeurt. Een theoretisch kader biedt allereerst de psychologie van het begrijpen van tekst waarbij schema's een rol spelen (bijvoorbeeld Spiro, 1977; Graesser en Zwaan, 1995). De schema-benadering houdt in dat het onderwerp van de tekst, stel dat het een bezoek van een theatervoorstelling is, de bij de lezer al aanwezige kennis over theaterbezoek etcetera activeert, zodat de nieuwe informatie vanuit dat kader betekenis krijgt en onthouden kan worden. Deze manier van verwerken van nieuwe informatie in tekst is zoals mensen dat spontaan doen, tenzij daarin gehinderd omdat ze technisch moeten lezen of op een andere manier geen contact kunnen maken met de inhoud van het gelezene. Naast deze vanzelfsprekende inferenties kan de lezer het begrijpen van tekst ook actief sturen door te leren gebruik te maken van de technieken zoals door Randi, Grigorenko en Sternberg (2007) beschreven. Het werk van George Pólya over heuristieken voor het oplossen van wiskundige problemen (1945/1957) geeft in feite handreikingen om dat maken van dwarsverbindingen met al aanwezige kennis te vergemakkelijken en uit te lokken. De dwarsverbinding naar het werk van George Pólya is interessant en belangrijk, want het suggereert terecht dat probleemoplossen—in het volgende hoofdstuk behandeld—een speciale vorm is van het leggen van dwarsverbanden gegeven de informatie in een gelezen tekst of probleemstelling. Het begrijpen van en probleemstelling is hetzelfde als het begrijpen van tekst, en deze dwarsverbinding tussen probleemoplossen en tekstbegrip is een voorbeeld van een sterke inferentie die power geeft, want ineens komt belangrijk werk in het veld van probleemoplossen ook beschikbaar voor het veld van het begrijpen van tekst. Ik wil de aanduiding van een theoretisch kader beperken tot deze opmerkingen, omdat het leggen van dwarsverbanden iets is dat iedereen een leven lang al heeft gedaan, en daarom makkelijk moet herkennen in publicaties waar deze alinea naar verwijst.
In het onderwijs is het verleidelijk om de aandacht voor inferenties te beperken tot alleen die inferenties die gemeenschappelijk zijn voor alle leerlingen, omdat zij dezelfde leerstof hebben bestudeerd. Dat zou een werkelijk armzalige benadering van onderwijs zijn, en het zou er een saaie bedoening van maken. De ontwerper van toetsvragen staat dus voor een dilemma. ‘Gesloten’ vragen en antwoordmodellen gaan uit van die gemeenschappelijke inferenties, en geven een schijnzekerheid bij het beoordelen van leerlingen. ‘Open’ vormen maken het lastig om tevoren criteria voor de beoordeling aan te leggen.
Met de term ‘inferentie’ worden alle vormen van interpretatie aangeduid waarbij de letterlijke tekst ‘verrijkt’ wordt met duidingen, verbanden met andere beschikbare informatie en dergelijke. Het is duidelijk dat het maken van inferenties veelal een gegeven tekst veronderstelt. En ook dat het analyseren van tekst het maken van inferenties vergemakkelijkt en bevordert. Het verschil tussen analyse en inferentie is overigens van tamelijk triviale aard: je zou kunnen zeggen dat inferentie hetzelfde is als analyse, maar dan op de tekst samen met andere gegevens waarover we kunnen beschikken. Dat kan zowel voorkennis van inhoudelijk karakter zijn als de uitgebreide kennis-van-de-wereld die ieder als taalgebruiker tot zijn beschikking heeft. Analyse: Is de uitspraak empirisch onderbouwd; wat is de relatie tussen de gegevens en de conclusie; volgt de conclusie op geldige wijze uit de gegevens enz. Interferentie: Welke gegevens heb je nodig om de gegeven uitspraak waar te maken; zijn er uit de verstrekte gegevens ook ander conclusies te trekken; hoe verhoudt zich de gegeven informatie met andere kennis die ik heb en die relevant is enz.
De relatie tussen analyse en inferentie is bepaald nauwer dan in de tekst van 1983 aangegeven. Empirisch onderzoek van o.a. Deanna Kuhn heeft immers laten zien dat het voor leerlingen en volwassenen vrijwel onmogelijk is om gepresenteerde gegevens te analyseren los van eigen al bestaande opvattingen. In zekere zin zou het beter zijn de paragrafen analyse en inferentie om te wisselen!
Dat betekent dat het materiaal dat in 6.3 gepresenteerd is hier uitdrukkelijk bekend wordt verondersteld. Inferentie bouwt in sterke mate verder op analyse. Het betekent ook dat inferentie hier een behandeling krijgt die parallel is aan die van analyse in 6.3. Het maken van inferenties bij het lezen van tekst wordt als een min of meer vanzelfsprekende vaardigheid beschouwd, zoals het kunnen schrijven en analyseren vanzelfsprekende vaardigheden zijn (waaraan geen hoge eisen gesteld worden). Hoewel aan vaardigheid in het maken van inferenties ook in het onderwijs wel enige (zijdelingse) aandacht besteed zal moeten worden, hebben de onderwijsdoelen toch niet (in de eerste plaats) betrekking op het bijbrengen van deze vaardigheid, en heeft de toetsing niet als bedoeling deze vaardigheid vast te stellen. Vergelijk wat in de voorgaande paragraaf over het kunnen analyseren is opgemerkt.
Inferenties zijn te verdelen in ‘taalkundige’ inferenties en ‘inhoudelijke’ inferenties. De taalkundige inferenties zijn tamelijk vanzelfsprekend, vinden soms zelfs als automatisme bij het lezen al plaats. De inhoudelijke inferenties zijn van bijzonder belang voor het opnemen en onthouden van de informatie die in de tekst wordt aangeboden. Het gaat immers om de integratie van de nieuwe informatie met de al beschikbare kennis. Ook deze inhoudelijke inferenties worden vaak op vanzelfsprekende wijze al tijdens het lezen gemaakt, en dat gebeurt in sterkere mate bij het herlezen van de tekst dan bij de eerste kennismaking.
'Het ziet ernaar uit dat bij eerste lezing een tekst op een tamelijk oppervlakkig semantisch niveau wordt verwerkt, terwijl veel studenten bij het herlezen de informatie in verband brengen met een ruimere context. Dit is een ervaring die we allen wel kennen. Een tweede keer een gedicht of roman lezen, of een film zien, leidt vaak tot een nieuw begrip, waaronder ook een doordringen tot de bredere betekenis van het werk’ (Friedman en Rickards, 1981).
Het belang van inferentiële vragen, evenals dat van analytische, is tweeledig: het gebruik van dergelijke vragen heeft een ‘feed-forward’-werking op het studiegedrag, waardoor de literatuur op een meer geïntegreerde wijze verwerkt zal worden dan anders misschien het geval zou zijn, terwijl er daarnaast in het karakter van de aangeboden stof een aanleiding kan zijn om een bepaalde nadruk op inferentie te leggen. Bij de meeste literatuurtentamens zal toch wel gelden dat er in de opgegeven literatuur bepaald samenhangen te onderkennen zijn, een zekere onderlinge verbondenheid van de informatie, die de student er als zodanig ook uit moet kunnen halen. De student moet zich de instelling eigen maken om nieuw aangeboden informatie zelf in verband te brengen met kennis die hij of zij al heeft. De student kan daarmee geholpen worden wanneer hij voorgelicht wordt over en enige oefening krijgt in de aard van de interferenties waar het in deze discipline in het bijzonder om gaat. Tenslotte is het niet overal zo geregeld als in de wiskunde en in de geformaliseerde wetenschappen, waarbij studenten via het maken van talrijke opgaven in de gelegenheid gesteld worden nieuwe informatie heel expliciet te relateren aan de overige informatie waarover ze al beschikken.
Het maken van inhoudelijke inferenties zal de student in het begin niet al te gemakkelijk afgaan. Het kenmerk van onderwijs is immers dat er voortdurend informatie wordt aangeboden, die in sterke mate nieuw is voor de student en waarbij het misschien niet direct voor de hand ligt hoe deze informatie te relateren is aan wat overigens al tot het repertoire van kennis en vaardigheden van de student behoort. Dat is een geheel andere situatie dan die waarin de docent zich bevindt wanneer deze nieuwe informatie op het eigen vakgebied verwerkt: de relevante dwarsverbindingen worden snel en bijna vanzelfsprekend gelegd. De docent beschikt ook al over een uitgebreid en stevig geconsolideerd netwerk van informatie op het eigen vakgebied en juist bij zo'n netwerk is het gemakkelijk er nieuwe informatie aan vast te knopen. Van de student wordt daarentegen juist verwacht dat hij zo'n goed verbonden netwerk van kennis begint op te bouwen. Daar volgt dan ook uit dat de student ondersteund moet worden bij het maken van inferenties, daartoe gestimuleerd moet worden, en dat de docent bescheiden moet zijn in de eisen die hij op dit punt aan de studenten denkt te kunnen stellen, (Hulpmiddelen voor de student zijn: het meerdere keren doornemen van de stof met het doel deze meer geïntegreerd te verwerken, het schematiseren van de stof, het hanteren van een kleine lijst van inferentiële vragen die ‘standaard’ te stellen zijn.)
Voor het schrijven van toetsvragen kan er om te beginnen van uitgegaan worden dat de studenten de tekst ook gegeven krijgen. Is dat in feite niet het geval, dan kan in een later stadium de redactie van de geschreven vragen aan die omstandigheid worden aangepast. Ik geef hier weer een suggestieve lijst met vraagmogelijkheden, algemeen geformuleerd:
Woorden
begrippen
Relaties
Dezelfde vraagmogelijkheden als hierboven voor ‘begrippen’ genoemd. Daar werd ook al gewezen op de vraag naar andere relaties dan in de tekst genoemd, van genoemde begrippen tot niet in de tekst genoemde begrippen.
Argumentatie
Wanneer het (routinematig) maken van bepaalde inferenties in uw vak van belang is en in de onderwijsdoelen gespecificeerd is (of zou moeten worden), maak dan ten behoeve van uw onderwijs en als hulpmiddel voor de studenten een lijstje van deze belangrijke inferenties.
Zeer veel inferenties liggen dermate voor de hand dat de goede lezer, de student die voor de tweede maal zijn tekst bestudeert, er niet aan ontkomt ze spontaan te maken. Dat betreft ook dwarsverbindingen door de leerstof. Toetsvragen die op dergelijke inferenties afgaan, zijn altijd te gebruiken. Daar zit wel enig risico in, omdat nog maar moet blijken of de gevraagde inferentie inderdaad van dit ‘spontane’ karakter is. Let daar bij de controle op de kwaliteit van de toetsvragen (zie hoofdstuk 8) dan ook terdege op.
Deze paragraaf moet nog helemaal worden opgezet. Het idee is dat toetsvragen over tekst iets hebben te maken met het schrijven van tekst. De ultieme vraag over een tekst is om die op te stellen: het opstel.
Als we dan toch zo fijn bezig zijn, dan is onmiddellijk te constateren dat het componeren van een opstel (of iedere andere vorm van een werkstuk) een variant is van wat in Amerikaans jargon ill-structured problem solving heet. In tegenstelleing tot de gestructureerde op te lossen problemen, die als categorie in hoofdstuk 7 aan de orde zijn.
Antoine Braet, Rob Schoonen en Ellen Sjoer (1994). Adviezen van leerlingen, leraren en onderzoekers voor het schrijven van een goed examenopstel. Levende Talen, 528-532.
Deze paragraaf moet nog helemaal worden opgezet en uitgewerkt, want het thema kwam in de 1983-editie niet aan de orde, zoals meen ik nergens in de literatuur over toetsvragen schrijven. De overwegingen zijn de volgende:
Onderwijs staat in dienst van het beter functioneren in de samenleving, van en voor leerlingen. Slechts een fractie van dat functioneren is ‘gekwalificeerd’ in de zin dat er beheersing van specifieke kennis voor nodig is, afgezien van funderende taal- en rekenvaardigheden. Waarschijnlijk veel belangrijker is het op allerlei manieren verwerven en verwerken van allerlei informatie, ook informatie uit gebieden waarvoor in het geheel geen specifieke expertise ooit is verworven. Wat in het dagelijks leven de gewoonste zaak van de wereld is, komt als zodanig natuurlijk ook in het onderwijs zelf vaak voor. Wanneer dat onderwijs ‘training’ heet, wordt die spanning in het leren zelf binnengebracht: de trainees krijgen ingewikkelde dingen te leren, vaak zonder er de achterliggende theorie van te kennen, of te hoeven kennen.
Een concrete situatie kan duidelijk maken wat de insteek is. Lees de volgende twee artikelen, of stel u voor ze gelezen te hebben: Bart Meijer van Putten (8 juli 2006), De pijn blijft, NRC Handelsblad, p. 41; en Broer Scholtens (8 juli 2006), Zoek het geheim van de dure pillen, De Volkskrant, Kennis p. 5. De reden om deze stukken te lezen is eenvoudig dat zwaar geneesmiddelengebruik van levensbelang is en het beter is om daar over geïnformeerd te zijn, dan er onwetend over te blijven. Het probleem is: u bent niet opgeleid in geneeskunde, farmacie of onderzoekmethoden. Welke informatie valt er dan uit dergelijke artikelen halen, hoe zeker bent u van die informatie, hoe verandert die informatie de opvattingen die u voorafgaand aan het lezen van die artikelen had? Welke ‘toetsvragen’ over die artikelen zou u relevant vinden? Welke zou u er zelf over kunnen ontwerpen?
De reden om een geneeskundig onderwerp als voorbeeld te nemen, is dat voor dit gebied er veel goede voorbeelden van toetsvragen beschikbaar zijn, zij het typisch op het niveau van de student of co-assistent, bijvoorbeeld Case and Swanson (2001). Dergelijke toetsvragen liggen op een hoog niveau van expertise in het betreffende vak: de studenten hebben een ver uitgewerkte persoonlijke expertise/theorie die zij kunnen en moeten inzetten om tot goede antwoorden te komen. Zouden zij zonder die expertise te gebruiken ook wel goede antwoorden kunnen geven, dan zou dat bewijzen dat de toetsvragen niet valide zijn—weg ermee. Voor de naïeve lezer van een wetenschapsbijlage is de situatie een heel andere. Op welke manier zouden de vragen met het hoge expertise-niveau moeten veranderen zodat de naïeve lezer ze toch goed kan beantwoorden—na bestudering van het artikel, natuurlijk?
Juist voor deze lastige varianten van tekstbegrip wordt de benadering van Randi, Grigorenko en Sternberg (2005) van eminent belang. Wie als leek een voor leken bedoeld artikel over een wetenschappelijk verankerde thematiek moet proberen te begrijpen, kan immers niet op eigen expertise in die wetenschap terugvallen, maar moet op allerlei andere manieren proberen tot zingeving van die tekst te komen, de boodschap te verbinden met eigen ervaringen en bijzondere kennis. Bijzonder aardig kan juist de creatieve component hier werken: proberen nieuwe situaties of kritische vragen aan de tekst te bedenken, en hoe dat in het verhaal zou kunnen passen, om zo op te sporen wat mogelijk niet niet zo goed wordt begrepen. Laat leerlingen die zich op het eindexamen vwo voorbereiden, eens zo'n lastige tekst uit een kennisbijlage op deze manier bestuderen, gezamenlijk ook; hoe zou u vervolgens tekstbegrip gaan toetsen? En verandert dat wanneer er weliswaar veel ruimte voor persoonljke zingeving is, maar bepaalde informatie uit die tekst wel degelijk zorgvuldig volgens heldere criteria moet zijn ‘begrepen’? Bijvoorbeeld: u geeft een korte bijscholingscursus waarin stof uit een aan cursisten minder vertrouwd vak aan de orde is, en die cursus moet formeel met een toets worden afgesloten. Hoe pakt u dat aan, zodat Randi, Grigorenko en Sternberg daar tevreden over zouden zijn?
En dan wat? .... . Hier is veel werk te doen. Of zou dat aan het eind van de dag enorm mee kunnen vallen? Laat ik mijn Graesser en Black (1985), The psychology of questions, er eens bij pakken.
een algemeen theoretisch kader
Een voorlopige keuze voor een bruikbaar theoretisch kader zijn de volgende publicaties: Alexander en Judy (1988), Giere (1988).
Er is een overzichtsartikel van Alexander en Judy over domein-specifieke en strategische kennis. Dat lijkt vreemd, omdat het bij de naïeve lezer juist gaat om afwezigheid van die domein-specifieke kennis. Het punt is dat onderzoek zoals uitvoerig besproken in Alexander en Judy, juist gaat om verschillen tussen leerlingen/studenten met weinig of juist veel domeinspecifieke kennis, en met weinig of juist veel strategische kennis.
Een thematiek die hier zeker ook aan de orde is, is die van naïeve voorstellingen waarmee leerlingen aan het onderwijs, de cursus, of het lezen van deze tekst beginnen, voorstellingen die bovendien haaks staan op de boodschap in de tekst. Het punt is hier dus niet hoe weinig domeinspecifieke of strategische kennis al aanwezig is, maar welke hinderende kennis aanwezig is, en hoe doorspeelt in het begrijpen van de tekst, en het beantwoorden van vragen over die tekst. De trefwoorden hier zijn, ik houd het maar bij de Engelse termen: mental models en conceptual change. In voorgaande paragrafen en hoofdstukken zijn deze ook telkens al aan de orde geweest. Een kort artikel is hier beschikbaar.
Als het waarschijnlijk is dat er ‘hinderkennis’ aanwezig is, ligt het voor de hand ook te onderzoeken of inzichten zijn die juist kunnen helpen bij het begrijpen, verwerken en onthouden van de nieuwe informatie in de tekst. Dit idee is in de retorica en in het onderwijs natuurlijk altijd al gebruikt, dus waar het nu op aankomt is om dat misschien intensiever, slimmer, of net iets anders te doen. Ik gebruik het boek van Ronald Giere (1988) om een en ander handen en voeten te geven. Zijn uitdaging is hoe wetenschap is uit te leggen, zowel theorieën als experimenten, gebruik makend van wat de cognitieve psychologie op dit gebied de afgelopen decennia heeft verduidelijkt en ontdekt.
geen ‘tekst voor de tekst’
Als studenten ‘iets’ moeten met een opgegeven tekst, dan moet dat ‘iets’ uiteindelijk buiten die opgegeven tekst zelf liggen. In die zin moet ook het uit het hoofd leren van een tekst een betekenis buiten die tekst zelf hebben: het opzeggen van de tekst opent deuren, moet een publiek vermaken, etcetera. Het is verspilling van de tijd van de studenten om ze dingen uit een tekst te laten leren die geen meerwaarde voor ze hebben buiten deze schoolse situatie zelf.
Terug naar de teksten van Meijer van Putten en Scholtens. Kritisch bestuderen van deze artikelen moet nieuwe inzichten opleveren die bruikbaar zijn in de wereld. Op die manier is het verwerven van die inzichten dan ook te toetsen: geef nieuwe informatie, en vraag naar de betekenis ervan in relatie tot de bestudeerde tekst. Die nieuwe informatie noemen we een vignet. Maar dat is interessant, want ook bij Case en Swanson (2001) bestaat de goed ontworpen vraag uit een vignet met een vraag, in hun geval gegevens over een concrete patiënt of een uitgevoerd laboratoriumonderzoek.
Is dat vignet noodzakelijk? Ja, uit tekst verworven inzicht is die naam alleen waardig als deze bruikbaar is in andere situaties dan in de tekst zelf beschreven. Niet in alle andere situaties, tenminste in sommige nieuwe situaties.
In het Kuhniaanse paradigma, als ik dat zo mag noemen, is het dan allesbehalve vanzelfsprekend dat die nieuwe inzichten ook adequaat zijn, recht doen aan de tekst, of betrekking hebben op mogelijke nieuwe situaties. Allereerst niet omdat de leerling, gezien haar leeftijd, de nodige cognitieve vaardigheden mogelijk nog niet beheerst, of onvolledig beheerst. Een belangrijk deel van het onderzoek van Kuhn gaat over deze ontwikkelings-psychologische problematiek, in de jaren waarin de jeugd naar school gaat. Maar ook overigens kunnen de benodigde cognitieve vaardigheden onvoldoende zijn verworven, of zijn ze niet uitputtend toegepast. Ook volwassenen beschikken mogelijk niet over een ‘volwassen’ repertoire aan die vaardigheden. En sommige teksten zijn complex genoeg om uitputtende toepassing van het hele repertoire aan cognitieve vaardigheden een onbereikbaar ideaal te maken.
Concreet gaat het bijvoorbeeld om uitspraken over causale relaties in de tekst, die niet als zodanig zijn herkend omdat de lezer zelf er andere ideeën over die relaties op na houdt, of omdat op een andere plaats in de tekst gegevens staan die in strijd zijn met zo'n causale relatie. Kortom, in termen van het schema waarmee dit hoofdstuk begint: de persoonlijke theorie kan de juiste interpretatie van de tekst—de theorie achter de tekst—behoorlijk in de weg zitten. Ook de zelf-kennis van de lezer is daarom van belang, ook bij het ontwerpen van toetsvragen ‘over die tekst,’ d.w.z. vragen over hoe de lezer de opgedane inzichten gebruikt in aangeboden nieuwe situaties of op nieuwe gegevens.
Toetsvragen over naïef bestudeerde tekst zijn daarom altijd interessant voor betrokken partijen. Het zijn geen papegaai-vragen, want die reduceren het belang van de tekst tot de tekst zelf, en daar is onderwijs niet voor bedoeld. Het moet dus ook een interessante uitdaging zijn goede vragen, met passende vignetten, te ontwerpen.
De ontwerper van toetsvragen heeft hier een meta-cognitieve theorie nodig, als je dat zo mag noemen. Een theorie over analyse en inferentie over tekst. Over de juistheid van gevolgtrekkingen, maar vooral over de manieren om minder juiste conclusies (overgeneralisatie, ondergeneralisatie), onjuiste, of misschien ten onrechte helemaal geen conclusies te trekken. En dat in samenhang met de al genoemde ontwikkelingspsychologische theorie, die beschrijft hoe bepaalde manieren van het ondervragen van tekst, in relatie tot de persoonlijke theorie, voor leerlingen van bepaalde leeftjd eenvoudig buiten bereik zijn. Er zijn waarschijnlijk zelfs een oneindig aantal specifieke theorieën, passend bij bepaalde soorten informatie. Kuhn noemt causale theorieën als een van de belangrijkste. En dan theorieën over waarschijnlijkheden, over meervoudige oorzaken, over het samengaan van verschillende opvattingen, over elkaar tegensprekende wetenschappelijke theorieën of verklaringen
Niels A. Taatgen, David Huss and John R. Anderson (2006). How cognitive models can inform the design of instructions. pdf
Veronderstel nu eens dat de tekst instructies bevat die in volgorde moeten worden uitgevoerd, in het voorbeeld in de box is dat de instructie voor het zetten van thee. Dat is knap triviaal, maar een instructie voor het installeren van nieuwe software is niet wezenlijk anders, terwijl het notoir moeilijk is om dergelijke instructies in een keer goed uit te voeren. Een marsmannetje, net op aarde, zou met theezetten ook moeite hebben, makkelijk in de war raken wanneer een situatie net iets anders is dan in het rijtje is verondersteld: de ketel is al gevuld met water, bijvoorbeeld, dus wat nu? Het idee van Taatgen, Huss en Anderson—van de ACT-R research group (site)—is dat theezetten leren als rijtje minder doeltreffend is dan als een aantal stappen met omgevingscondities, de tweede serie stappen in de box. Dat onderzoeken zij hier experimenteel.
Het aardige van dit specifieke voorbeeld—daar ging het onderzoek van Taatgen e.a. niet over—is dat niet alleen het leren verandert, en het succes bij het theezetten verbetert, maar dat het voor het toetsen van de vaardigheid nu ook eenvoudig mogelijk is de tussenstappen afzonderlijk te toetsen. Immers, het theezetten moet op ieder mogelijk punt kunnen beginnen, niet noodgedwongen altijd bij de eerste stap. Als piloot een noodsituatie oplossen moet gebeuren door op de specifieke situatie aan te sluiten, niet op een of andere nulsituatie die zich helemaal niet voordoet maar waar nu eenmaal de noodinstructie mee aanvangt. Zo blijkt er toch veel meer in een ‘uit het hoofd te leren tekst’ te zitten, dan op het eerste gezicht lijkt. Maar dat vermoeden was al aanwezig.
opeenstapeling van kennis
Heel prozaïsch is het algemene mechanisme waardoor onderwijsprogramma's overladen raken met steeds meer onderwerpen, wat uiteindelijk vrijwel alle studenten dwingt tot oppervlakkig bestuderen en uit het hoofd leren van het materiaal, ten koste van het zich verwerven van de belangrijke inzichten waar het in de betreffende vakken werkelijk om gaat. Ik ben de laatste maanden veel uitspraken van ervaringsdeskundigen—niet de minsten, zoals Alfred North Whitehead, en Evert Beth—tegengekomen die dit mechanisme beschrijven en er heftige kritiek op hebben. Wie mij empirische studies kan aanreiken, graag. Ik zal vindplaatsen systematisch gaan bijhouden op pagina www.benwilbrink.nl/literature/stuffing.htm.
Het mechanisme is iedereen wel bekend: politici en andere commissie-werkes hebben altijd verlanglijstjes met onderwerpen, en zullen proberen in ieder geval hun eigen favoriete onderwerp een plekje te bezorgen. Eind 2006 is dat mechanisme in werking te zien bij een aantal ministeriële commissies, zoals de cTWO die zich over het gewenste programma voor het wiskunde-onderwijs buigt. Vanuit een andere invalshoek heeft A. D. de Groot (19966) dit mechanisme beschreven in zijn ‘Vijven en zessen,’ meer als ervaringsdekundige overigens, dan als onderwijsonderzoeker.
De analyses zijn ook wel bekend; ieder vak heeft zo zijn eigen analisten die steevast pleidooien houden om de feitenlast te verminderen ten gunste van meer aandacht voor de wezenlijke inzichten waar het in dat vak om gaat. Dat zijn nogal eens proefschriften, of inaugurele redes. Jazeker, het probleem is algemeen, van kleuterschool (steeds meer belast met leertaken in plaats van spelen) tot universiteit (wetenschappelijke kennis dijt gigantisch uit, studieprogramma's krijgen daar tikken van mee).
Voor annotaties bij de hier gegeven literatuur zie annotaties, voor meer literatuuropgaven zie meer literatuur
Patricia A. Alexander en Judith E. Judy (1988). The interaction of domain-specific and strategic knowledge in academic performance. Review of Educational Research, 58, 375-404.
Benjamin S. Bloom et aliis (Ed.) (1956). Taxonomy of educational objectives. The classification of educational goals. Book 1 Cognitive domain. David McKay.
David Bordwell (1985). Narration in the fiction film. Routledge.
Kate Cain and Jane Oakhill (2007). Children's comprehension problems in oral and written language. A cognitive perspective. The Guilford Press. [eBook KB]
p. 24
Mark A. Casteel & Greg B. Simpson (1991). Textual coherence and the development of inferential generation skills. Journal of Research in Reading, 14, 116-129. abstract. Richard C. Omanson, William H. Warren & Tom Trabasso (1978). Goals, inferences, comprehension and recall of stories by children. Discourse processes, 1, 337-354. abstract. Scott G. Paris & Barbara K. Lindauer (1976). The role of inference in children's comprehension and memory for senteces. Cognitive Psychology, 8, 217-227. abstract. Scott G. Paris & Laurence R. Upton (1976). Children's memory for inferential relationships in prose. Child Development, 47, 660-668.read online free.
Marcia A. Barnes, Maureen Dennis & Jennifer Haefele-Kalvaitis (1996). The effects of knowledge availability and knowledge accessibility on coherence and elaborative inferencing in children from six to fifteen years of age. Journal of Experimental Child Psychology, 61, 216-241. abstract
from the abstract
Eason, S. H., Goldberg, L. F., Young, K. M., Geist, M. C., & Cutting, L. E. (2012, February 13). Reader–Text Interactions: How Differential Text and Question Types Influence Cognitive Skills Needed for Reading Comprehension. Journal of Educational Psychology. Advance online publication. doi: 10.1037/a0027182 abstract [nog niet in de tekst van dit hoofdstuk ingewerkt] Frank Friedman en John P. Rickards (1981). Effect of Level, Review, and Sequence of Inserted Questions on Text Processing. Journal of Educational Psychology, 73, 427-436.
Ronald N. Giere (1988). Explaining science, a cognitive approach. London: University of Chicago Press.
Arthur C. Graesser and Rolf A. Zwaan (1995). Inference generation and the construction of situation models. In Charles A. Weaver III, Suzanne Mannes, Charles R. Fletcher and Walter Kintsch (Eds) (1995). Discourse Comprehension: Essays in Honor of Walter Kintsch (p. 117). questia.com
Arthur C. Graesser, M. Singer & T. Trabasso (1994). Constructing inferences during narrative text comprehension. Psychological Review, 101, 371-395. pdf A. D. de Groot (1966). Vijven en zessen. Groningen: WoltersNoordhoff..
Willem K. B. Hofstee (1973). Participatie kontrole door "onbenullige" toetsitems. Nederlands tijdschrift voor de Psychologie, 28, 189-198. Ook in: A. G. Vroon, & S. E. M. Everwijn (red.), Handboek voor de onderwijspraktijk, Deventer, Van Loghum Slaterus (losbladig).
Deanna Kuhn (2005). Education for thinking. Harvard University Press. excerpt
Donald Laming (2003). Marking university examinations: some lessons from psychophysics. Psychology Learning and Teaching, 3(2), 89-96. pdf
Nick de Leeuw and Michelene T.H. Chi (2003). The role of self-explanation in conceptual change learning. In G. Sinatra and P. Pintrich: Intentional Conceptual Change. Erlbaum. P 55-78. pdf
Jacqueline P. Leighton (2004). The assessment of logical reasoning. In Jacqueline P. Leighton and Robert J. Sternberg: The nature of reasoning (291-312). Cambridge University Press. abstract
Jacqueline P. Leighton and Robert J. Sternberg (Eds) (2004).The nature of reasoning. Cambridge University Press.
Jacqueline P. Leighton, Rebecca J. Gokiert and Ying Cui (2005). Investigating the Statistical and Cognitive Dimensions in Large-Scale Science Assessments: Causal and Categorical Reasoning in Science. Paper presented at the Annual Meeting of the American Educational Research Association (AERA), Montreal, Quebec, Canada (April 2005). pdf
Allen Newell (1983). The heuristic of George Polya and its relation to artificial intelligence. In Rudolf Groner, Maria Groner and Walter F. Bischof: Methods of heuristics (195-244). Erlbaum.
scan 21 Mb Een voorloper in de vorm van een artikel in 1970: pdf questia
Don Nix (1985). Notes on the efficacy of questioning. In Arthur C. Graesser and John B. Black (Eds) (1985). The psychology of questions. Hillsdale, New Jersey: Lawrence Erlbaum.
J. Pen en L. J. van Gemerden. Macro-economie. Aula 620.
George Pólya (1945/1957). How to solve it. Princeton University Press.
Judi Randi, Elena L. Grigorenko, R. J. Sternberg (2005). Revisiting Definitions of Reading Comprehension: Just What Is Reading Comprehension Anyway? In Susan E. Israel, Cathy Collins Block, Kathryn L. Bauserman, Kathryn Kinnucan-Welsch Metacognition in literacy learning : theory, assessment, instruction, and professional development. Erlbaum.
John F. Readence and David W. Moore (1983). Why questions? A historical perspective on standardized reading comprehension tests. Journal of Reading, 26, 306-313.
J. P. Rickards (1979). Adjunct questions in text: a critical review of methods and processes. Review of Educational Research, 49, 181-196.
Catherine Snow, Peg Griffin, M. Susan Burns (Eds) (2005). Knowledge to Support the Teaching of Reading: Preparing Teachers for a Changing World. Jossey Bass. isbn 9780787974657 078797465X, 336 pp. hardcover, dustjacket chapter 1 online for free
Rand J. Spiro (1977). Remembering information from text: the ‘state of schema’ approach. In Richard C. Anderson, Rand J. Spiro, and William E. Montague: Schooling and the acquisition of knowledge. Hillsdale: Lawrence Erlbaum.
Robert J. Sternberg (2003). A broad View of Intelligence The Theory of Succesful Intelligence. Consulting Psychology Journal: Practice and Research, 55, 139-154. pdf
Robert J. Sternberg (2008). Assessing what matters. Educational Leadership, 65, 20-26. html
Niels A. Taatgen, David Huss and John R. Anderson (2006). How cognitive models can inform the design of instructions. pdf Corinne Zimmerman (2005). The Development of Scientific Reasoning Skills: What Psychologists Contribute to an Understanding of Elementary Science Learning. Final Draft of a Report to the National Research Council Committee on Science Learning Kindergarten through Eighth Grade. pdf
In de eindexamens ligt tegenwoordig bedoeld of onbedoeld zwaar de nadruk op tekstbegrip, zowel bij de talen, als bij de exacte vakken. Dat is een zorgelijke situatie. Ik verzamel relevante publicaties in tekstbegrip.htm, met de bedoeling een of meer kritische analyses te publiceren in bijvoorbeeld Examens. Tijdschrift voor de Toetspraktijk.
P. van Duyvendijk, Joh. Janssen en L. van der Zweep (1934). Het pedagogisch opstel. Leidraad bij ’t maken van pedagogische opstellen voor hoofdakte-candidaten en de hoogste klassen der kweekschool. Purmerend: J. Muusses.
Duyvendijk, Janssen en Van der Zweep (1934) is een amusant boekje. De auteurs beginnen met uit te leggen wat ervoor nodig is om een goed opstel te maken, en laten dan een aantal voorbeelden zien. Vervolgens een uitgebreide serie schema's voor het opzetten van een opstel op een gegeven thema, bijvoorbeeld ‘Het streven naar losser klasverband.’ ‘De zorg voor de lichamelijke welstand der kinderen in de lagere school.’ Het is uit het boekje niet helemaal duidelijk waar de leerlingen hun informatie voor zo'n opstel vandaan moeten halen, waarschijnlijk is dat gewoon het materiaal uit de voorgeschreven en behandelde literatuur. De auteurs doen geen poging om te achterhalen wat eigenlijk de bedoeling van het opstel als examenonderdeel is, maar het materiaal overziende is het moeilijk iets anders te concluderen dan dat een gewone toets beter aan dat (niet verwoorde) doel zou beantwoorden. Opvallend is dat deze goedbedoelde poging werkelijk helemaal voorbij gaat aan de empirisch al lang gebleken tekortkomingen van het opstel als examenonderdeel, al zou pas enkele jaren later daar opnieuw door het werk van Hartog en Rhodes (1936) de aandacht op worden gevestigd. Deze auteurs denken werkelijk dat als alle studenten maar van deze goede schema-techniek gebruik maken, alles probleemloos zou kunnen verlopen.
Ph. Hartog and E. C. Rhodes (1936). The marks of examiners being a comparison of marks allotted to examination scripts by independent examiners & boards of examiners. London.
Hèt onderzoek naar beoordeling van opstellen in de eerste helft van de 20e eeuw is dat van Hartog en Rhodes (1936), dat nog steeds niet online beschikbaar is, helaas, maar in Nederlandse universiteitsbibliotheken wel te vinden. Wat kan ik er in een paar woorden over zeggen? Wel, het probleem met dit onderzoek, en in zijn kielzog eigenlijk alle andere onderzoek naar beoordeling van opstelwerk in de 20e eeuw, is dat het eigenlijk uitsluitend statistische analyse is. En daar worden we alleen maar wijzer van, als dat nog nodig was, dat iedereen het met iedereen verschrikkelijk oneens is als het om het beoordelen en vooral om het waarderen van opstelwerk gaat. Het springende punt is natuurlijk: waarom is dat eigenlijk zo, is er iets aan te doen, moeten we dat dan ook willen doen, of is het in de grond van de zaak een verkeerd gebruikmaken van deze opdrachtvorm. Ik vermoed het laatste. Het opstel is een fantastisch iets in didactisch opzicht, maar dus absoluut niet als examenwerk waarover nog eens bijna absolute oordelen geveld zouden kunnen worden. Neem het proefschrift als voorbeeld: een super-opstel, maar het staat alleen nog marginaal en ceremonieel ter beoordeling bij de promotie zelf. Zo hoort het ook, anders gebeuren er teveel ongelukken, zoals Hartog en Rhodes al overtuigend hebben laten zien. Dat wel.
Elena L. Grigorenko, Elisa Mambrino & David D. Preiss (Eds.) (2012). Writing. A mosaic of new perspectives. Psychology Press. [in KB als eBook] abstract
Jan Engelen (2014). Comprehending Texts and Pictures: Interactions Between Linguistic and Visual Processes in Children and Adults. Thesis Erasmus University, Rotterdam. open access
Gerdineke van Silfhout (2014). Fun to read or easy to understand? Establishing effective text features for educational texts on the basis of processing and comprehension research. Proefschrift Utrecht. Landelijke Onderzoekschool Taalwetenschap.
http://www.lotpublications.nl/fun-to-read-or-easy-to-understand-fun-to-read-or-easy-to-understand-establishing-effective-text-features-for-educational-texts-on-the-basis-of-processing-and-comprehension-research
Karel Lambert & William Ulrich (1980). The nature of argument. London: Macmillan. isbn 0023672803 info
Inferentie als logica; inferring conclusions from premises; What follows? 1.4 Arguments, inferences, and beliefs 30; 1.5 Inference as a legitimate ground for belief.
George W. McConkie (1977). Learning from text. Review of Research in Education, Vol. 5 (1977), pp. 3-48 access via JSTOR
Learning from Text, by Walter Kintsch. Cognition and Instruction Vol. 3, No. 2 (1986), pp. 87-108
Lynne M. Reder (1980). The role of elaboration in the comprehension and retention of prose: a critical review. Review of Educational Research, 50, 5-53. pdf scihub
from the abstract
James M. Royer, Maria S. Carlo, Robert Dufresne, Jose Mestre (1996). The assessment of levels of domain expertise while reading. Cohnition and Instruction, 14, 373-408. academia.edu
Royer, J. M., Carlo, M. S., Dufresne, R., & Mestre, J. (1996). The assessment of levels of domain expertise while reading. Cognition and Instruction, 14(3), 373–408. 10.1207/s1532690xci1403_4 abstract
http://www.benwilbrink.nl/projecten/toetsvragen.6.htm