Het belang van tekstbegrip in eindexamens: sterk overtrokken?

A. C. Hendrix (1997). Taalkunde getoetst. De validatie van een vakonderdeel taalkunde in het schoolvak Nederlands. Een wetenschappelijke proeve op het gebied van de Letteren. Proefschrift, KUN. zie hier voor download proefschrift

Margot de Wit (2007). Waarom de docent Nederlands het schoolvak Nederlands niet verkwanseld heeft. Levende Talen doc

Eindrapport Expertgroep Doorlopende leerlijnen Rekenen en Taal. hier. samenvatting

Reactie van het Sectiebestuur Nederlands (door Margot de Wit en Patrick Rooijackers) hier

• Dit is een reactie die bestaat uit instemmende en afkeurende opmerkingen. Dat zet geen inhoudelijke zoden aan de dijk. b.w.

Helge Bonset; Martine Braaksma. Een inventarisatie van onderzoek van 1997 tot en met 2007. SLO In samenwerking met: Instituut voor de Lerarenopleiding van de Universiteit van Amsterdam, Nederlandse Taalunie, Stichting Lezen. pdf

José Noijons en Erna van Hest (2009). Het ERK en de examens leesvaardigheid. Een Europees referentiekader voor talenexamens: een utopie? Examens. Tijdschrift voor de Toetspraktijk, #3 pdf

• Figuur 1 geeft de verschillende niveaus. Die zijn allemaal geformuleerd in termen van begrijpen (onder andere). In ben dus razend benieuwd wat daar de wetenschappelijke onderbouwing van kan zijn. Het Cito is al een tijd in de slag met dit ERK, diverse publicaties.
• bv. niveau A1: Kan vertrouwde dagelijkse uitdrukkingen en basiszinnen gericht op de bevrediging van concrete behoeften begrijpen en gebruiken. Kan zichzelf aan anderen voorstellen en kan vragen stellen en beantwoorden over persoonlijke gegevens zoals waar hij/zij woont, mensen die hij/zij kent en dingen die hij/zij bezit. Kan op een simpele wijze reageren, aangenomen dat de andere persoon langzaam en duidelijk praat en bereid is om te helpen.
• bv. niveau C2: Kan vrijwel alles wat hij hoort of leest gemakkelijk begrijpen. Kan informatie die afkomstig is van verschillende gesproken en geschreven bronnen samenvatten, argumenten reconstrueren en hiervan samenhangend verslag doen. Kan zichzelf spontaan, vloeiend en precies uitdrukken en kan hierbij fijne nuances in betekenis, zelfs in complexere situaties onderscheiden.
• Kortom, tussen A1 en C2 ligt een waanzinnig breed gebied.

Jennifer G. Cromley, Lindsey E. Snyder-Hogan & Ulana A. Luwic-Dubas (2010). Reading comprehension of scientific text: A domain-specific test of the direct and inferential mediation model of reading comprehension. Journal of Educational Psychology, 102, 687-700.

Scott G.Paris, Karen K. Wixson & Annemarie S. Palincsar (1986). Instructional approaches to reading comprehension. Review of Research in Education, 13, 91-128).

• In this chapter, we consider the progressive reconceptualizations of com- prehension instructionin America duringthe past 80 years.
• Dat is interessant. Is er iets terug te vinden van de Flynn-stelling?
• This brief historical review suggests that the 1925 NSSE Yearbook has influenced the instructional agenda in reading for many years (cf., Mason, 1985). With each ensuing decade, skills became more specified and valued, instruction became more systematic and dependent upon basal materials, and learning to read became a process of skill mastery beginning with "lower order" literal comprehension and proceeding to "higher order"thinking. By the mid- 1960s, skills-based programshad come to define the goals of reading and reading instruction. As the curriculum narrowed and became more focused on learning to read instead of reading to learn, teachers became man- agers of basal readers, workbooks, small groups, and directed reading activ- ities. Doyle (1983) has characterized the classroom as a workplace, and indeed the emphasis on reading skills encouraged teachers to become man- agers of materials, records, and skills, and students to become piece-work laborers. [p. 99]
• Dat is een intrigerend zinnetje: meer leren lezen dan lezen om te leren.
• Ik zie een lijn in de beschreven ontwikkeling die inderdaad het lezen zelf psychologiseert, en abstraheert van wàt er wordt gelezen. Zie bijvoorbeeld het volgende citaat
• Reading is not a simple mechanical skill; nor is it a narrow scholastic tool. Properly cultivated, it is essentially a thoughtful process. However, to say thatreading is a "thought-getting"process is to give it too restricteda description.It shouldbe developedas a complexorganizationof patternsof highermentalprocesses.Itcanandshouldembracealltypesof thinking,evaluating, judging, imagining, reasoning, and problem-solving. (Gates, 1949, p. 3)
• The YearbookCommittee noted that a complete classification of attitudes, habits, and skills had never been made, but that a sufficient number had been distinguished by research on learning to serve as a guide to teachers. Included among the "habitsof intelligent interpretation"listed in the 1925 Yearbook were the following: concentratingattentionon the content, associating meanings with symbols, anticipating the sequence of ideas, associating ideas together accurately, recalling related experiences, recognizing the important elements of meaning, deriving meanings from context and from pictures. They also noted skills used when reading for particularpurposes such as analyzing or selecting meanings (e.g., to select importantpoints and supporting details),associatingandorganizingmeanings(e.g., to grasp the author's organization), evaluating meanings (e.g., to interpretcritically), and retaining meanings. One need only examine lists of skills in contemporary instructional programs to understand the impact that the habits presented in the 1925 Yearbook have had on reading instruction.
• Intrigerend. Hier is op zich natuurlijk de Flynn-stelling niet direct in herkenbaar, behalve dna in de vorm dat leraen meer nadruk gaan leggen op begrijpen van wat toevallig de inhoud van tekst is, dan op het onthouden van de bewust gekozen inhoud. Voor de Flynn-stelling is het ook nodig om te kijken naar de teksten die dan werden gebruikt in dat onderwisj: evolueerden die teksten van opsommingen van feitelijkheden tot beschouwingen van meer abstracte aard?

Richard L. Venezky (1986). Steps toward a modern history of American reading instruction. Review of Research in Education, 13, 129-167).

• Equally important, major differences of opinion exist on a number of topics central to this history. Among these are the causes and timing of the shift in instructional emphasis from oral to silent reading; the primary influences on reader content; the effectiveness of public school reading instruction, particularly in the 19th century; and the extent to which comprehension was taught prior to the modem era.
• Razend interessant, mogelijk ook wel voor de Flynn-stelling. Maar wat dat laatste betreft: de boeren die door Luria werden bevraagd, waren waarschijnlijk helemaal niet naar school geweest. In de negentiende eeuw was er nog niet overal sprake van leerplicht, de mate van scholing zal zich vaak niet verder hebben uitgestrekt dan tot leren lezen en schrijven in heel rudimentaire vorm, en de catechismus uit het hoofd leren, of zo. Kortom: de school was nog geen venster op de buitenwereld, waar mogelijk ook witte beren rond kunnen lopen.

John F. Readence and David W. Moore (1983). Why questions? A historical perspective on standardized reading comprehension tests. Journal of Reading, 26, 306-313.

• woordproblemen
  
  "We planted three trees in a row. The first one was nine feet tall and the last one was three feet shorter than the first one. The middle one was two feet taller than the last one. How tall was the middel one?"

  uit The Kansas Silent Reading Test. F. J. Kelly (1916). The Kansas Silent Reading Tests. Journal of Educational Psychology, 7, 63-80. Zoals geciteerd in Readence en Moore (1983).

  Interessante beschouwing over de begintijd van gestandaardiseerd testen op tekstbegrip, dat is: circa 1920 in de VS. Met voorbeelden. Drie typen vragen waren prominent: (exact) reproduceren van gelezen tekst, oplossen van woordproblemen (solving written puzzles) waaronder dus ook rekenopgaven, en vragen beantwoorden. Heel interessant dat woordproblemen hier bedoeld zijn om tekstbegrip toetsen, niet rekenen.

Leren schema’s maken Een onderzoek naar de effecten van een lessenserie ‘Schema’s maken’ voor de hoogste groep van het basisonderwijs N.A. Broer, C.A.J. Aarnoutse, F.K. Kieviet en J.F.J. van Leeuwe (2001). http://www.vorsite.nl/content/bestanden/broer_aarnoutse_etc_2001_01.pdf

Kintsch, W. & Dijk, T.A. van (1978). Toward a model of text comprehension and production. Psychological Review, 85, 363-394.

Leon, J.A. & Carretero, M. (1995). Intervention in comprehension and memory strategies: know- ledge and use of text structure. Learning and In- struction, 5, 203-220.

Michael B. W. Wolfe & Joshua M. Woodwyk (2010). Processing and memory of information presented in narrative or expository texts. British Journal of Educational Psychology, 80, 341-362.

• Een handige ingang op de literatuur: “A continuing question in comprehension research involves the extent to which readers vary their comprehension strategies under different circumstances, and what consequences these strategies have in terms of how information is remembered and used.”

Ben Wilbrink (in herziening). Toetsvragen ontwerpen bij tekst. Hoofdstuk 6 in Toetsvragen ontwerpen, herziening (in uitvoering) van 1983 Toetsvragen schrijven (Aula 809). html

Ben Wilbrink, Denny Borsboom en Michel Couzijn (2010). Spelling, grammatica en interpunctie meebeoordelen op eindexamens? Examens. Tijdschrift voor de Toetspraktijk, 7, september, 5-9. concept tekst [najaar 2011 is dit septembernummer vrij online beschikbaar op de website van het tijdschrift]

L. Melse (1987). Tekstsamenvatting als tekstbegriptoets, verslag van onderzoek. Arnhem: Cito. 75 blz. (Specialistisch bulletin Nr.61); [niet in mijn bezit] [bibliotheek POW: 88/175]

p.m. VOCL cohortonderzoek bevat toets tekstbegrip Nederlands.

Commissie-Meijerink (2007). Verslag Interviews Commissie rekenonderwijs basisschool Geïnterviewde Marisca Milikowski, De Rekencentrale en Stichting Goed Rekenonderwijs

• Vindt u handig rekenen belangrijk? Moet handig rekenen als een luxe worden beschouwd? Handig rekenen is belangrijk, maar de voorwaarden zijn dat het goed geautomatiseerd gebeurt en dat een leerling voldoende rekenintelligentie heeft. Het zou geen luxe moeten zijn, maar het werkgeheugen zou ontlast moeten worden door automatismen. Dit is zeker met minder intelligente kinderen van belang. Hier kan een parallel getrokken worden met tekstbegrip: niet iedereen kan dat leren, maar als je niet technisch kunt lezen is het helemaal niet aan te leren.

Hans Hulshof (2002). Vormen van taalkennis. Over grammatica, taalbeschouwing en taalkundige vorming in het onderwijs Nederlands. Rede. Universiteit Leiden. pdf

Amos van Gelderen (2008). Nadruk op technisch lezen is verkeerde insteek. Didaktief, 38 #9 38-39.

• "Het hardop lezen van woorden is ook een slechte gewoonte. Het is cognitief erg belastend en staat tekstbegrip in de weg. Tegelijkertijd verklanken en begrijpen wat je leest, is alleen weggelegd voor de goede lezers."
• "Leerlingen die teksten goed begrijpen, zijn dus vaak geen goede technische lezers. Ook omgekeerd geldt: goede technische lezers zijn vaak geen goede begrijpende lezers. (...) Veel oefening in technisch lezen in de laatste jaren van het basisonderwijs is daarom zinloos."
• "Ook in het voortgezet onderwijs is onderzoek ter zake gedaan. In een onderzoek dat ik samen met anderen heb uitgevoerd blijkt dat de vaardigheid in technisch lezen geen noemenswaardig aandeel heeft in het begrijpend lezen, als rekening wordt gehouden met de kennis die leerlingen hebben over strategieën voor lezen en schrijven."

J. B. Hoeksma & K. de Glopper (1990). Het oog van de meester: opstelbeoordeling door schrijvers en leerkrachten. Tijschrift voor Onderwijsresearch, 15, 153-161.

diversen

Huub van den Bergh (1987). Open en meerkeuzevragen tekstbegrip: een onderzoek naar de relatie tussen prestaties op open en meerkeuze-vragen. Tijdschrift voor Onderwijsresearch, 12, 304-313

Huub van den Bergh (1990). On the construct validity of multiple-choice items for reading comprehension. Applied Psychological Measurement, 14, 1-14.

Hilda Hacquebord (1989). Tekstbegrip van Turkse en Nederlandse leerlingen in het voortgezet onderwijs. Foris Publications.

H. Hacquebord (1997). Constructie en evaluatie van een tekstbegriptoets voor de brugklas. Een instrument voor signaleren en typeren van leesproblemen. Tijdschrift voor Onderwijsresearch, nr 2, 37-53. pdf van hele jaargang K. Bügel (1993). Sekseverschillen in tekstbegrip bij moderne talen. Proefschrift. [niet gezien]

Maarten van Gils (1977). De onbetrouwbaarheid van selektieve tekstbegriptoetsen. Pedagogiche Studiën, 54, 52-61.

• Dit is een artikel van een buitenstaander die zich vertilt aan de psychometrie. De inhoud lijkt mij echt irrelevant. Het artikel is wel interessant omdat het een helder voorbeeld kan zijn van hoe buitenstaanders zich kunnen vertillen aan de methodologie van die voor hen vreemde discipline. Zoals ook Freudenthal doet. De keerzijde daarvan is: de toetserij van het Cito raakt alle burgers, dat zijn vooral buitenstaanders, dus het Cito heeft wel een probleem om te legitimeren wat zij doet. Doet Djien Thio dat goed, in zijn reaktie?
• K. D. Thio (1977). CITO-commentaar op Van Gils’: ‘De onbetrouwbaarheid van selectieve tekstbegriptoetsen’. Pedagogiche Studiën, 54, 62-67.

H. W. F. Stellwag (1949). De waarde der klassieke vorming. Een cultuur-historische paedagogisch-psychologische en didaktische inleiding. Groningen: Wolters.

• Begint met essays ‘Cultuurhistorisch overzicht der opvoeding’ en ‘Historische ontwikkeling der Latijnse scholen in Nederland.’ Stellwag behandeld vier thema’s: De waarde der grammaticale methode. De formeel-vormende waarde der klassieken. Over denken en denk-scholing. De overdraagbaarheid der vorming (met experiment I). De culturele vorming (met experiment II).
• De experimenten zijn opdrachten tekstbegrip voor gymnasiasten zesdeklassers, zeer gedetailleerd verslagen. Alleraardigst materiaal.
• Het boek is overigens een goed gedocumenteerde studie over (het idee van) 'vorming' of 'vormende waarde' van de klassieke studie, de veronderstelde overdracht (transfer) van in de klassieke studie verkregen inzichten naar hun brede toepassing in de samenleving. Of is dit onzin? Lees het boek.

Stuart Katz, Richard L. Marsh, Christopher Johnson & Erika Pohl (2001). Answering quasi-randomized reading items without the passages on the SAT-I. Journal of Educational Psychology, 93, 772-775. pdf

• Vragen naar tekstbegrip kunnen tt op zekere hoogte ook goed worden beantwoord als de betreffende tekst onbekend is, blijkt uit onderzoek. Verschillen tussen leerlingen correleren dan hoog met hun scores op wat een volledige toets zou zijn, dus inclusief de teksten waarover vragen worden gesteld. Het onderzoek van Katz e.a. is wat technisch, en gaat niet op alle vragen en aspecten in, maar het is een goede ingang tot literatuur over dit fenomeen. Het fenomeen: de wankele validiteit van vragen naar of over tekstbegrip.

D. E. Powers & S. W. Leung (1995). Answering the new SAT Reading Comprehension Questions without the passages. Journal of Educational Measurement, 32, 105-129.

• Belooft iets aardigs: onderzoek naar de mate waarin het mogelijk is tekstbegripvragen goed te beantwoorden zonder de tekst gezien te hebben. Blijkt toch wat marginaal.
• Abstract
• Voor meer recent onderzoek zie Katz, Marsh, Johnson & Pohl 2001 pdf
• Online beschikbaar: Donald E. Powers & Susan T. Wilson (1993). Passage dependence on the new SAT Reading Comprehension Questions. College Board Report no. 93-3 ETS RR no 93-60 pdf

P. C. Meijer, N. Verloop & D. Beijaard (2000). Praktijkkennis van ervaren talendocenten. Verschillen en gemeenschappelijkheden in praktijkkennis op het gebied van tekstbegriponderwijs in de bovenbouw van het VWO Pedagogische Studiën, 77, 85- . blz. 91 (voor volgende bladzijden: URL telkens 1 ophogen)

Eason, S. H., Goldberg, L. F., Young, K. M., Geist, M. C., & Cutting, L. E. (2012, February 13). Reader–Text Interactions: How Differential Text and Question Types Influence Cognitive Skills Needed for Reading Comprehension. Journal of Educational Psychology. Advance online publication. doi: 10.1037/a0027182 abstract

Howard Wainer & David Thissen (1996). How is reliability related to the quality of test scores? What is the effect of local dependence on reliability? Educational Measurement: issues and Practices, spring, 22-29. abstract

• Dit is van belang voor analyse van tekstbegrip.htm in eindexamens, waar bij een gegeven casus meerdere vragen worden gesteld ( = local dependence).
• Sireci, S. G., Thissen, D., & Wainer, H. (1991). On the reliability of testlet-based tests. Journal of Educational Measurement, 28(3), 237-247. abstract
  We demonstrate how to calculate the reliability of a testlet-based test. We show that traditional reliabilities calculated on two reading comprehension tests constructed of four testlets are subtsantial overestimates.

• Een artikel dat wel online beschikbaar is: April L. Zenisky, Ronald K. Hambleton, and Stephen G. Sireci (2003). Effects of Local Item Dependence on the Validity of IRT Item, Test, and Ability Statistics. pdf [paper AAMC]