Logica van vragen en antwoorden

Ben Wilbrink

25 juni 2009. Vandaag Leighton (2004) gelezen. Dat zet alles op deze pagina weer op zijn kop. Fantastisch. Een sleutelpublicatie op dit thema. Natuurlijk, ik kende een aantal van de thema's in Leighton natuurlijk wel, bijvoorbeeld uit Evans (1989) (o.a. over de Wason-taak). Maar het bijzondere is dat zij een en ander verbindt met een belangrijke standaard (1.8) uit de APA (1999) Standards, en dat heeft vergaande gevolgen voor bijvoorbeeld de ontwerpers van test- en toetsvragen. Bovendien beschrijft zij in feite in haar hoofdstuk een mechanisme dat er mede toe heeft geleid dat de wereld nu zucht onder de misvatting van het competentie-leren. Dat gaat zo: logica kan inhoud-vrij worden gemaakt, psychologen die onderzoek doen naar logisch redneren doen dat ook, zodat op de lange duur de indruk wordt gevestigd dat logisch redeneren niet direct met vakkennis heeft te maken. Maar dat is nonsens, moeilijk te weerleggen nonsens bovendien, omdat er maar weinig onderzoek is waarin die relatie met vakkennis wel degelijk wordt gelegd. De Groot's Denken van den schaker is zo'n onderzoek, maar dat is dan ook al meer dan zestig jaar geleden verdedigd (het is zijn proefschrift).
Ik moet deze webpagina dus nog actualiseren, Leighton (2004) gelezen hebbende. Wel heb ik al op enkele plaatsen in Toetsvragen ontwerpen deze stof ingebouwd, zoals in de hoofdstukken 6 en 8.

Logica van vragen en antwoorden is een ander onderwerp dan validiteit van toetsvragen, laat dat van meet af aan duidelijk zijn. Toch is er een sterke en heel ongemakkelijke relatie tussen beide, glashelder beschreven door Leighton (2004) aan de hand van standaard 1.8 uit de AERA/APA/NCME (1999) Standards; Leighton (2004) is een sleutelpublicatie voor het thema van deze webpagina. Logisch gezien, is het argument in de bovenstaande box valide, omdat het niet zo kan zijn dat de premissen juist zijn en tegelijk de conclusie onjuist. Het antwoord op de daar gestelde vraag is dus eenvoudig en helder: 'Ja, dit argument is valide.' Natuurlijk, ieder van de drie uitspraken in de box is vals.

Dit voorbeeld leert onmiddellijk dat een belangrijke bron van ontwerpfouten waarschijnlijk is te vinden in onuitgesproken opvattingen van de ontwerper over wat 'logisch' is bij het beantwoorden van toetsvragen. Vermenging van halfbakken logica met inhoudelijke vragen is een dodelijke mix, en voor de niet gewaarschuwde ontwerper of student waarschijnlijk heel lastig te diagnosticeren. De meest voorkomende variant is dat de ontwerper met zijn in concrete termen gestelde vraag desondanks bedoelt dat er een formeel antwoord moet komen. Een mooi voorbeeld daarvan is de volgende vraag uit de NWQ, een casus dat ook in hoofdstuk 8 van Toetsvragen ontwerpen is gebruikt.

Terug naar de spanning tussen wat logisch, respectievelijk toetstechnisch valide is. Het gaat er niet om dat impliciete logica het ontwerp van toetsvragen ernstig onderuit kan halen, maar dat de logica van vragen en antwoorden een instrument is om bepaalde kwaliteiten van ontworpen toetsvragen op voorhand te kunnen controleren. Het idee is dat toetsvragen en hun mogelijke antwoorden altijd tenminste ook in logische termen formaliseerbaar zijn, en dat wat goed of fout wordt gerekend, niet met de logica in strijd mag zijn (behoudens de door Leigton, 2004, aangegeven categorie van beperkingen). Logische consistentie, om het zo maar even te noemen, is een noodzakelijke voorwaarde voor goede toetsvragen en hun antwoorden. Het is geen voldoende voorwaarde. Verre van dat, het is immers in veel vakken zo dat er maar weinig uitspraken zijn waarvan ondubbelzinnig vast staat dat ze waar zijn, danwel onwaar. De ontwerper die daar slordig mee omspringt, zal ongemerkt uitspraken gebruiken waarvan hij of zij stilzwijgend veronderstelt dat ze waar zijn, voor het doel van de vraag, maar waarvan de student weet dat waarheid of onwaarheid ervan niet 100% is. Dat is dus een recept voor groot onheil.

Uit het bovenstaande volgt niet dat het in het dagelijsk leven problematisch is dat logisch redeneren uitgaat van premissen die waar of onwaar worden verondersteld te zijn. Het is onvermijdelijk om zo te redeneren, het gaat niet aan om een een eindeloze weg op te gaan van reduceren van onzekerheden in premissen. Absolute zekerheden bestaan er niet in dit ondermaanse, en zeker geen 'ware' wetenschappelijke theorieën die vanwege het waarheidskeurmerk de basis van ons redeneren zouden kunnen vormen. We moeten het met iets minder doen; we moeten omwille van de logica maar even aannemen dat theorie A juist is, zodat we daaruit, samen met de gegevens B tot conclusie C kunnen geraken. Het kan zijn dat dat niet gaat lukken, en dat kan er dan op wijzen dat theorie A enige aanpassing behoeft, of door theorie A' vervangen moet worden. Dat is vooruitgang. Als theorie A de naieve natuurkundige opvattingen van een leerling zijn, dan is de didactische uitdaging om die leerling van theorie A door te laten groeien naar de wetenschappelijk betere theorie A': conceptual change.

De eerste stap op de logische ladder is dan het vertalen van vragen en antwoorden van het Nederlands naar logische formalismen. Het boek dat daarbij mijn leidraad is: Belnap and Steel (1976) The logic of questions and answers. Yale University Press. Zij beloven in hun inleiding geen deductieve logica, lijken zoiets zelfs af te wijzen voor hun onderwerp, maar een op grammatica en betekenis gerichte benadering. Maar dat geeft niet, om een deductieve logica of bewijslogica op vragen en hun antwoorden toe te kunnen passen, moeten deze eerst in formeel-logische vorm worden vertaald. Voor dat laatste geven Belnap en Steel de nodige uitwerkingen en voorbeelden. Voor de bewijstheorie gaan we vervolgens verder met bijvoorbeeld Ernst Lepore (2002) Meaning and argument. An introduction to logic through language.. Blackwell Publishing. Lepore behandelt op begrijpelijke wijze de techniek van de truth tree, een razend doeltreffende variant op de truth table die vooral door de jonge Wittgenstein bekendheid heeft verkregen (in zijn Tractatus).

Belnap and Steel (1976). The logic of questions and answers.

Ik weet nog niet hoe ik dit ga aanpakken. Ik wil hier de belangrijke punten uit het boek behandelen. Mogelijk wordt het zo uitvoerig dat ik het in een apart bestand moet onderbrengen. Ik doe het in het Nederlands, omdat dat sneller is, en het mij beter in de gelegenheid stelt eigen voorbeelden te maken. Ik interpreteer meteen naar mogelijk belang voor het ontwerpen van toetsvragen. Wat samenvattend uit Belnap en Steel is, en wat interpretatie, is voor een gewaarschuwde lezer doorgaans evident.

Ik begin met een eerste ronde doorheen heel het boek, waarbij ik ga proberen de (voor mijn onderwerp) grote punten eruit te pakken. Een voorlopig lijstje begint dan zo:

1. Het gaat om het ontwikkelen van een taal waarin het mogelijk is zinvol over vragen en antwoorden te spreken. Dat is in ieder geval van het grootste belang voor de ontwerper van toetsvragen, hij of zij moet immers het ontwerp kunnen beargumenteren en communiceren. Niet iedereen kan evenwel Belnap en Steel bestuderen, dus gaat het erom op het stevige fundament van Belnap en Steel een minder streng maar onmiddellijk voor betrokkenen te begrijpen begrippenapparaat te bouwen. Daar zullen heel wat verrassende dingen in blijken te zitten, maar dat is 'logisch', nietwaar, anders zou het niet de moeite waard zijn deze weg te gaan.
2. Bijvoorbeeld is de notie van wat geldt als een direct antwoord op een gegeven vraag van enorm belang. Alles wat hier onduidelijk of dubbelzinnig is, kan terugslaan op de ontwerper omdat studenten zullen protesteren tegen de scoring, etcetera. Tegelijk is dit mogelijk een heel lastig punt, omdat het nodig kan zijn door juiste formulering van de (stam van de) vraag ondubbelzinnig vast te leggen wat als directe antwoorden zal gelden, waardoor de taalgevoeligheid van de vragen zeker niet minder zal worden.
3. Het idee van een onderscheid tussen directe antwoorden op een vraag, en antwoorden die niet direct zijn, lijkt mij tamelijk onbekend in de toetsliteratuur, misschien wel helemaal onbekend behalve bij enkele logici. Het is zeker interessant om er een korte studie aan te wijden, omdat het denkbaar is in de waardering van antwoorden onderscheid te maken naar directe maar mogelijk foute antwoorden, en niet directe antwoorden waarin mogelijk wel juiste informatie wordt gegeven maar waarin de draagwijdte van de vraag is miskend. Dit is dan het eerste voorbeeld van een nieuw begrip waarmee een zinvol onderscheid beschikbaar komt dat anders vaag zou zijn gebleven.

Nuel D. Belnap, Jr., and Thomas B. Steel, Jr. (1976). The logic of questions and answers. London: Yale University Press.

• Dit boek behandelt exact wat de titel ervan belooft: een logisch filosofische verdieping voor de kunst van het vragenstellen. Bevat een rijke bibliografie, opgedeeld in 'Logic and philosophy of language', 'Linguistics', 'Automatic question answering', & 'Psychology and pedagogy'.

• Zie ook het lemma Epistemic knowledge in de Stanford Encyclopedia of Philosophy html.

• Debra Thomas Burhans (2002). A question answering interpretation of resolution refutation. A dissertation submitted to the Faculty of the Graduate School of State University of New York at Buffalo in partial fulfillment of the requirements for the degree of Doctor of Philosophy. Een recente studie in de lijn van Belnap en Steel PostScript

Keith Stenning & Michiel van Lambalgen (2008). Human reasoning and cognitive science. MIT Press. isbn 9780262195836 [PSYCHO C6.1-281]

Evert W. Beth (1955). Semantic entailment and formal derivability. Mededelingen van de Koninklijke Nederlandse Akademie van Wetenschappen, Afdeling Letterkunde, N. R. Vol. 18, no. 13 (Amsterdam), pp. 309-342, reprinted 1961. Reprinted in Jaakko Hintikka (1969). The philosophy of mathematics (pp. 9-41). Oxford University Press.

• Evert W. Beth (1962). Formal methods. An introduction to symbolic logic and to the study of effective operations in arithmetic and logic. Reidel.
• De Nederlandse publicatie waarin de methode der semantische tableaus is uiteengezet, is het posthuum in 1969 (tweede druk) verschenen Moderne logica. Van Gorcum

Jonathan St. B. T. Evans (1989). Bias in human reasoning; causes and consequences. Hove, East Sussex: Erlbaum.

Jacquiline P. Leighton (2004). The assessment of logical reasoning. In Jacqueline P. Leighton and Robert J. Sternberg: The nature of reasoning (291-312). Cambridge University Press. sample chapter 1

Ernest Lepore (2000). Meaning and argument. An introduction to logic through language. Blackwell.

• in het bijzonder de hoofdstukken over de methode van de truth tree

John Nolt, Dennis Rohatyn and Achille Varzi (1998). Schaum's outline of theory and problems of logic. 2nd edition. Schaum's Outline Series, McGraw-Hill.

• For example, refutation trees p. 68-79.
• The book is a gold mine for the critical achievement test item designer, not because it has the rules the designer should follow—it does not—but because logical formats might match the format of particular test items. In such a case, there is available a logical handle on the quality of the test item&mash;or the lack of quality in the case that the logic involved definitely is not what the test item or the course is about..

Jonathan Barnes (2007). Truth, etc. Oxford University Press.

• Six lectures (John Locke lectures) on ancient logic (enhanced in this book). Lijkt me een buitengewoon interessant boek, omdat het worstelingen laat zien over zaken die we vandaag te makkelijk vanzelfsprekend vinden. Vermoed ik.