• thuis
• sitemap
• publicaties
• projecten
• mail

Niveautrends

Literatuuroverzicht met aantekeningen

Ben Wilbrink

Een eeuwig probleem met vergelijkingen van onderwijs over de jaren of decennia heen, is hoe eventuele verschillen in 'niveau' van afstudeerders vast te stellen. Dat is al lastig van het ene jaar op het andere, zoals voortdurende irritaties over onverwachte moeilijkheid van examenonderdelen demonstreert. Hoeveel moeilijker is het dan niet om vergelijkingen over decennia heen te maken: niet alleen veranderen de schoolvakken intussen inhoudelijk, maar er zijn vaak ook belangrijke stelselwijzigingen, de schoolpopulaties zelf veranderen, de wereld verandert, en maatschappelijke omstandigheden veranderen. Ik noem maar even de belangrijkste grote problemen. Daarnaast zijn er de strategische verschuivingen, als je dat zo mag noemen: om tal van redenen kan het voor leerlingen, leraren of scholen belangrijk zijn om zich strategisch te gedragen, wat hogere cijfers te geven aan bepaalde groepen leerlingen, leerlingen weg te houden van de afname van landelijke toetsen zoals de Citotoets, meer of juist minder leerlingen in het voorlaatste schooljaar te laten doubleren, en ga zo maar door.

Het springende punt is dan: wat valt er bij het begin van de 21e eeuw te zeggen over het eindniveau van ons onderwijs, in vergelijking met dat van een kwart eeuw, een halve eeuw, of een eeuw geleden? Welk onderzoek is daar eigenlijk over gedaan, of is dat wel gedaan? Bij gebrek aan behoorlijk gericht onderzoek, welke aanwijzingen zijn er te halen uit ander onderzoek, bijvoorbeeld de cohortstudies in eigen land, internationaal vergelijkend onderzoek zoals Pisa of Timss? Het aardige is dat in 2007 ook de Tweede kamer zich ernstig zorgen begon te maken, en de commissie Dijsselbloem instelde om niveautrends in relatie tot de grote onderwijsvernieuwingen van de laatste decennia te onderzoeken. De commissie heeft gerapporteerd, en het niveau van het huidige onderwijs in gebreke gesteld: dat wil zeggen dat de politiek de zaak behoorlijk in de soep heeft gedraaid, en dat alleen de scholen en vooral de leraren het ergste nog hebben weten te voorkomen.

caveat 1.

Het is onder het geweld van stapels onderwijsonderzoek, met grote cohorten en geavanceerde statistische bewerkingen, veel te makkelijk om te vergeten dat onderwijs weliswaar een belangrijke plaats inneemt waar het gaat om de ontwikkeling van intellectuele en andere vaardigheden van de jeugd, maar dat het slechts een kleine speler is vergeleken met de power van de neurologische ontwikkeling van de hersenen zelf, in relatie tot de dagelijkse leefwereld. Met andere woorden: de basis en de bulk van intellectuele ontwikkeling is niet aan het volgen van onderwijs te danken, of zou zonder het volgen van onderwijs ook plaatsvinden. Dat drukt ons dan met de neus op het feit dat onderwijs er juist is voor die intellectuele ontwikkelingen die niet van nature ook al plaats vinden (zoals taalontwikkeling): schrijven, lezen, rekenen, enzovoort. Jongeren hebben juist zo'n lange 'time out' van de samenleving om zich deze niet-vanzelfsprekende vaardigheden eigen te maken. Het gevaar van modieuze trends in het onderwijs is dat vaardigheden die alleen maar in onderwijs zijn te verwerven, weggedrukt worden door aandacht voor vaardigheden die ook zonder onderwijs te verwerven zouden zijn (een grote bek opzetten, etcetera).

Het gekke is dat ik bij deze caveat niet zo snel relevante literatuur kan noemen, al valt het zendingswerk dat Jelle Jolles verricht er zeker onder (psychoneurologische ontwikkeling in relatie tot wat onderwijs van jongeren vraagt site). Waarom kom ik dan op deze waarschuwing? Mogelijk dank ik dat aan Willem Hofstee, die meermalen waarschuwde dat onderwijs niet alle persoonlijke groei als verdienste van het onderwijs moet verkopen, en dat misschien maar weinig van die groei echt aan het volgen van het onderwijs is te danken en dus met een andere tijdbesteding niet zou zijn bereikt. Ook Alexander Astin heeft veel aandacht besteed aan de thematiek van wat de toegevoegde waarde van het (volgen van) onderwijs is, waarbij nadrukkelijk dus de vergelijking gemaakt zou moeten worden met de groei die zonder het volgen van (dat specifieke) onderwijs zou zijn opgetreden. Door onderwijs toegevoegde waarde is dus geen eenvoudig concept, laat staan om op dat punt vergelijkingen in de tijd of naar andere landen te maken.

caveat 2.

Houd ook altijd de schone schijn scherp in de gaten: onderwijs rekent zich makkelijk de briljante prestaties van studenten toe, maar dat is nogal eens volkomen ten onrechte. Het voorbeeld bij uitstek is Harvard University, dat aantoonbaar (onderzoek van Alexander Astin) geen bijzondere toegevoegde waarde levert aan zijn studenten, d.w.z. niet meer toevoegt dan gewone goede universiteiten zouden hebben gedaan. De verklaring is, natuurlijk, dat de scherpe toelatingsselectie die briljantie gewoon 'koopt.' Dat gaat ergens ten koste van, zeg maar ten koste van de samenleving in zijn geheel, maar dat is hier niet het punt. Als dan in de loop van de jaren zo'n selectieve drempel hoger wordt, en daarmee de prestaties van de alumni beter, is dat dus geen trend die bewijst dat het onderwijs zoveel beter is geworden. Voorbeeld hier: Berkeley University, dat vijftig jaar geleden helemaal geen selectieve toelating had, en nu een van de meest selectieve universiteiten in de VS is. Wie ernaar gaat zoeken, kan in Nederland ook wel van die voorbeelden vinden, zeker in ons voortgezet onderwijs dat één grote sorteermachine is (zie hier beneden rapportages over het VOCL cohort, waar de onderzoekers, Kuyper en van de Werf onder anderen, dit mechanisme uitstekend in de peiling hebben, als ik dat zo mag zeggen).

caveat 3.

Dat het niveau in mijn glas melk lager is dan dat in jouw glas, betekent niet dat ik minder melk in mijn beker heb (zie het voor je: mijn brede glas, jouw smalle). De maatschappelijke betekenis van het niveau van, zeg, het hoger beroepsonderwijs is natuurlijk ook sterk bepaald door de groeiende deelname eraan. Sterker nog: ook de duur van de opleiding speelt een grote rol. Er wordt van ons huidige universitaire onderwijs wel gezegd dat het kwalitatief ver achterblijft bij dat van een kwart eeuw terug, maar het is vergeleken met de situatie in Duitsland of Frankrijk werkelijk fantastisch goed wat studieduur betreft. De economische betekenis van die korte studieduur is enorm. Nu alleen nog de jongelui overtuigen dat het niet slim is hun studie te verdienen in de horeca. Let ook op verborgen mechanismen die direct bepalen wie deelneemt, of wie aan Citotoets of onderzoek deelneemt, en wie een speciale behandeling (speciaal onderwijs) krijgt of strategisch ziek is en zo in de 'gewone' groep niet meer meetelt.

caveat 4.

Het is niet vanzelfsprekend wie wat bedoeld met gebruik van de term 'niveautrend.' Dat is niet van belang ontbloot, omdat het ook niet vanzelfsprekend is wat de betekenis of de functie van onderwijs is: dat hangt er maar net van af welke belangengroep of wetenschapper er over gaat. In the theorie van het menselijk kapitaal gaat het inderdaad om de kennis etcetera die het onderwijs levert. Maar een favoriet van sociologen is de screening hypothese, dat het onderwijs als maatschappelijke zeef functioneert en de diploma's werkegevers helpen om doeltreffend hun personeel aan te nemen: selectie dus, dan is het meer een kwestie van duidelijke verschillen in niveau tussen opleidingen. Een evident geldige theorie is dat ouders en studenten via het onderwijs goede of betere maatschappelijke posities proberen te bereiken, een diploma is een als het ware een positionele ticket voor de samenleving. Dat laatste punt is voor beleid van enorm belang, want het leidt tot voortdurende druk om meer uit het onderwijs te halen dan anderen doen: hoe langer de opleiding, hoe moeilijker de opleiding, hoe selectiever de opleiding, hoe duurder de opleiding, hoe internalionaler de opleiding, des te meer dat ticket voor de ouders en de student waard is. De samenleving die dat allemaal toelaat (de Amerikaanse bijvoorbeeld) of dat betaalt (de Europese) is stapelgek. Ook vanwege dit laatste mechanisme is het een prestatie van belang geweest om de duur van het universitair onderwijs in Nederland te beperken, wat in een aantal stappen sinds 1980 is gebeurd.

caveat 5.

Het is vaak nog wel te doen om examenopgaven uit een ver verleden te vinden. Daaruit is dan door de vakleerkracht wel op te maken wat leerlingen moeten kennen en kunnen om dergelijke opgaven goed te maken. Maar dat levert op zich nog geen bevredigend antwoord op over het eindniveau van het betreffende onderwijs, allen over wat de best mogelijke prestaties van de kandidaten waren. Maar wat is de modale examenprestatie geweest? Wat was er nodig om een voldoende te halen?

Een eerste benadering zou kunnen zijn dat 55% van de van de vragen volledig goed, de overige volledig fout, een juist voldoende cijfer oplevert. Ik zou graag empirische gegevens hebben die het mogelijk maken om te beoordelen in hoeverre deze eenvoudige benadering opgaat. Ik zou, om te beginnen, eens kunnen kijken naar de hedendaagse eindexamens. Deze hebben een uitvoerige puntentelling die gekoppeld is aan strakke antwoordmodellen. Het zou me niet verbazen wanneer de eenvoudige benadering dichtbij de werkelijke aftestgrens ligt.

Waarom zou mij dat niet verbazen: de moeilijkheid van examenvragen wordt natuurlijk zo gekozen dat niet iedereen alles god maakt, of meer dan de helft alles fout. In psychometrisch geaarde literatuur is wel de aanbeveling te vinden dat de p=waarde van keuzevragen ergens rond de .7 zou moeten liggen voor een 'optimaal onderscheidend vermogen'. De psychometricus interpreteert dat onderscheidend vermogen vooral als het vermogen om verschillen tussen kandidaten te detecteren. Een meer verantwoorde interpretatie zou zijn dat het gaat om het vermogen van een examen om te onderscheiden tussen wat redelijkerwijs een onvoldoende prestatie is, en wat een voldoende prestatie. Kortom, een technische overweging bij de ontwerpers van examens en hun deeltoetsen leidt tot zoiets als 60% van de vragen (of van de te verdienen punten) is een juist voldoende niveau. Dat leerkrachten dat wel eens omkeren, en zeggen dat een voldoende niveau vanzelfsprekend ongeveer 6 van de 10 vragen goed is, is een andere zaak. Zij abstraheren ten onrechte van de moeilijkheid van de gestelde vragen. Deze opvatting kan dus tot ongelukken leiden wanneer de leerkracht zich niet meer realiseert dat gestelde vragen door de bank genomen te moeilijk, respectievelijk te makkelijk kunnen zijn om deze regel van 60% te hanteren. Dan halsstarrig vasthouden aan zo'n pseudo-absolute norm is niet geweldig productief. Vandaar dat de Cevo, die in Nederland toeziet op en verantwoordelijk is voor de eindexamens in het voortgezet onderwijs, examenuitslagen corrigeert wanneer deze een te grote uitslag vertonen. (zie Melis Melissen, in Examens, Tijdschrift voor de Toetspraktijk, 2006 meen ik: deze medewerker van het Cevo legt uit hoe deze procedure in zijn werk gaat.).

Nederland

Kees de Glopper (2008). Barbertje moet hangen. Bijna iedereen lijkt van mening dat het onderwijsniveau is gedaald. Die mening wordt echter niet gestaafd door betrouwbaar onderzoek. Didaktief, mei, 4-6. Het veel uitgebreidere volledige artikel is vrij beschikbaar op de didaktief-website: pdf

• Goedzo, Kees.
• Die betrouwbare empirische basis ontbreekt natuurlijk ook voor de stelling dat alles nu zo veel beter is. Kees begint zijn stuk met een drogreden, met de suggestie dat een mening onzinnig zou zijn omdat er geen betrouwbaar onderzoek over beschikbaar is, dat wekt geen vertrouwen.
• Kennelijk is er in de belevingswereld van velen die intensief bij het onderwijs zijn betrokken, wel degelijk sprake van een niveaudaling. Trek daarvan af dat door alle tijden heen iedereen altijd al van mening was dat het niveau van de huidige jeugd is gedaald. En corrigeeer wat mij betreft ook voor de misvatting dat vergrote onderwijsdeelname per definitie niveauverlaging inhoudt. Per saldo blijft dan dat idee van niveaudaling nog overeind. De aanwijzingen daarvoor zijn overigens legio, voor het omgekeerde zijn ze veel lastiger te vinden (kun je iets noemen? Niet in dit artikel, lijkt het).
• Het succes van het Freudenthal-Instituut betekent niet vanzelfsprekend ook dat dat instituut geweldig werk levert, daar is evenmin betrouwbaar onderzoek over beschikbaar (Hans Freudenthal was geen liefhebber van empirisch sociaal-wetenschappelijk onderzoek)
• Kees de Glopper pakt onder andere Paul van Dam aan, de oud-Cito-medewerker die de kat de bel aan heeft gebonden over dalende onderwijsniveaus die technisch gemaskeerd zijn. Op inhoudelijke punten heeft Kees grotendeels gelijk, maar ja, door nieuwe insinuaties in de arena te werpen, schiet de discussie niet echt op.
• Jammer is dat Kees het vandaag, 13 mei 2008, gepubliceerde onderzoek van het IMES (UvA pdf) niet mee heeft kunnen nemen: de tweede generatie nieuwe Nederlanders blijkt wel een behoorlijk deel hoger opgeleiden te leveren, circa 25%, maar zij hebben dat niveau gemiddeld langs jaren langere leerwegen bereikt dan strikt nodig was geweest. Wat laat dit casus dan zien: dat in feite het niveau van bijvoorbeeld ons basisonderwijs hoger is dan we dachten, of laat het juist zien dat het niveau ten koste van de leerlingen is gedaald, zodat zij dat verlies later in moeten halen?

Commissie Dijsselbloem (2008). Tijd voor onderwijs. Eindrapport. Parlementair onderzoek onderwijsvernieuwingen. kamerstuk 31007 005 en 006 pdf

• De algemene opvatting was zo'n beetje dat deze commissie verstrikt zou raken in de onoverzichtelijkheid van de problematiek, en met een weinig zeggend rapport zou komen. Daar lijkt het evenwel de eerste dag in het geheel niet op: de commissie komt buitengewoon scherp uit de hoek, trekt heldere grote lijnen, en deelt volop pek en veren uit binnen de eigen politieke kring. Toch zijn de belangrijkste conclusies van de commissie minder spectaculair dan ze in eerste instantie lijken: grosso modo is het hetzelfde politieke falen dat bij andere mega-projecten zo pijnlijk zichtbaar is. Als ik het goed heb is de laatste parlementaire commissie die dezelfde conclusies trok die van Duivesteijn geweest, over budgetoverschrijdingen en ander ongemak bij grote infrastuctuur-projecten zoals de Hogesnelheidslijn.
• Over niveautrends: de commissie signaleert dalingen van niveau in de afgelopen decennia. Nu nog de bewijzen die de commissie daarvan heeft gezien.

Lex Borghans, Rolf van der Velden, Charlotte Büchner, Johan Coenen en Christoph Meng (2008). Het meten van onderwijskwaliteit en de effecten van recente onderwijsvernieuwingen Deelonderzoek uitgevoerd door Researchcentrum voor Onderwijs en Arbeidsmarkt (ROA). Parlementair onderzoek onderwijsvernieuwingen, Commissie Dijsselbloem. kamerstuk 31007 009. pdf.

• Een studie naar ontwikkelingen in de kwaliteit van het onderwijs uitgevoerd door relatieve 'outsiders'. Het ROA is gespecialiseerd in onderzoek naar de aansluiting tussen onderwijs en arbeidsmarkt, dat is toch een iets andere tak van sport. Ik vermoed dat de keuze van de commissie voor het ROA een tactische is geweest: ook onderwijsonderzoekers hebben mogelijk stapels boter op hun hoofd, kan de commissie hebben gedacht, laten we daarom een instituut kiezen dat buiten de lijn van de onderwijsvernieuwingen van de laatste decennia is gebleven. Dat maakt dit rapport interessanter dan het anders misschien geweest zou zijn, maar er zit ook het risico van misslagen in. Ik ben benieuwd. Doorbladeren doet al snel vermoeden dat dit team van onderzoekers niet echt het fijne weet van de besproken internationale onderzoeken, of van de inhoudelijke veranderingen in het Nederlandse onderwijs in de laatste halve eeuw. b.w.

Nederland basisonderwijs

Frank van der Schoot (2008). Onderwijs op peil? Een samenvattend overzicht van 20 jaar PPON. Arnhem: Cito. pdf

• PPON is Periodiek Peilingonderzoek van het Onderwijsniveau in Nederland.
• "Hierbij beperken we ons tot jaargroep 8 voor de leer- en vormingsgebieden Nederlandse taal, rekenen/wiskunde, wereldoriëntatie en Engels"
• Het is een nuttig rapport voor een eerste introductie tot wat PPON doet en welke resultaten het oplevert, maar daarna blijft de lezer met bergen vragen zitten omdat er nergens iets concreet wordt gemaakt: alles vliegt over het klaslokaal heen, om zo te zeggen. Waar de lezer dan wel moet ijn, bijvoorbeeld om het materiaal in te zien op basis waarvan experts hun standaarden hebben aangegeven, blijft duister.

COOL^5-18 Cohort onderzoek onderwijsloopbanen onder leerlingen van 5 tot 18 jaar. NWO. html

• Dit is de voortzetting van de Prima en VOCL cohortstudies, door dezelfde uitvoerders. Een kwestie van nieuwe naambordjes, zeg maar.

http://www.cool5-18.nl/

• De officiële website van de cohortstudie 5 tot 18 jaar

W. J. Pelgrum e.a. (1983). Tweede Wiskunde Project. TH Twente afd Toegepaste Onderwijskunde.

Oort, Dr A. H. (1928). — Proeven over verstandelijke ontwikkeling op Leidsche scholen. — Leiden: Van Doesburg — Tweede druk aangevuld met nieuwe proeven en proeven in het Nederlandsche leger.

• annotaties over de rekentest die Oort ontwikkelde en afnam in een breed scala van het Leidse onderwijs, begin twintiger jaren.
• Het interessante van deze studie is dat de resultaten op dit testje uitvoerig en gedetailleerd worden gerapporteerd. Alleen jammer dat maar de helft van de vragen in dit testje zijn gepubliceerd in dit boek. Ik heb geen idee hoe ik aan de volledige test van 20 vragen kan komen.

Nederland voortgezet onderwijs

H. Kuyper en M. P. C. van der Werf (2007). De resultaten van VOCL '89, VOCL '93 en VOCL '99: Vergelijkende analyses van prestaties en rendement. Groningen: Gion. NWO projectnummer 411-20-101. pdf

• Dit is het topstuk in deze categorie niveauonderzoeken. Dat is noodzakelijk zo, het is de enige grote cohortstudie in Nederland.
• Zie in ../projecten/wiskundevwo.htm een uitgebreid citaat uit de conclusies van dit rapport, maar beter is het natuurlijk de pdf te downloaden.
• Toegegeven, dit rapport is moeilijk leesbaar, maar probeer in ieder geval de conclusies p. 90 e.v. te begrijpen.

Cevo (2006). Het niveau van de centrale examens in vwo en havo. http://www.stilus.nl/examen/x-0048.pdf

Wim Groen (2003). Vier decennia wiskundeonderwijs. NAW, 304. pdf

• Groen besprekt gedetailleerd een algebraopgave uit ieder van de eindexamens 1962, 1982 en 2002
• “Is het wiskundige niveau van de vwo-leerlingen in de afgelopen veertig jaar aanwijsbaar gedaald? In de vwo eindexamens voor wiskunde I of wiskunde B kun je tot 1998 geen aanwijzingen vinden dat het wiskundige niveau van de vragen steeds maar daalt. Wel zie je in de profielexamens tot nu toe het niveau van het gevraagde wiskundige handwerk teruglopen en problemen verschijnen die met het modelleren temaken hebben. Ik kom daar straks op terug. Van 1968 tot 1998 zijn de programma’s minder breed dan in de jaren zestig, maar wat er aan de orde kwam (de analyse, kansrekening, ruimtemeetkunde) is steeds van een behoorlijk niveau gebleven en ook voor de academische wiskundige herkenbaar als wiskunde. Wel zie je dat de opdracht “Bewijs . . .” gaandeweg minder in de examens voorkomt. Telde ik tussen 1975 en 1982 op 45 berekenvragen nog 17 bewijsvragen. Tussen 1986 en 1995 waren er op 65 berekenvragen nog maar 13 bewijsvragen.”

Van den Bergh, H., Rohde, E., en Zwarts, M. (2003). Is het ene examen het andere? Over de stabiliteit van schoolonderzoek en centraal examen. Pedagogische Studiën, 80, 176-191.

Marloes de Lange en Jaap Dronkers (2006). Hoe gelijkwaardig blijft het eindexamen tussen scholen? Discrepanties tussen de cijfers voor het schoolonderzoek en het centraal examen in het voortgezet onderwijs tussen 1998 en 2005 pdf

• Zie voor mijn aantekeningen bij dit rapport hier

Jan Bouwens, over het niveau van de eindexamenkandidaten Latijn na de invoering van de tweede fase, en de correcties van het Cevo op de eindexamenresultaten volgens een nieuwe systematiek. hier [site BON]

• In het jaar 2000 stapt de CEVO over op een nieuw systeem van normeren. De docent rekent niet langer een cijfer uit, maar telt het aantal scorepunten op een schaallengte van bijvoorbeeld 83, of 57 of 39. Het aantal scorepunten van de kandidaten wordt naar de CEVO gestuurd, die beslist welke normeringsfactor er voor de verschillende vakken wordt vastgesteld. Die zogenaamde N-factor bepaalt welk cijfer aan welke score wordt geplakt. De motivatie achter de keuze voor een bepaalde N-factor is het geheim van de CEVO. Hij kan lopen van 0,5 (als het examen opvallend goed gemaakt is) tot 1,5 (als het dramatisch slecht ging). Idealiter is hij gewoon 1.
  Het lijkt geen toeval dat dit nieuwe systeem juist in 2000, het jaar voordat de eerste leerlingen uit de tweede fase aan hun examen toe waren, werd ingevoerd. Het volgende jaar, in 2001, waren immers alle ogen gericht op onze proefkonijnen. Welke cijfers zouden leerlingen halen die in minder tijd met minder lessen meer verschillende vakken deden? Het nieuwe systeem van normeren was intussen een feit en niemand vroeg zich meer af waarom dat eigenlijk nodig was geweest. Kijk wat er toen gebeurde bij mijn vak Latijn. Dat het bij andere vakken niet anders ging, laat zich raden.
  Van de leerlingen die nog volgens het oude systeem examen deden, haalde 19 procent een onvoldoende. Een normale score. Van de tweede-faseleerlingen, die nota bene een aangepast, want gemakkelijker examenprogramma hadden dan hun collega's 'oude stijl', haalde bijna de helft (42 procent) een onvoldoende! Nu kwam de nieuwe N-factor goed van pas. De CEVO stelde voor de leerlingen 'oude stijl' de N-factor op 1 en voor de proefkonijnen op liefst 1,6. Nu had van de tweede-faseleerlingen opeens nog maar een kwart (28 procent) een onvoldoende.
  Het persbericht ging de deur uit. De kranten schreven en Het Journaal jubelde: 'Eindexamens in de tweede fase vrijwel even goed gemaakt als vroeger! Wonder gebeurd! Kinderen minder les maar even goede cijfers! Leve de minister, leve de tweede fase!'

Fred Goffree, Martinus van Hoorn en Bert Zwaneveld (Red.) (2000). Honderd jaar wiskundeonderwijs. Een jubileumboek. Leusden: Nederlandse Vereniging van Wiskundeleraren. [Met meerdere bijdragen die vergelijkingen trekken van zwaarte en niveau, maar ook van doelen en idealen: er is wel wat veranderd in het onderwijs]

D. J. Kruijtbosch (1936). Schriftelijke opgaven van het eindexamen der Hogere Burgerscholen-B met vijfjarige cursus. Wolters. Tiende druk.

• De oudste druk in de KB is van 1943, wat bijzonder spijtig is omdat er met iedere nieuwe druk bepaalde verouderde informatie is weggelaten.
• Wel in de KB beschikbaar:Normen ter vergelijking van de resultaten van de eindexamens der Hoogere Burgerscholendoor D.J. Krijtbosch, met een woord vooraf van G. Bolkestein.
• Eindexamenopgaven geven niet vanzelfsprekend prijs wat het niveau is van eindexamenkandidaten in het betreffende tijdvak. Alle beoordeling is uiteindelijk relatief, zeker in de eerste helft van de vorige eeuw waarin de wetmatigheid van Posthumus eenvoudig valt te constateren (ieder schooljaar ongeveer 25% die afvallen ....). Maar goed, met de natte vinger zou je kunnen zeggen dat de opgaven in dit boek typisch ongeveer 50% tot 60% 'goed' konden worden beantwoord door de eindexamenkandidaten.
• Het is evident mogelijk een hoog niveau te bereiken door de omvang van de stof of het aantal vakken te beperken. Dus uitgebreidheid van de examenstof moet in de rekening worden meegenomen
• Alles bij elkaar genomen, is dit boek dan een aardig doorkijkje naar wat het eindexamenniveau vanaf circa 1880 tot 1935 is geweest, want de opgevane in dit boek stammen uit die enorme periode.

Kenneth J. Travers and Ian Westbury (1989). The IEA study of mathematics I: analysis of mathematics curricula. International Studies in Educational Achievement. Oxford: Pergamon.

• Dit is grootschalig internationaal onderzoek dat met tussenpozen wordt herhaald. Ideaal om niveautrends te signaleren. Dit is de tweede studie, de eerste was van 1964. De vraag of er sprake is van een niveautrend is wat al te simpel in dit geval. Zie p. 3:
  "In the early 1960s the curriculum reform movement was just getting under way in many countries in the world. Now, curriculum reform, as it was known then, has subsided. What is the current status of mathematics education? To what extent are students receiving adequate mathematical preparation in order to function effectively in today's society? What effect have changes in the patterns and philosophies, such as the move in some systems from selective to comprehensive schooling, had on teaching and learning of mathematics? What shifts have occurred in the proportions of students enrolling in pre-university mathematics courses? What modifications in curricula to accommodate these changes have occurred? And in all of these areas of investigation, what relationships appear with respect to student attitude and achievement today as compared with those a generation ago?"
• key findings. Dat is ongeveer alles owat over dit tweede onderzoek op de website is te vinden. Hoewel recente onderzoeken volledig op de website zijn te vinden, geldt dat niet voor deze oudere publicaties. Helaas. [Omdat Kees zijnexemplaar wegdeed, heb ik het boek gelukkig wel bij de hand. Bedankt, Kees]
• T. Neville Postlethwaite and David E. Wiley (Eds) (1992). The IEA study of science II: Science achievement in twenty-three countries. International Studies in Educational Achievement. Oxford: Pergamon Press.
• John P. Keeves (Ed.) (1992). The IEA study of science III: Changes in science education and achievement: 1970 to 1984. International Studies in Educational Achievement. Pergamon Press.

Vriezen, B. W. Vriezen (1950). Wiskunde H.B.S.-B. Twintig mondelinge examens. Thieme.

• 43 blz brochure
• “In deze twintig examens is de gehele stof verwerkt. Het boekje is bestemd voor hen, die de laatste maanden de stof nog eens anders willen doorwerken dan met behulp van het leerboek; in deze mondelinge examens zitten vaak vragen, die de kandidaat dienstig kunnen zijn op het schriftelijk.”
• Zonder uitwerkingen. De onderdelen zijn telkens: algebra, trigonometrie en stereometrie

Nederland hoger onderwijs

Beekman, E. H. M. Beekman (1939?). Wiskundige opgaven v.h. propaedeutisch examen aan de T.H. (voorzien van antwoorden). De Centrale Commissie voor Studiebelangen. – 8e druk, 240 + 54 (antwoorden) blz. ingenaaid. slordig exemplaar

• Gegroepeerd naar: Analytische meetkunde van het platte vlak - Analytische meetkunde der ruimte - Beschrijvende meetkunde - SAnalyse - Differentiaalvergelijkingen
• De TU Delft heeft uitgaven vanaf 1911; de 9e druk is van 1941.

Verkaart, H. G. A. Verkaart (1929). Gids voor het examen wiskunde L.O. Noordhoff.

• 3e druk 1929. 462 blz.
• De schriftelijke opgaven van de examens van 1910 tot 1928, met alle oplossingen.
• Vragen van mondelinge examens (p. 329-460)
• Vraagstukken uit de mondelinge examens kunnen zijn besproken in het Nieuw Tijdschrift voor Wiskunde.
• Noordhoff adverteert in dit boek met: Breen: Wiskundige vraagstukken van het examen K1 - B. v.d. Lijn: Mondelinge examens wiskunde voor de hoofdacte - J. v. Mourik: Het reken-examen - Verkaart, Wijdene s& Schuh: Mondelinge examens wiskunde L.O., KI en KV - P. Wijdenes: Uitgewerkte mondelinge examens hoogere algebra - P. Wijdenes: Opgaven KI. Verzameling van de schriftelijke vraagstukken van het examen middelbaar-wiskunde KI van 1904-1917.
• TU Delft heeft: de 9e druk van dit boek, 1965, door H. Herreilers en W. A. van der Spek
• TU Delft heeft: Verkaart, Wijdenes & Schuh (1919). Mondelinge examens wiskunde, LO, K1 en K5. Problemen en oplossingen.

Internationale vergelijkingen

Pisa, etcetera.

Joachim Wuttke (2006). Fehler, Verzerrungen, Unsicherheiten in der PISA-Auswertung In: Thomas Jahnke, Wolfram Meyerhöfer: PISA & Co - Kritik eines Programms. Franzbecker Verlag, Hildesheim 2006, S. 101-154. http://www.math.uni-potsdam.de/prof/o_didaktik/pisa_debatte/Joachim%20Wuttke%20Fehler,%20Verzerrungen%20PISA.pdf [gebroken link? 1-2009]

Graham A. Jones (2005). What do studies like PISA mean to the mathematics education community? In H. L. Chick and J. L. Vincent: Proceedings of the 29th Conference of the International Group for the Psychology of Mathematics Education, Vol. 1, pp. 71-74. Melbourne: PME. pdf [pdf contains also other papers in this panel discussion, i.e. pp. 75-90.]

Antoine Bodin (2005). What does PISA really assess? What it doesn't? A French view. Joint Finnish-French Conference Teaching mathematics: beyond the PISA survey Paris 6 - 8 octobre 2005pdf

• Pisa questions analyzed

Antoine Bodin (2006). Les mathématiques face aux évaluations nationales et internationales. pdf

• Résumé L'article cherche à faire le point sur la place que les mathématiques occupent dans les études et évaluations nationales et internationales depuis les années 60 où de telles études ont été initiées. Il présente rapidement l'évolution des cadres théoriques utilisés pour ces études. Il s'intéresse surtout à la question de la validité de ces études, à la signification qu'il convient de donner aux résultats publiés et à ce que ces études peuvent apporter, en particulier aux enseignants. Il présente quelques observations que ces études permettent de faire sur l'évolution du savoir mathématique des élèves au cours des dernières années. Il pose enfin la question de la relative absence de la France dans les études internationales.

Verenigde Staten

Engeland

grade inflation in relation to selective admissions to higher education

Flynn effect: we worden collectief intelligenter, waarom is dat?

James R. Flynn ontdekte dat in alle landen waarvoor over meerdere generaties resultaten op intellentietests bekend zijn, deze een aanzienlijke toename over generaties laten zien. Het verschijnsel is het Flynn-effect genoemd, en het heeft veel aandacht getrokken omdat er geen rechtlijnige verklaringen voor zijn gevonden. Van alles en nog wat zal er aan bijdragen, zoals betere voeding, meer onderwijs, een hoger tempo van leven, meer informatie die voor iedereen beschikbaar is. Maar ook alles tesamen levert geen sluitende verklaring op. Het fenomeen is dus een goede testcase voor methoden gericht op het verklaren van niveautrends, of het vinden van niveautrends.

James R. Flynn (2007/2009). What Is Intelligence? Beyond the Flynn Effect. Cambridge University Press. Expanded paperback edition

James R. Flynn & Clancy Blair (n.d.). The history of intelligence. New specacles for developmental psychology. here p class='lit'> Jeremy E. C. Genovese (2002). Cognitive skills values by educators: Historic content analysis of testing in Ohio. Journal of Educational Research, 96, 101-114.

• Abstract: High-stakes school examinations are 1 way a society expresses the cognitive competencies it values. The author investigated changes in the relative importance society places on different types of cognitive skills using 2 data sets that were separated by almost a century. The data sets used were Ohio high school entrance examinations between 1902 and 1913 and the Ohio 9th-grade proficiency tests of the late 1990s. Content analysis revealed an inverse correlation between text characteristics reflecting culturally valued knowledge and text characteristics reflecting the complexity of relationships between facts. These results suggest that the examinations from 1902 to 1913 demanded deep declarative knowledge of culturally valued information but expected only simple interrelations between facts. The modern proficiency examinations expected examinees to understand complex interrelations between concepts but expected only superficial knowledge of culturally valued information. These findings suggest that there have been substantial changes in the cognitive skills valued by Ohio educators over the course of the 20th century.
• Wat mij doet denken: omslagen in denken, zoals door Flynn vermoed (meer wetenschappelijk, het concrete overstijgend) of door Genovese beschreven (minder declaratieve kennis, meer het vermogen om verbanden te leggen), moeten in de geschiedenis vaker zijn voorgekomen. Zie bijvoorbeeld het hoofdstuk ‘The Renaissance semantic shift’ in Richard Waswo (1987). Language & meaning in the Renaissance. (48-82 Princeton University Press.: “Dante’s normative concept of nature gives way to the descriptive concept promoted by empirical science; the Thomistic concord between reason and faith gives way to their Protestant and Baconian opposition; and the presumed congruence between the human mind and the structure of the universe (‘reality’) disappears, as Dante’s epistemological confidence gives way to the epistemological anxieties that become the central preoccupation of philosophy in the seventeenth century and after. These large conceptual shifts are the commonplaces of intellectual history.”

Stephen Curtis (). The leaving certificate in New South Wales from 1939 to 1962. pdf

• Abstract: High Stakes examinations used to gain entry to universities have been a formal process in New South Wales since University of Sydney was founded in 1850. This paper reviews mathematics examinations used for the Leaving Certificate from the beginning of World War II in 1939 to the start of the Wyndham Scheme in 1962. Relevant examination papers were analysed to identify changes that took place during this period; furthermore reasons for these changes will be discussed.

  Wiki

  Flynn, J. R. (1984). The mean IQ of Americans: massive gains 1932 to 1978. Psychological Bulletin, 95, 29-51.

  Flynn, J. R. (1987). Massive IQ gains in 14 nations: what IQ tests really measure. Psychological Bulletin, 101, 171-191.

  Flynn, J. R. (1991). Asian Americans: Achievement beyond IQ. Hillsdale, NJ: Erlbaum.

  Flynn, J. R. (1999). Searching for justice: The discovery of IQ gains over time. American Psychologist, 54, 5-20.

  Ulrich Neisser (Ed.) (1998). The rising curve. Washington, DC: American Psychological Association. J. Philippe Rushton (1999). Secular gains in IQ not related to the g factor and inbreeding depression—unlike Black-White differences: A reply to Flynn. Personality and Individual Differences, 26, 381-389 pfd

  • Een gevaarlijk thema

  
  Jeremy E. C. Genovese (2002). Cognitive skills valued by educators: Historical content analysis of testing in Ohio. The Journal of Educational Research, 96, 101-114. [ik heb dit artikel nog niet in zijn geheel kunnen zien. 1e pagina]

  • abstract High-stakes school examinations are 1 way a society expresses the cognitive competencies it values. The author investigated changes in the relative importance society places on different types of cognitive skills using 2 data sets that were separated by almost a century. The data sets used were Ohio high school entrance examinations between 1902 and 1913 and the Ohio 9th-grade proficiency tests of the late 1990s. Content analysis revealed an inverse correlation between text characteristics reflecting culturally valued knowledge and text characteristics reflecting the complexity of relationships between facts. These results suggest that the examinations from 1902 to 1913 demanded deep declarative knowledge of culturally valued information but expected only simple interrelations between facts. The modern proficiency examinations expected examinees to understand complex interrelations between concepts but expected only superficial knowledge of culturally valued information. These findings suggest that there have been substantial changes in the cognitive skills valued by Ohio educators over the course of the 20th century.

  Stephen Curtis (2006). The leaving certificate in New South Wales from 1939 to 1962. pdf

  Groeiende deelname

  
  Een bijzonder belangrijke niveautrend die niet onmiddellijk als zodanig herkenbaar is: groeiende deelname aan onderwijs. Veronderstel eens dat eindniveaus van basisonderwijs etcetera ongeveer gelijk blijven gedurende meerdere decennia, en dat gedurende die periode steeds grotere delen van de in aanmerking gekomende jeugd aan dat onderwijs deelnemen, of het afmaken.

  Ben Wilbrink en Jaap Dronkers (1993). Dilemma's bij de groei van de deelname aan hoger onderwijs. Zoetermeer: reeks Achtergrondstudies van het Ministerie van Onderwijs en Wetenschappen. ('s-Gravenhage: DOP) html

  
  

  Opleidingsniveau ouders

  
  De gedachte is dat een gemiddelde stijging van het opleidingsniveau van ouders leidt tot grotere deelname aan onderwijs of betere resultaten van onderwijs. Met deze gedachte zijn twee ernstige problemen: 1) een hoger opleidingsniveau van de ouders leidt tot een hogere kwaliteit van de thuisomgeving voorzover het gaat om schoolse kwaliteiten, maar er zit een erfelijkheidscomponent in deze trend: het is een mix van nature en nurture; voorzover het nature is, is er gemiddeld geen sprake van stijging (denk daar even over na); 2) wanneer er om dit soort reden een trend zou zijn dat de binnenkomende schoolpopulatie beter voor onderwijs is gekwalificeerd, zal dat waarschijnlijk niet een doorvertaling krijgen naar een gemiddelde stijging van schoolcijfers. Het laatste effect heeft in eigen land de naam 'de wetmatigheid van Posthumus' gekregen.

  K. Posthumus (1940). Middelbaar onderwijs en schifting De Gids, 1940, 104, 24-42.

  Jaap Dronkers en Manon de Heus (13 februari 2008). Basisscholen zijn er wel op achteruitgegaan. De Volkskrant, p. 11.

  • De auteurs reageren op de mededeling van het Cito (8 februari in deze krant) dat over de afgelopen 25 jaar de kwaliteit van het basisonderwijs gelijk is gebleven. Zij doen dat door aan te komen met gegevens over een periode van vijf jaar, zonder uit te leggen waarom je dat zou mogen doortrekken naar 25 jaar (niet, dus, maar Dronkers en De heus doen dat wel).

  Erik van Schooten & Kees de Glopper (z.d.). Dalende leerlingprestaties op de centraal schriftelijke examens Duits, Engels en Frans in mavo, havo en vwo? SCO Kohnstamm Instituut pdf Mogelijk identiek in Paedagogische Studiën, 2002, 79, 5-17.

  • Samenvatting 
Onlangs rapporteerde het Cito op grond van haar equivaleringsprocedure dalende trends in de prestaties voor de centraal schriftelijke examens Duits mavo-D, Frans mavo-D, Duits havo, Frans havo, Engels vwo en Frans vwo. In een studie die oorspronkelijk was bedoeld om deze dalende trends te verklaren, is een replicatie verricht van het equivaleringsonderzoek van het Cito. In het onderzoek werden de door het Cito gerapporteerde dalende trends niet gerepliceerd. De onderzoeksresultaten geven aanleiding tot twijfel aan de bruikbaarheid van de centraal schriftelijke examens moderne vreemde talen voor kwaliteitsbewaking op systeemniveau.

  Ron Oostdam, Erik van Schooten en Ineke van der Veen en Peter Sleegers (15 februari 2008). Basisscholen zijn er juist op vooruitgegaan. De Volkskrant, p. 14.

  • De auteurs wijzen erop dat Dronkers en De Heus hun uitspraken over dalend niveau op een niet-representatieve dataset uit de PRIMA-cohortstudie baseren. Zij geven zelf de juiste de data voor de toets begrijpend lezen, en laten zien dat over de jaren 1999 tot 2004 de gemiddelde score voor een wel representatieve groep leerlingen gelijk is, althans: ze zeggen dat het gelijk is wanneer er gecorrigeerd is voor die stijging van opleidingsniveau. Hoe die correctie in zijn werk gaat, vermeldt het artikel niet. Dat is natuurlijk wel de crux de zaak.
  • De auteurs overwegen verder dat 'het percentage leerlingen dat een vorm van remedi¶euml;rende hulp nodig heeft' over die jaren heen significant is gestegen, wat moet betekenen dat ondanks die handicap de prestaties gemiddeld op niveau zijn gebleven. Niet vermeld: 'significant gestegen' jwael, maar hoe substantieel is dat?
  • Ook gaan de auteurs niet in de beperking in deze dataset tot de periode 1999-2004, wat heel kort is, en niet echt betrekking heeft op de tijdsspanne waar de commissie Dijsselbleom over spreekt.

  
  

  Groeiende complexiteit in de samenleving

  
  Op meerdere manieren zijn er ingrijpende veranderingen in de samenleving, zoals toenemende bureaucratische regelgeving, meer marktwerking waar voorheen belangen collectief werden behartigd, en invloed van mobiele telefonie en het internet. Deze ontwikkelingen kunnen overigens heel verschillende effecten hebben. Veel functies waarvoor vroeger eenvoudige scholing voldeed, stellen nu veel hogere eisen. Maar ook veel werk waar vroeger een behoorlijke technische scholing voor nodig was, verdwijnt door automatisering en computerisering. Het is een al eeuwenlang bekend verschijnsel dat automatisering vaak kan leiden tot het ontstaan van een beperkt aantal hoog-gekwalificeerde beroepen, terwijl vele laag geschoolden hun werk zien verdwijnen omdat die functies voor ongeschoolden geschikt worden.

  P. Naville (1961). L'Automation et le travail humain. Rapport de l'enquête (France 1957-1959). Paris: Centre National de la Recherche Scientifique.

  
  

  Veranderende inhouden

  
  Een autonome trend in onderwijsinhouden is dat er steeds bijkomt, en er weinig afgaat. Het resultaat is dat vakken overladen raken met trivia. Inert matter heeft Alfred North Whitehead dat wel eens genoemd, en hij doelde op de massa's overbodigheid in wiskundeprogramma's. Ik heb een aparte verzamelpagina voor dit onderwerp, het overladen van onderwijs: stuffing.htm. Interessant is wat onderzoek over de achterliggende mechanismen leert. Maar eigenlijk volstaat de eigen waarneming ook wel: al die commissies die zich met vakken in het onderwijs bezighouden plegen te bestaan uit docenten en hoogleraren op het betreffende vakgebied, mensen die heerlijk bevlogen zijn maar misschien te weinig afstand kunnen nemen en mogelijk geneigd zijn om de vervulling van de talrijke wensen ponds-ponds-gewijs eerlijk te verdelen.

  
  Interessanter zijn grote inhoudelijke verschuivingen. Een schitterend casus is dat van het wiskunde-onderwijs in de negentiende eeuw in Engeland, zoals onderzocht en beschreven door Richards (1988) (quotations and annotations: http://www.benwilbrink.nl/literature/richards.1988.htm).

  Joan L. Richards (1988). Mathematical visions. The pursuit of geometry in Victorian England. Academic Press.

  
  

  Competitie om schaarse plaatsen

  
  Niet alle verbeteringen van prestaties zijn maatschappelijk gewenst. Overal waar sprake is van verdeling van schaarse plaatsen via schoolse prestaties, is te zien hoe dat leidt tot steeds betere prestaties op steeds trivialer inhouden. Japan en Korea zijn treurige hedendaagse voorbeelden. Het Amerikaanse onderwijs is ernstig door dit verschijnsel bedreigd. Een fraai historisch voorbeeld is dat van de Mathematical Tripos, het examen dat alle studenten in Cambridge hadden af te leggen na drie jaar studie: waanzinnig competitief voor degenen die dit examen nodig hadden om een maatschappelijke positie te veroveren. Zie mijn (1987) html voor een overzicht en literatuur.

  Ben Wilbrink (1997). Assessment in historical perspective. Studies in Educational Evaluation, 23, 31-48. html

  
  

  ---

  
  

  Links

  
  

  
  

  ---

  18 juli 2010 \ contact ben apenstaartje benwilbrink.nl   freelance advies ontwikkeling onderzoek

  ---

        http://www.benwilbrink.nl/literature/niveautrends.htm

  ---