• thuis
• sitemap
• publicaties
• projecten
• mail

The competence concept

Annotations

Ben Wilbrink

Yes, the competency movement spread from Australia all over the Western world. In the Netherlands, for example, the ideology is exactly the same: a more flexible labor force, sold on labor by the global economy scare.

The use of the concept of competencies in educational contexts, at least in the nineties of the last century and the beginnen of the 21st one, is, more often than not, connected with that of the assessment center (AC) method of personnel selection. A strange combination if ever there was one, be warned. Now the problem is, in the Netherlands and probably everywhere else in the Western world, there is a busy AC-industry of consultants and psychologists, interested in making an easy buck, and less interested in showing the validity of the AC methods they sell. Such a state of affairs does remind one of that of psychologist and educational researchers in the first half of the last century, selling standardized tests to local school authorities in the US (Ellen Condliffe Lagemann (2000). An Elusive Science: The Troubling History of Education Research. University of Chicago Press.). The point is, the same consultants have been training the managers who now are running our schools; they have been sold on the AC and competencies concept. If I am not mistaken, a host of employees trained in general education ('onderwijskundigen' in the Netherlands) lend themselves way too easy to execute these managerial policies. This much might be OK if those new old concepts really would contribute to the quality of the educational undertaking. Such however is not the case. The compentence concept and its accompanying belief in ACs is not evidence-based at all. On the contrary, there is an abundance of evidence that these concepts do not have a proper footing in science, be it psychological testing, sociological research on the relation between education and the labor market (vocational qualifications), or educational research on what it takes to get a proper (vocational) education.

This much is the basis on which I will evaluate some items from the literature on competencies in education. Have a good time, and let me know any items or information that might serve the cause of debunking the cause of the compentencionados. Oh yes, there are exceptions, of course. I will surely use exemplary research on the validation of AC's as counterexamples. There will be cases also of enthousiast innovators choosing the wrong philosophy and nevertheless succeeding in their innovations. Let me know those cases.

Indeed, the compentency concept was used in the seventies in the context of criterion referenced testing, and especially that of minimal competency testing. I will mention some of this literature also, while trying to indicate in what manner the old use differs from the one.

My harsh judgment of the competency movement is rooted in - also my own - research in the links between education and the labor market, admissions as well as pesonnel testing, and educational measurement. See the sitemap for published research in the rubrics of selection, and labor market. Most of it is in Dutch. In my annotations I will try to relate them to results from this research, I will cite them in English.

Voor een (Amerikaanse) opsomming van modegrillen in het onderwijs, en de enorme kosten die zij tot gevolg hebben gehad, zie hier [site BON]

Dutch literature

I will annotate the Dutch literature in Dutch.

Nog even kort mijn insteek. Ik heb vergaand brutale kritiek op de beweging van competentie-gericht onderwijs. Dat is op zich behoorlijk uniek: een hele stroming onder de slopershamer, niet alleen een slip of the pen van een bepaalde auteur. Ik ga daarbij niet over een nacht ijs, maar baseer me op wat er aan wetenschappelijk verantwoorde inzichten beschikbaar zijn vanuit selectiepsychologie, psychometrie, methodologie, onderwijspsychologie, onderwijsgeschiedenis, onderwijswetgeving, en arbeidsmarktonderzoek. Het probleem is een beetje dat het om zulke basale zaken gaat, dat vaak geen haar op mijn hoofd eraan denkt dan ook nog vindplaatsen te noemen. Ik zal proberen dat goed te maken door waar mogelijk in ieder geval wel te verwijzen naar resultaten uit eigen werk/onderzoek, al was het alleen maar om te laten zien dat de scherpe kritiek niet zomaar uit de lucht komt komt vallen, maar in eigen werk zichtbaar is al lang voordat er van een competentie-beweging sprake is.

Deze pagina is begonnen met een citaat uit Wilson over de politieke achtergrond van de competentie-beweging. In Nederland heeft Klarus een zeer uitvoerig proefschrift over competenties verdedigd, waarin de Australië-connectie ook wel voorkomt (Dercksen,W. (1994). Australië hervormt zijn beroepsonderwijs. Tijdschrift voor Politieke Economie, 16, 53-72. ), in ieder geval eenzelfde verband als door Wilson genoemd. Op p. 38 schrijft hij: "Behalve van nieuwe opvattingen over organisatievormen is er in toenemende mate sprake van managementstrategieën gericht op risicoreductie voor ondernemingen," verwijzend naar Beck (1986) en Nijhof en Streumer (1994). Onder verwijzing naar Rauner (1995) geeft Klarus het maatschappelijke conflict aan (p. 38): "Rauner concludeert vervolgens dat de belangenbehartiging van werknemers gebaat is bij de vaststelling op bovenindividueel niveau van vereiste kwalificaties en daarmee bij de handhaving van het beroepsbegrip." Klarus gaat vervolgens nog stevig door op dit thema, daarmee toch wel ondubbelzinnig de politieke beladenheid van de competentie-beweging onder woorden brengend. p. 38:"In deze managementbenadering worden, aldus Dugué en Maillebouis (1994) centrale en collectieve loononderhandelingen vervolgens afgedaan als rigide en bureaucratisch. Het individu moet zelf met behulp van brede, flexibele persoonseigenschappen de structurele onzekerheid ÔoplossenÕ." Het is mij nog niet duidelijk welke positie Klarus hier zelf in kiest, maar aan zijn daden te beoordelen verzet hij zich niet tegen deze ontwikkeling, en gaat er zelfs in mee door praktische kaders en wat niet al te ontwikkelen. Dat wordt hem dan makkelijk gemaakt door een 80-er jaren ontwikkeling o.a. vanuit het SCO-Kohnstamm Instituut (wijlen Peter van den Dool, Jeroen Onstenk) waarin deze beroepsmatige competenties in de Nederlandse context zijn vormgegeven en onderzocht (zie het proefschrift van Onstenk).

Iedere tak van sport en van wetenschap heeft zo zijn eigen jargon, spelregels die ondubbelzinnig zijn, theoretische termen waarvan de betekenis is verankerd in empirisch onderzoek. Het taalgebruik van en rond competenties mist zo'n kader, het is verweesd jargon. Vanouds heeft de psychologie iets te zeggen over de zaken en verbanden waar de competentie-beweging iets mee zegt te hebben. Natuurlijk heeft geen enkele wetenschap het monopolie over wat dan ook, maar het wordt toch wel verdraaid lastig wanneer een massale beweging bezig is psychologische wielen opnieuw uit te vinden, en zich daarvan in hoge mate niet bewust is. Daar zijn uitzonderingen op, natuurlijk: als in de Amerikaanse literatuur Robert Sternberg boeken redigeert die ook over competenties gaan, dan zijn die in vergelijking tot het roekeloze Nederlandse taalgebruik waanzinnig scherp omschreven, en zo kunnen we ook van bijvoorbeeld Marianne Elshout verwachten dat zij werkt vanuit een degelijke psychologische basis. Maar dan hebben we de gunstige uitzonderingen ook wel ongeveer gehad. Ik zal bij de annotaties dan ook routinematig aandacht schenken aan absurde definities en omschrijvingen van wat competenties zijn. In een aantal gevallen is alleen al uit het dubbelzinnige Nederlands duidelijk dat het om onzin gaat, ineen aantal andere gevallen lijkt het robuust maar ontbreekt iedere verantwoorde theoretische inkadering, en dan weet je nog niet wat je eraan hebt. Wees gewaarschuwd.

Wie zich stoort aan mijn kritiek: laat dat weten, geef commentaar, mijn emailadres onderaan deze pagina.

Cathalijne Boland (20 april 2007). Op zoek naar Het Nieuwe Leren. Ad Verbrugge in debat met Wynand Wijnen. Intermediair html

• Een aardig open gesprek tussen de initiator van Maastricht's ProbleemGestuurd Onderwijs (PGO), vaak op een lijn gezet met competengericht onderwijs en HNL, en de aanvoerder van de tegenpartij van HNL. Net te kort voor een innige omarming. Het debat laat wel zien dat er ruimte is voor het opruimen van misverstanden over en weer, zeker ook aan de kant van BON over de recente onderwijsgeschiedenis van Nederland.

Wim Sterken (27 februari 2007). Interview in de ochtenden html van Chris Kijne met Wim Sterken, over het nieuwe leren, lees: competentiegericht leren. Chris Kijne is in zijn werk bij de lerarenopleiding intensief geconfronteerd met competentiegericht beleid, om het zo maar even te noemen. Hij geeft een verdraaid helder interview af over de problematische kanten van deze denkwijze. Ik noem de kernpunten uit zijn weergave. Om te beginnen: wat 'competenties' zijn is vaag, iedereen heeft ongeveer zijn eigen opvattingen daarover, dat helpt dus niet geweldig om goed onderwijs te ontwerpen. Wat in de praktijk gebeurt: niet de competenties van de werkplek worden onderzocht en vertaald naar het onderwijs, maar competenties zijn een eigen onderwijskundige werkelijkheid gaan vormen. Als arbeidsmarktonderzoeker herken ik dat laatste wel. Wat weinigen in het veld of de politiek zich realiseren, is dat aandacht geven aan competenties natuurlijk prachtig is, wie wil dat niet, maar het betekent wel dat je die tijd van andere zaken afhaalt. Kijk, dit punt van Sterken is precies de oude misvatting over stages in het onderwijs: iedereen vindt stages prachtig en nuttig, maar ze gaan ten koste van inhoudelijk onderwijs, en bij een echte afweging schiet de balans wel degelijk door naar dat inhoudelijk onderwijs: dat moet zwaarder wegen. Waarom is dat zo? Sterken benadrukt nog eens, en dat kan nooit genoeg gebeuren, dat veel van die competenties een soort vaardigheden betreffen die mensen, eenmaal in het beroep, toch al binnen een paar weken of maanden leren. Waar ben je dan mee bezig wanneer je vierjarige programma's maakt waarin diezelfde vaardigheden hoog op de lijst staan. Sterken maakt het argument dan fraai af door bovendien te wijzen op de levenservaring en -wijsheid die leerlingen toch al opdoen in de tijd dat ze vier jaar ouder worden, ongeacht wat er in het onderwijs gebeurt. Uit eigen onderzoek wil ik er nog wel aan toevoegen dat nogal wat onderzoekers die niet goed zijn ingevoerd in arbeidsmartkonderzoek, maar wel opdracht krijgen om dat onderzoek te doen, lijden aan de misvatting dat wat werkgevers aangeven als belangrijke vaardigheden, 'dus' ook als zodanig in de beroepsopleiding onderwezen zouden moeten worden. Dat volgt natuurlijk helemaal niet. Integendeel: voor werkgevers hebben de beroepskwalificaties absolute prioriteit, totdat ze voor de vervulling van hun vacatures kunnen kiezen uit meer of minder goed gebekte kandidaten. Het onderwijs moet dus niet opleiden tot goedgebektheid. Waarom is Sterken in zijn lerarenopleiding dan toch druk bezig met dat competentiegerichte? Wel, er is enorm veel beleid, het MBO moet binnen de kortste keren competentiegericht zijn, wet- en regelgeving loopt al over van 'competentiegericht leren.' Niemand kan er dus omheen, de lerarenopleider moet er de leraren op toerusten. Wat uiteindelijk in het onderwijs met die competentiegerichte dognatiek gaat gebeuren is dan door een blind paard te voorspellen: de wal gaat het schip keren, maar helaas wel ten koste van een generate leerlingen. Zo formuleert Sterken het niet, moet ik toegeven, maar hij heeft wel een prachtig cabaratesk nummer gemaakt - op YouTube te bekijken (deel 1, deel 2) -, en gepresenteerd op de BON-dag januari jongstleden. Dank, Wim, voor dit sterke interview.

Ik vermoed dat er heel veel onderzoek is gedaan naar effecten van training op wat tegenwoordig ‘competenties’ heten, met vaak als resultaat dat de verwachte effecten uitblijven. De eerste kennismaking daarmee, die ik mij herinner, is het promotieonderzoek van Ed Klip in de zestiger jaren naar de veronderstelde positieve effecten van studiebegeleiding aan de (destijds) Technische Hogeschool Eindhoven. Studiebegeleiding is in het hedendaagse competentie-jargon te zien als onderwijs in een competentie. Die positieve effecten bleken er niet te zijn. De voorlichting komt pas over wanneer studenten al hebben ervaren dat het anders is gelopen dan ze verwachtten. [Overigens meende Klip dat zo'n 10% van de onafhankelijke factoren in zijn onderzoek een statistische significant effect lieten zien op 10% niveau, maar hadden hij en zijn begeleiders over het hoofd gezien dat dat dus een toevalsresultaat is. Ik vermeld dit laatste ook maar, omdat het laat zien dat het noodzakelijk is om onderzoek altijd kritisch te beoordelen, en dubbel zo als het om vage competenties gaat.]

De Nederlandse misvattingen over competenties zijn soms gerelateerd aan de beweging voor 'het nieuwe leren', zie hier. Voorzover dat het geval is, ligt ook het gevaar van pseudo-wetenschappelijkheid op de loer (zie bijv. hoofdstuk 9 in Paul Thagard (1988). Computational philosophy of science. MIT Press.

Klarus gaat niet echt in op wat er bij personeelsselectie gebeurt. Maar zijn geciteerde formulering doet vermoeden dat hier pittige problemen liggen. Breng dit eens in verbinding met het eerder in een box gegeven citaat van Wilson (1998), dat de competentie-beweging een vanuit management-gremia begonnen beweging is, zonder een basis in wat vanuit relevante wetenschappen bekend is over werkprocessen, personeelsselectie, en aansluitingsproblematiek onderwijs-arbeidsmarkt. Dan rijst het vermoeden dat de competentie-adepten iets proberen te doen wat niet goed mogelijk is, de zon in het Westen laten opgaan. Klarus geeft die spanning overigens in zijn verdere uitwerking ook aan. Uit mijn eigen onderzoek is het duidelijk dat personeelsselectie een gestructureerd proces is, waarin in verschillende fasen verschillende beslissingen op basis van telkens andere informatie worden genomen. Wanneer er een vacature is te vervullen waarvoor een specifieke beroepsopleiding wenselijk is, dan vallen allereerst al diegenen af die niet over die vooropleiding beschikken. Vervolgens valt er binnen de groep 'gekwalificeerden' nog wel een onderscheid te maken tussen beter en minder gekwalificeerden, louter in termen van opleiding en ervaring. Zijn er dan nog twee kandidaten voor die ene plaats, dan komen andere vaardigheden en eigenschappen van pas om een beslissing te nemen. Niet dat het laatste type beslissing ooit aantoonbaar iets heeft te maken met wat kandidaten bijdragen aan het bedrijfsresultaat, maar zolang iedereen denkt dat dat wèl het geval is, is iedereen tevreden, toch? Aha, maar dan zit die competentie-gedachte dus in het selectie-technisch volkomen oninteressante deel van de selecieprocedure! Inderdaad. U zult dan ook in de psychologische literatuur over personeelsselectie geen wezenloze kletsika over competenties tegenkomen. Mogelijk wel in glossy rapporten van dure adviesbureaus, die al in de 80-er jaren in staat waren op basis van oppervlakkig onderzoek aan bijvoorbeeld een opleiding Neerlandistiek te adviseren vooral aan spreekvaardigheid in de opleiding extra aandacht te schenken. Nonsens van de bovenste plank.

individueel toetsen van individuele leerwegen en individuele inhouden
Even het belangrijke onderdeel van het beoordelen eruit gelicht: het is opmerkelijk te zien hoe hier hele onderwijsvelden, zoals het MBO en het HBO, bezig zijn iets te doen dat praktisch gesproken irreë is: individueel toetsen van individuele leerwegen en individuele inhouden. Zeker, niet iedere toets hoeft door het Cito gestandaardiseerd te worden, maar dit toetsconcept komt toch wel uit een andere wereld. Det gaat willekeur worden. In andere hoofdstukken in dit boek is te zien hoe auteurs schermen met uitvoerige beoordelingsformulieren, om nog maar een schijn van wetenschappelijkheid en objectiviteit te creëren. Dit wat de technische kant betreft, bijvoorbeeld zoals de COTAN die zou beoordelen als een paar van deze fantasietoetsen daar eens zouden voorgelegd. De vraag die voor op de tong brandt is dan: hoe is het dan mogelijk dat al deze lieden in de nieuwe kleren van de keizer rondlopen, en van elkaar niet zien dat zij naakt zijn? Dat is het bijzondere van het menselijke beoordelen: iedereen denkt altijd dat heel goed te kunnen, desnoods blind, eventueel geblinddoekt en met een weegschaal. Er zijn ook - niet zo subtiele - processen van overeenstemming met elkaar zoeken door gewoon aan te sluiten bij andermans oordeel in plaats van onafhankelijk te oordelen (zie Leo Prick in de NRC van 11 november 2006 voor zijn eigen anecdote daarover). Kortom, er is een hele wetenschap opgebouwd over de valkuilen in het menselijk beoordelen, en hoe die te ondervangen. In de stroming van het competentie-gerichte onderwijs wordt er hier en daar lippendienst aan bewezen door A. D. de Groot's methodologie te plunderen, maar als het daarbij blijft, dan maakt iedereen zichzelf en anderen alleen maar wijs dat het probleem ondr controle is, terwijl in werkelijkheid de noordwesterstorm dwars door de openstaande Oosterscheldedam en Maasdam heen dondert.

Ad Verbrugge en Wesley Bergen (22 december 2006). Geen competentiegericht MBO. De Volkskrant p. 11.

• Dit is een open brief aan de minister van onderwijs, Maria van der Hoeven. Het ziet eruit als de neerslag van ernstig competentie-leed dat is gemeld bij de vereniging BON Beter Onderwijs Nederland. Als het daarmee opgeroepen beeld niet eenzijdig is, is de situatie voor het Nederlandse onderwijs inderdaad buitengewoon ernstig. De noodklok is wel vaker geluid, maar het heeft er alle schijn van dat nu inderdaad het water over alle dijken rond ons onderwijs heen dreigt te lopen met de door onze Maria voorziene MBO-brede invoering van competentiegericht onderwijs.

Japke-D. Bouma en Naja Vink (19 november 2006). ROC-scholier klaagt over onderwijs. NRC-Handelsblad.

• "Scholieren van Regionale Opleidingen Centra (ROC) overal in het land, komen in opstand tegen lesuitval en de kwaliteit van de opleiding. Zij keren zich tegen het zogeheten competentiegerichte leren.
  Deze vorm van leren houdt in dat studenten vooral zelf vorm moeten geven aan hun lesprogramma, en dat dat minder centraal door de school wordt opgelegd. Scholieren vinden dat ze daardoor te veel aan hun lot overgelaten worden. Het competentiegericht leren wordt in 2008 op alle mbo's verplicht."
• Commentaar overbodig, Bouma en Vink kenschetsen de zaak helder. Wordt ongetwijfeld vervolgd.

MBO-Raad (6 november 2006). Brief MBO Raad en COLO aan staatssecretaris Bruins pdf

• "De Stuurgroep competentiegericht beroepsonderwijs heeft onlangs het advies ÒMBO dat StaatÓ aan u uitgebracht (...)" Dat zoeken we op.
• "Kwalificatiestructuur Het ontwikkelen en onderhouden van de landelijke kwalificatiestructuur met bijbehorende competentiegerichte kwalificatiedossiers is en blijft de taak van de kenniscentra, die hun onderlinge samenwerking op dit punt zullen intensiveren. De kenniscentra werken aan de kwalificatiestructuur binnen de kaders en op basis van de formats die zijn afgesproken in de Stuurgroep. Indien u het advies van de Stuurgroep in paragraaf 2 ("Vertrouwd MBO") overneemt worden de formats in de toekomst vastgesteld door de bestuurscommissie."

Stuurgroep Competentiegericht Beroepsonderwijs (april 2006). Kwalificaties voor competentiegericht beroepsonderwijs. Kwalificaties ontwikkelen in een samenhangende structuur voor het middelbaar beroepsonderwijs. Opgesteld door Colo, vereniging kenniscentra beroepsonderwijs bedrijfsleven. pdf

• Het MBO wordt grondig omgeschoffeld naar competentiegericht onderwijs (p. 4:) "De Stuurgroep, bestaande uit vertegenwoordigers van de Bve Raad, Paepon en Colo besluit over alle zaken die voor de verdere ontwikkeling van competentiegericht beroepsonderwijs (kwalificaties en uitvoering experimenten) relevant zijn. De Stuurgroep doet voorstellen aan, en adviseert de ministers van OCW en LNV. De Stuurgroep laat voorstellen en besluiten voorbereiden door het gemeenschappelijk procesmanagement, bestaande uit de procesmanager herontwerp kwalificatiestructuur en de procesmanager herontwerp mbo. Vanaf september 2008 wordt competentiegericht beroepsonderwijs volledig ingevoerd in het middelbaar beroepsonderwijs."
• p. 4: "De verzamelnaam voor de nieuwe aanpak is Òcompetentiegericht beroepsonderwijsÓ. Hiermee wordt de intentie weergegeven om in het beroepsonderwijs gericht te werken aan het ontwikkelen van vermogens van mensen die hen in staat stellen om als beroepsbeoefenaar in een bewegelijke arbeidsmarkt en in een continu veranderende maatschappelijke omgeving te functioneren. Belangrijk daarbij is dat er evenwicht is tussen specifieke beroepsuitoefening in het hier en nu en het vermogen om als beroepsbeoefenaar mee te bewegen met veranderingen op de arbeidsmarkt. Tevens is het van groot belang dat zowel de vakmatige als de persoonlijke competenties voldoende aandacht krijgen in opleidingen. En van groot belang is ook dat er voldoende aandacht is voor het opdoen van kennis. De Stuurgroep merkt met nadruk op dat competentiegericht beroepsonderwijs zich op geen enkele wijze verdraagt met vrijblijvendheid of eenzijdige aandacht voor louter persoonlijke competenties. Het gaat om de ontwikkeling van competente vakmensen en dat impliceert ook grondige aandacht voor de kennis die de competenties schragen. "
  
• Dat is allemaal prachtig opgeschreven. Het is vooral procedure, bureaucratie, wat hier allemaal is te vinden. Dat ben ik eerder tegengekomen bij de vormgeving van het KCE, meen ik, de club die gaat over de examens van het MBO. Voor concrete uitwerkingen moet je inderdaad niet in dit rapport zijn, maar bijvoorbeeld bij Kwalificaties MBO COLO site (zie ook hierbeneden).
• Het rapport is omvangrijk, maar een onthullende bijlage 1. maakt in een enkele oogopslag duidelijk wat de insteek is, en voor degene die ziet wat er allemaal dus niet in staat, en die bovendien begrijpt dat de mens een feilbaar wezen is met een beperkt vormbare persoonlijkheid, ontrolt het rampscenario zich meedogenloos. Daarom in zijn geheel de bijlage bij Bijlage 2 Inhoudelijke toelichting kwalificatiedossiers Competentiemodel Kenniscentrum Beroepsonderwijs Bedrijfsleven: Waar is de inhoud gebleven? Hoe stelt men zich voor deze krachtige persoonlijkheden te vormen?

Kwalificaties MBO COLO site

• "Op deze site kunt u uitgebreid zoeken naar kwalificatiedossiers die worden gebruikt in de Experimenten 2004-2005 en latere jaren. Deze dossiers geven weer aan welke eisen afgestudeerden in het mbo moeten voldoen om een beroepsdiploma te behalen volgens de eisen van competentiegericht opleiden."
• Foto: pannenbier.

Henk van Berkel en Anneke Bax (2006). Toetsen in het hoger onderwijs. In Henk van Berkel en Anneke Bax: Toetsen in het hoger onderwijs (p. 17-24). Houten: Bohn Stafleu van Loghum.

• p. 20: "Voor competentietoetsing wordt vaak gebruik gemaakt van assessment; hierbij gaat het om het meten van kennis, vaardigheden en attitudes (competenties) in authentieke situaties. Anders gezegd: een assessment is het multidimensionaal bepalen van bekwaamheden die in de beroepsuitoefening belangrijk zijn."
• Deze onhandelbare beschrijving heeft de redacteuren er niet van kunnen weerhouden in dit boek heel wat kromme uitspraken over competenties toe te laten. Omdat het om een belangrijk handboek gaat, krijgt het op dit onderdeel mijn volle aandacht.

Wichard Zwaal en Klaes Eringa (2006). Toetsen van competenties. In Henk van Berkel en Anneke Bax: Toetsen in het hoger onderwijs (p. 277-291). Houten: Bohn Stafleu van Loghum.

• De auteurs vallen voor een definitie terug op Spencer and Spencer (1993, p.9, zie de box). p. 279: "De sleutelbegrippen in deze omschrijving zijn onderliggend kenmerk, oorzakelijk gekoppeld aan welomlijnde werkprestaties. Terugredenerend betekent dit voor de toetsing dat in de eerste plaats het beroep moet worden ontrafeld in kenmerkende en kritieke werkprestaties, de zogenaamde kernproblemen. De tweede stap is dan om de kernproblemen te ontleden in competenties. De derde stap is het operationaliseren van de competenties en het in kaart brengen van het competentieprofiel door middel van toetsen." De woorden zijn grotendeels Nederlands, maar begrijpt u wat hier staat? De auteurs hebben zelf ook hun twijfels. Ze vervolgen direct aansluitend:
• p. 279: "Het begrip competentie heeft de afgelopen jaren een grote vlucht genomen (...). Het lijkt er soms op dat competentie het buzzword van het begin van de 21e eeuw is. (...) Een dergelijk woord 'is geschikt om onzekerheid en verschillen van opvatting over wat eigenlijk wordt bedoeld, toe te dekken' (De Groot, 1986)." [Begrip van evalueren. Vuga.]
• p. 279-280: "De Bie en Mostert (2000) spreken in dit verband zelfs over 'de overbodigheid van een modieus begrip.'"
• Gewaarschuwd en al, gaan Zwaal en Eringa vervolgens deze appel van de verboden boom plukken.
• Dan komt de AC-techniek aan de orde, aan de hand van de definitie van Seegers in de box hierboven. Die definitie sluit niets uit, en formuleert waarachtig dat het AC de taakanalyse zelf is .... . Het is een raadsel waarom Zwaal en Eringa deze definitie gebruiken: onderwijs is immers geen personeelsselectie. Ze leggen deze kronkel niet uit, maar het is wel een behoorlijk 'kernprobleem', zal ik maar zeggen .... . Voor wie het interesseert, zie hoe het AC is ingepast in de zeer scherp selecterende toelating tot de Nederlandse Politieacademie anno 1990 html. De auteurs pleiten ervoor deze AC-vorm in het onderwijs over te nemen. Dat is een ramp: zelfs al zou het mogelijk zijn zoiets adequaat vorm te geven, dan nog zal dat onmogelijk kunnen omdat de kosten daarvan astronomisch hoog zijn. In de box hierboven is het citaat gegeven waaruit de bedoeling van de auteurs is afgeleid: 'de voorzitter van de onderwijsgroep.' Het hele onderwijs een AC! Het is toch ongelooflijk! Bel 112.
• p. 290: "Het gebruik van het ADC [AC, b.w.] voor het toetsen van competenties heeft het voordeel dat het studenten en docenten een degelijk inzicht geeft in de beheersing van relevante competenties in relevante situaties." Hier staat een empirische uitspraak die niet waar is, en niet waar kan zijn. Het is een extreme geldigheids-claim, die valt niet waar te maken. De kwaliteit van het onderwijs gaat hier zomaar het putje in.
• Wichard Zwaal zal het met het bovenstaande niet eens zijn. Zie deze pdf voor een eerder antwoord van hem aan een kritische collega, waarin hij in kort bestek uitlegt wat ook ongeveer in het onderhavige hoofdstuk staat.
• De auteurs hebben eerder hun ideeën in boekvorm uitgewerkt: Klaes Eringa, Jacqueline Rietveld, Wichard Zwaal (2000). Assessment en development centers voor studenten. Wolters-Noordhoff.

Ruud Klarus (2006). Toetsen met EVC: Erkennen van verworven competenties. In Henk van Berkel en Anneke Bax: Toetsen in het hoger onderwijs (p. 357-376). Houten: Bohn Stafleu van Loghum.

• Het grondprobleem hier is een oud probleem: hoe kunnen mensen met een verkeerde of geen vooropleiding, toch tot opleiding X toegang krijgen, met vrijstelling voor de kennis en vaardigheden die zij elders hebben verworven? Het Nuffic bestaat daarvan, als het gaat om de erkenning van buitenlandse diploma's. Tweede-kans hoger onderwijs kent het probleem van oudsher. En nu dan die EVC's (waarom altijd die acronymen?) of Erkennen van Verworven Competenties in het HBO. Niets nieuws onder de zon, maar wel een nieuw verschijnsel: de zij-instromer, die toch wat zal moeten bijspijkeren, en hoe bepalen we dan wat precies?
• "Wat zijn competenties? Competenties heb je nodig om in een bepaalde beroeps- of behandelingssituatie goed te kunnen functioneren. (...) competenties worden bepaald door de context waarin ze benut worden." En zo gaat dat nog even door, op p. 344. In- en uitpraten. Vat kan ik er niet op krijgen. Neem bijvoorbeeld deze: "Een competentie is moeilijk op te delen in afzonderlijke deelcompetenties." Ik weet niet precies wat dit betekent, maar het voorspelt weinig goeds wanneer auteurs van dit type proza aan het beoordelen van elders verworven competenties slaan.
• p. 345: "Beoordelen, ook competentiegericht beoordelen, is en blijft het zoeken van een productieve balans tussen 'je wilt wat' en 'je moet wat.'" Zo is het maar net, en dan 'doen we maar wat.'
• p. 345: "Een persoonsgericht paradigma is een vorm van beoordeling waarbij de inhoudsvaliditeit wordt gecombineerd en in balans is met persoonlijke relevantie. In een persoonsgericht paradigma worden de beoordelingscriteria door het individu zelf vastgesteld, zijn dus persoonsgerelateerd, want ze moeten bijdragen aan persoonlijke doelen." Fantastisch. Anything goes. Het komt me in zoverre bekend voor, dat dit een vorm is die bij kwaliteits-audits wordt gehanteerd: een organisatie heeft een missie en doelen vastgesteld, de visitatie-commissie beoordeelt de organisatie op de inspanning om die doelen waar te maken en de geboekte resultaten daarvan. Dat is wel een iets andere situatie, met permissie.
• p. 346: een korte paragraaf getiteld "Veranderend toetsparadigma." Dat krijgt altijd mijn aandacht, maar wat een teleurstelling levert dat op. Ik zie maar af van citeren uit de warboel.
• p. 347-8: "Tien vragen bij het ontwikkelen van een EVC-procedure." Op zijn best is dit een procedureel stappenplan, kan de bureaucraten een behoorlijke tijd van de straat houden.
• Verwijst voor voorbeelden ook naar de Kenniscentrum voor Erkennen Verworven Competenties (EVC) site
• Tenslotte geeft Klarus een lijst 'valkuilen bij het beoordelen.' Dat is altijd nuttig, al is dit wel een extreem individuele impressie van wat er aan valkuilen is (de auteur verwijst naar zijn proefschrift (1998) 'Competenties erkennen.

Rudolf Klarus (1998). Competenties erkennen. EEN STUDIE NAAR MODELLEN EN PROCEDURES VOOR LEERWEGONAFHANKELIJKE BEOORDELING VAN BEROEPSCOMPETENTIES Proefschrift Radboud Universiteit Nijmegen. pdf

• Promotores: Hövels en Simons, commissie: Max van der Kamp, D. A. Wildemeersch, Wynand Wijnen. Kortom, aan promotores en commissie zal het niet liggen. Ik ben heel benieuwd naar deze studie van Ruud Klarus.
• Uit het Voorwoord: "Beoordelen van competenties beperkt zich niet tot een beoordelings- of toetstechnische aangelegenheid. Het gaat in feite om de vraag hoe de samenhang tussen werken, leren en waarderen in educatieve en beoordelingssystemen gewaarborgd kan worden." Met permissie, beoordelen is nooit bedoeld geweest als een van de werkelijkheid losgezongen activiteit. Dit is een pseudo-tegenstelling. De verspreking geeft aan dat Klarus niet vanuit een beoordelings-theoretisch kader werkt (een voorbeeld van wat ik daarmee bedoel is het boek van Hofstee over beoordelen), maar werkt in een mij niet onbekende traditie van sociologisch onderzoek zoals o.a. door Jeroen Onstenk vormgegeven. Voor de kritische bespreking van de studie van Klarus wordt dat wel lastig. Het kan niet betekenen dat eventuele beoordelings-technische misvattingen met de mantel der liefde bedekt kunnen worden, daarvoor is de inzet veel te hoog, zijn er teveel leerlingen en studenten die daar mogelijk schade van ondervinden. Op basis van de samenvatting van Klarus kan ik er geen zinnig woord over zeggen (behalve dat daar de term 'competentie', in het alledaagse Nederlands heeft dat bepaald een andere betekenis, ongedefinieerd blijft.
• p. 31: "De begrippen kwalificatie en competentie worden gehanteerd om aan te duiden, dat individuen beschikken over bepaalde vermogens." Ai. Wat zijn 'vermogens'?
• p. 31: "Hövels (1993, p. 33) wijst erop dat er over de verhouding tussen kwalificatie en competentie Ònog enig conceptueel voorwerkÓ vereist is. En hij voegt daar nadrukkelijk aan toe: ÒVoorzover competenties ook zouden verwijzen naar via informele leerprocessen verworven kwalificaties, dient over maatschappelijke erkenning ervan niet bij voorbaat te simplistisch gedacht te worden.Ó"
• Paragraaf 2.3 licht het begrip 'competentie' uit. Ik hoop dat dit een goede referentie oplevert. Klarus begint met teruggrijpen op het Angelsaksische gebruik van de term, enkele decennia terug, dus van vóór de hype. Dat is veelbelovend.
• [WERK IN UITVOERING]

Anneke Bax, Corine Castenmiller, Bert Kok en Renée Verwey (2006). Toetsen van VCM: Vraaggestuurd competentiegericht maatwerkonderwijs. In Henk van Berkel en Anneke Bax: Toetsen in het hoger onderwijs (p. 357-376). Houten: Bohn Stafleu van Loghum.

• Dit is een publicatie die model kan staan voor de competentie-gerichte stroming. Ik besteed er veel aandacht aan, want volgens de auteurs is competentiegericht onderwijs nu aan de orde van de dag in het HBO (p. 359): "De hogescholen zijn massaal bezig met onderwijsvernieuwingen waaronder de verschuiving van aanbod- en kennisgericht naar vraag- en competentiegericht onderwijs en toetsen." Wees niet bang dat het kind met het badwater wordt weggegooid p. 360: "Kennis is juist een voorwaarde om competenties te kunnen verwerven.'" En zo weet de lezer voortdurend niet wat te denken van de claims die de competentiegoeroes doen. Ik citeer: 'vraagsturing staat centraal, leren en toetsen zijn competentiegericht en wisselen elkaar af en studenten moeten zelf aantonen dat zij competent zijn, begeleiding en beoordeling vanuit de opleiding sluit hierbij aan (Willems & Ehlen, 2005).' 'Toetsing vindt dus niet meer alleen plaats aan het eind van een onderwijsperiode.' Was dat dan zo? p. 361: 'Bij een assessment gaat het om meer dan het optellen van een aantal toetsen. Het gaat om een integrale benadering van kennis en handelen van de student.' p. 367: "Het beheersen van een bepaalde competentie is af te leiden uit het gedrag van studenten in een bepaalde beroepssituatie."
• Het beeld dat de auteurs overbrengen, en dat lijkt me geen vertekening van wat het management in het onderwijsveld oprecht denkt, is dat het geen probleem is om tegelijk 1) studenten a) een eigen leerweg, b) een eigen inhoud, en b) een eigen toetsing te laten kiezen, 2) ze dat 'competent' te laten doen, 3) dat alles perfect afgestemd te houden op wat specifieke beroepen aan zowel kennis als persoonlijkheidskenmerken vragen, 4) ze daarbij - één op één? - te begeleiden, 5) de beoordeling door àndere personen dan die begeleiders te laten doen, en zodoende 6) afgestuurden te leveren die direct competent in het beroep functioneren.
• Wie dat zo leest, zal onmiddellijk concluderen dat het onderwijs dus helemaal niet nodig is, want deze studenten zijn al briljant, en de overdaad aan specifieke beroepstraining hoort voor rekening van de werkgevers te komen. Dat is niet de conclusie van de auteurs, en dat is toch wel een probleem, want zij leggen geen verantwoording af over al die super-optimistische verwachtingen over studenten, begeleiders, beoordelaars, en werkgevers.
• Neem het optimisme over het gedrag van de studenten: dit systeem - als het loslaten van alles al een systeem valt te noemen - laat ze zwemmen, met als voorspelbaar resultaat veel te weinig bestede tijd en wat zij al aan tijd in de studie steken is van lage kwaliteit. Iets dergelijks hebben we in de zeventiger jaren al eens meegemaakt met bijv. de opleiding andragologie in Amsterdam, waar het mogelijk was af te studeren op ongeveer helemaal niks.

J. J. G. van Merriënboer, M. R. van der Klink en M. Hendriks (2002). Competenties: van complicaties tot compromis. Over schuifjes en begrenzers.. OTEC, in opdracht van en gepubliceerd door de Onderwijsraad. pdf

• Fons van Wieringen: "Competentie is een begrip dat in veel discussies over het onderwijs opduikt. We komen in deze discussies echter niet verder, als we niet duidelijk voor ogen hebben wat het begrip betekent. Waarover hebben we het eigenlijk? De Onderwijsraad meent, dat het onderwijs het beste is gediend met verdergaande verheldering van het begrip. De raad heeft een begripsanalytische studie naar competenties laten uitvoeren door het Onderwijstechnologisch Expertisecentrum (OTEC) van de Open Universiteit Nederland: Competenties: van complicaties tot compromis. "
• Een weinig hoopvol rapport, zie zelf, bv. p. 69: "Competentie wordt beschouwd als een concept dat een oplossing biedt voor de geconstateerde problematiek door het bieden van een gemeenschappelijk referentiekader voor alle actoren. " Hier kan nooit iets moois uit opbloeien. Maar trek liever uw eigen conclusies (ik moet zelf van dat hele gedoe over competenties nog een analyse maken; het gaat hier wel om een kernpunt van opperste verwarring binnen het-nieuwe-leren kamp.

Jelle Dijkstra en Nieske van der Lee (2002). Competentiemanagement in de praktijk. Scriptum Management.

• Fantastisch in- en uitpraten. Gaat helemaal nergens over. “De indicatoren zijn beschreven in oplopende moeilijkheidsgraad, het maken van afspraken is immers gemakkelijker dan het realiseren van de gemaakte afspraken.” (ik kies zomaar wat uit). Met de onzin gaat dit boekje gelukkig niet eindeloos door: het telt maar 76 bladzijden. “Als d medewerker normaal tot goed functioneert in zijn huidige functie, dan betekent dat gewoonlijk dat de competenties van de medewerker aansluiten bij de competentie-eisen van de fnctie.” (ik moet toch waarmaken dat die boekje bestaat uit in- en uitpraten, vandara dit ook willekeurig gekozen citaat.)

D. Joosten-ten Brinke, P. S. Verhoeven, J. A. Van Buuren (2003) Peerassessment en selfassessment in een competentiegericht methodologiecurriculum TvHO, 21, 273-285.

Elshout-Mohr, Marianne, en Ron Oostdam (2001). Assessment van competenties in een dynamisch curriculum. Amsterdam: SCO-Kohnstamm Instituut.

G. J. J. M. Straetmans (1993). Het vaststellen van competentie met vaardigheidsstoetsen. Tijdschrift voor Hoger Onderwijs, 11, 188-204.

• ontwerpstrategie. Straetmans werkt bij het Cito

Everwijn, S.E.M., Bomers, G.B.J., & Knubben, J.A. (1990). Een competentiegericht managementcurriculum. TvHO, 8, 55-66.

De wet op de beroepen in het onderwijs BIO. Staatsblad

• "H In artikel 53, tweede lid, wordt Çakten van bekwaamheidÈ vervangen door: bewijsstukken waarmee de bekwaamheid wordt aangetoond, de geschiktheidsverklaringen.
• Artikel 32 a regelt de 'bekwaamheidseisen, artikel 176c regelt het 'geschiktheidsonderzoek,' Hier geen wollig jargon, maar een tekst die ook een halve eeuw geleden zo geformuleerd had kunnen zijn.
• In deze wet komt de term 'competentie' niet voor, uitstekend.
• De tekst van deze wet bewijst dat belangrijke documenten nog steeds zonder het vage begrip 'competentie' zijn te schrijven.
• Helaas, een uitwerking van de wet gaat modieus doen en gebruikt de term 'competenties' (Besluit bekwaamheidseisen onderwijspersoneel Staatsblad 2005) waar een gewone Nederlandse term zoals 'bekwaamheid' het werk had kunnen doen. De uitwerking van zo'n competentie, zoals in de box hierboven, laat zien dat er een hoop psychologische flauwekul in zit, die alleen mogelijk relevant is bij disfunctioneren van personeel; laten we die boompjes alsjeblieft bij het huisje laten.
• Voor de goede lezer: inderdaad, die interpersoonlijke competenties zijn verschillend voor PO en VO/BVE (de laatste: zie art. 2.13). Hoe is het mogelijk.
• Hoe dan ook, de wet is de wet, het besluit is het besluit, en het lijkt me heel verstandig bij alle gekeuvel over competenties zoals dat in de literatuur is te vinden, er de wetgever op na te slaan.
• De wet heeft alleen van de SP tegenstemmen gekregen.

Bekwaamheidsdossier.

• Volgt uit het Besluit bekwaamheidseisen onderwijspersoneel Staatsblad 2005), op basis van de wet op de beroepen in het onderwijs BIO. Staatsblad
• Geweldig, dus ook een websitie http://www.bekwaamheidsdossier.nl/.
• brocure van de overheid
• Is dit een papieren tijger? Dat is de vraag die de brochure beantwoordt. Moeten we daarvoor in de brochure kijken? Nee, want de wet schrijft voor dat er voor iedere docent etc. zo'n dossier moet zijn. Het management heeft er weer een taak bij, goed voor zijn bestaansrecht.

Ander gebruik van een begrip competentie

Vrugt, (H)Anneke (1994). Waargenomen eigen competentie, sociale vergelijking, affectieve reacties en studieprestaties. Nederlands Tijdschrift voor de Psychologie, 49, 171-177

• De competentie van Anneke Vrugt staat heelmaal buiten de huidige competentie-beweging. Zij gebruikt de term in de betekenis van perceived self-efficacy (een term van Bandura)
• Zij vindt een positief verband tussen gevoelens en studieresultaten, wat valt te verklaren wanneer positieve gevoelens leiden tot extra investeren, en negatieve tot minimaal investeren

De AC-beweging

Werkgevers zijn dol op competenties, zij wentelen hun opleidings- en selectielast daarmee sterker af op het onderwijs, dat is dus de samenleving. Werkgevers zijn ook smoorverliefd op de assessment center methode, dat laat ze immers alle ruimte om gewoon hun eigen ding te doen.

Gary P. Latham and Glen Whyte (1994). The futility of utility analysis. Personnel Psychology, 47, 31-46.

• Zij onderzochten hoe managers informatie uit analyse van taak- en nut gewoon negeerden, en hun eigen intuïtie bleven volgen. "Utility analysis reduced the support of managers for implementing a valid selection procedure, even though the analysis indicated that the net benefits from the new procedure were substantial."

De AC-methode wordt vooral door tal van adviesbureaus verkocht aan bedrijfsleven, overheden, en van de dag helaas dus ook aan het onderwijs. Er wordt een pseudo-wetenschappelijk sausje over gegoten, en dan aan de slag. Empirische evidentie dat een bepaald AC inderdaad werkt zoals de folder aangeeft, ontbreekt in bijna alle gevallen. Een goed AC is een test, en hoort als test beoordeeld te zijn door de Cotan, de Commissie Testaangelegenheden van het Nederlands Instituut voor Psychologen (NIP). Die NIP-beoordelingen worden gepubliceerd, het gaat immers om een algemeen belang dat procedures waaraan mensen zich noodgedwongen moeten onderwerpen - als sollicitant heb je niet de luxe 'nee' te zeggen - een door iedereen te controleren kwaliteit hebben.

P. G. W. Jansen (1991). Het beoordelen van managers. Effectiviteit van assessment center methoden bij selectie en ontwikkeling van managers. Baarn: Nelissen.

• Dit is het meest prominente overzicht dat in het Nederlands beschikbaar is. In tegenstelling tot wat de titel beweert, komt er verdraaid weinig bewezen effectiviteit in het boek voor. Het boek staat vol met wervende tekst, als ik dat met alle respect voor de auteur zo mag zeggen.
• Het boek is besproken door Henk van der Molen, De Psycholoog, 1992, 536-537. Het vijfde hoofdstuk gaat over enkele onderzoeken naar geldigheid van de AC-methode. Jansen bepleit op grond daarvan de nadruk te leggen op vaardigheden in concrete situaties, niet op beoordeling van persoonlijkheidstrekken. Van der Molen over de waarde van deze empirische onderzoeken: "Daarbij kan wel als kritische kanttekening worden geplaatst dat de wijze waarop de verschillende auteurs de predictieve validiteit onderzocht hebben, niet erg helder in het boek uit de verf komt." Ik vermoed ook niet in de oorspronkelijke onderzoeken zelf.

In dit verband: AC-methoden in het onderwijs zijn waarschijnlijk nooit op hun deugdelijkheid onderzocht, wees daar dus in het bijzonder kritisch op. Ik vermoed dat ze in beginsel ook niet op deugdelijkheid zijn te onderzoeken, gzien de fantastische vrijheden die iedereen zich veroorlooft om maar te doen wat hen goeedunkt, zodat er niet eens sprake is van een helder afgebakend AC dat zich op geldigheid laat onderzoeken.

Het probleem is ook voor leken goed na te voelen. Het onderzoek dat nodig is om aannemelijk te maken dat een test werkt zoals bedoeld, en niet zoals niet bedoeld, en dat ook in voldoende mate doet, is buitengewoon kostbaar en tijdrovend, en voor het kleine Nederlandse taalgebied een ongelooflijk grote kostenfactor. Voor een gelegenheidstest voor een bepaalde groep werknemers in een bepaalde bedrijfssector, is het in de regel ondenkbaar zoiets uit te voeren. Daar zijn wel uitzonderingen op, wanneer bijvoorbeeld de overheid voor de sector Rijkspersoneel een bepaald AC wil laten ontwikkelen (Jen Algera e.a. hebben in de tachtiger jaren zoiets gedaan). Of in de VS wanneer daar voor de selectie van kandidaten voor een hogere politieopleiding ook een AC gewenst is (Motowidlo en anderen hebben een voorbeeldig onderzoek gedaan voor een door hen ontwikkeld AC; S. J.Motowidlo, M. D. Dunnette, en G. W. Carter (1990). An alternative selection procedure: the low-fidelity simulation. Journal of Applied Psychology, 75, 640-647.). Het is dus werkelijk van de gekke wanneer in het MBO en het HBO met AC-methoden wordt gewerkt voor allerlei kleine opleidingen. Die AC-methoden hebben een onbekende geldigheid. Anders dan bij vertragingen in het open vervoer, waar je toch nog na korte tijd wachten op een trein kunt stappen die eigenlijk een uur eerder had moeten vetrekken, is het met onbekende geldigheid van tests in de regel zo dat die geldigheid dan als vrijwel nihil moet worden opgevat. Ook daar zijn weer uitzonderingen op, zie bijvoorbeeld de evaluatie van de selectie voor de Nederlandse Politie Akademie in 1990 uitgevoerd door Wilbrink en anderen html: op basis van wetenschappelijk onderzoek naar de geldigheid van bepaalde soorten tests, zijn er voorzichtige uitspraken te doen over hun geldigheid in nieuwe situaties. Er kunnen dus stevige ethische opblemen opdoemen.

Jan Verdam (1998). Assessment centers en beroepscode. De Psycholoog, 239-240.

• Een beschouwing naar aanleiding van een klacht ingediend bij het College van Toezicht. Het gaat bij deze klacht om een sollicitatieprocedure, maar naar mijn smaak is er geen principieel verschil tussen het gebruik van een AC in een sollicitatieprocedure, en bij (onderdelen van) examens in het onderwijs. In dit specifieke casus gaat het om een psycholoog die buiten medeweten van de betrokkene videomateriaal aan zijn opdrachtgere (de werkgever0 laat zien. In het onderwijs: denk aan de situatie dat materiaal uit een AC-achtige beoordeling naar de examencommissie gaat zonder instemming van de beoordeelde student. In dit geval was de werkgever ook beoordelaar in het AC, een veel voorkomende situatie. In het onderwijs: leden van de examencommissie kunnen ook beoordelaar in een AC-achtige situatie zijn. Verdam bespreekt een aantal onderdelen van de beroepscode, en de consequenties daarvan in AC-situaties. Ik citeer die drie consequenties hier volledig. Bedenk dat de psycholoog hier optreedt als beoordelingsexpert, en dat in het onderwijs die beoordelingsexpertise veelal in het geheel niet aanwezig is, wat echt heel bedenkelijk is (studenten: ga altijd in beroep tegen rare oordelen).
• "1. Als de psycholoog slechts een beperkte rol vervult in een AC, bijvoorbeeld een rol als observator en verder niet, dan is in ieder geval voor zijn bijdrage in het geheel de Beroepscode van toepassing. Dat betekent: recht voor de cliënt op informatie vooraf over de rapportage van de psycholoog (in het team), recht op een afschrift daarvan, blokkeringsrecht enzovoort."
• "2. Als het AC onder verantwoordelijkheid van de psycholoog plaatsvindt, dan moet voor het gehele AC de Beroepscode gelden. Dat is vergelijkbaar met een psychologisch onderzoek. Het betekent geheimhoudingsplicht voor de assessoren, inzagerecht voor de cliënt vooraf in de (geïntegreerde) rapportage, blokkeringsrecht, recht op afschrift, et cetera. Dit betekent ook dat er tenminste een protocol moet zijn dat alle leden van het gehele assessorenteam aan geheimhouding bindt (tenzij het allemaal NIP-leden zijn natuurlijk, dan geldt voor hen de BC al)."
• "3. Het zal duidelijk zijn dat als de opdrachtgever tegelijketijd medeassessor is, de rechten van de cliënt in het gedrang kunnen komen. Als de opdrachtgever deel uitmaakt van het assessorenteam, dan zijn geheimhouding, inzage vooraf, blokkering enzovoort van de totale rapportage niet mogelijk of weinig zinvol. De opdrachtgever krijgt in zijn rol van assessor en door het deelnemen aan de assessorenvegadering de meeste informatie immers al ter beschikking."

Karen van Dam, Wieby Altink en Bas Kok (1992). De praktijk van de assessment center methode. Een inventarisatie van knelpunten. De Psycholoog, 509-514.

• "Beschouwingen over de assessment center methode hebben meestal betrekking op haar betrouwbaarheid en validiteit. Over problemen in de praktijk is veel minder bekend. Dit artikel doet verslag van een onderzoek naar knelpunten die zich bij ontwikkeling en gebruik van de assessment center methode kunnen voordoen."
• "In het assessment center worden gegadigden voor hogere functies met behulp van verschillende situatietests op geschiktheid onderzocht." Dat is toch een interessante uitspraak: de pretenties in MBO en HBO zijn dat dezelfde methoden bruikbaar zijn voor hun studenten! b.w.
• De auteurs pleiten voor evaluatie van rendementen van het AC als selectie-instrument. Dat betekent dat die evaluaties meestal dus ontbreken! Hoe je zoiets doet? Zie het proefschrift van Van der Maesen de Sombreff of gebruik het door mij (Wilbrink, 19990 pdf ontwikkelde instrument daarvoor.

Nanja Kolk, Marise Born en Henk van der Flier (2000). Swot-analyse van het Assessment Center. De Psycholoog, 266-270).

• De auteurs gaan uit van de constatering dat AC's een hoge voorspellende waarde zouden hebben. De literatuur die zij daarvoor gebruiken waag ik toch in twijfel te trekken, maar belangrijker is dat in het schaarse onderzoek er sprake is van zorgvuldig ontwikkelde AC's, en dat levert een verschil als tussen dag en nacht op met AC's die door scholen of adviesbureaus zelf even in elkaar worden gezet, of werkelijk helemaal van de pot gerukt: door individuele studenten of docenten bepaald.
• "Dankzij hun hoge voorspellende waarde en vanwege hun 'face validity' zijn Assessment Centers (AC's) buitengewoon populair als selectie- en ontwikkleingsinstrument. Er wordt echter ook veel kritiek geuit, waarvan sommige punten terecht zijn en andere niet. Om een gefundeerd beeld te krijgen van een instrument zo gevierd als het AC, is het goed de methode eens van verschillende kanten te belichten."
• Tenminste een van de auteurs is betrokken geweest bij de ontwikkeling van een belangrijk AC voor de rijksoverheid. Dus hoewel het artikel theoretisch van karakter is, hebben de auteurs eigen ervaring met de constructie van AC's.

T. Luken (1996). Het assessment raadsel: het werkt, maar hoe? Over de onbegrepen werkzaamheid van een methode in de mode. in A. Breed en A. Kooreman: Psychologie in Arbeid en Loopbaan. Trends. Swets & Zeitlinger (p. 165-175) html

• Nuttig overzichtsartikel. Wat wonderlijke draai: het AC deugt niet waar het om zijn oorspronkelijke doelen gaat, maar is goed bruikbaar voor allerlei andere zaken. Het laatste is in ieder geval niet echt vertrouwenwekkend. Voorbeeld: "Zoals uit het voorafgaande blijkt, levert assessment voor de deelnemer buitengewoon 'krachtige' feedback op." Met alle respect, dat is alleen waar voor wie het gelooft.

Karen van Dam (1996). Assessment center in de praktijk. Bespeking van F. J. R. C. Dochy en T. R. de Rijke (Red.). Assessment centers: nieuwe toepassingen in opleiding, onderwijs en HRM. Utrecht: Lemma.

• "Het ligt inderdaad voor de ahnd om vanuit een ontwikkelgerichte assessment een relatie te leggen met het gebruik van simulaties binnen een opleidingssituatie."

Een fundamenteel probleem met de AC-methode is dat in een kunstmatige situatie kunstjes vertoond moeten worden. Ik heb ooit met plaatsvervangende schaamte een dergelijk AC meermalen bijgewoond als waarnemer. De verdediging van psychologen is dan steevast dat er een redelijke voorspelling op basis van AC-resultaten valt te doen over de bijdrage die kandidaten aan toekomstige bedrijfsresultaten zullen leveren. Dat is de hagelschotmethode; doe maar eens wat, en kijk of het iets voorspelt. De vraag die dan blijft staan: is te verdedigen dat kandidaten worden afgewezen op basis van hun beoordeelde resultaten in zo'n AC? Mijn intuïtieve gevoelen daarover is dat dat niet kan, dat het niet verdedigbaar in de termen die daarvoor in een beschaafde rechtsstaat gelden. Des te sterker geldt dat argument in onderwijssituaties. Mijn stelling is, en ik zal daar in de toekomst ongetwijfeld meer over hebben te melden, dat studenten daarmee wezenlijk onrechtvaardig worden behandeld. Ik geloof op deze pagina al op meerdere plaatsen te hebben aangegeven dat het mee-beoordelen van persoonlijkheidstrekken of kenmerken die daar dicht bij in de buurt liggen, inherent discriminatoir is. Nog afgezien van de bescherming die studenten moeten krijgen tegen al die amateur-beoordelingen die over ze worden afgeroepen.

Daarmee ben ik wat van mijn a-propos geraakt: die AC-situaties zijn kunstmatig. Zeker in het onderwijs zijn ze dat: de studenten hebben immers nog geen gelegenheid gehad voldoende ervaring met precies die typen situaties op te doen., Dat is ook het bezwaar tegen AC's die voor selectie worden ingezet, waar de situaties ontleend zijn aan taakanalyses van de functie waarvoor wordt geselecteerd, en war de kandidaten net van school komen of in ieder geval niet uit vergelijkbare functies bij andere bedrijven. Vertel mij wat er dan precies wordt getoetst, ook al is nog zo netjes de AC-oefening ontwikkeld vanuit zich in de praktijk typisch voordoende situaties. Tien tegen een dat zo'n oefening dus iets anders meet, iets dat mogelijk in de sfeer van de persoonlijkheid ligt, dan wat betrokkenen denken dat er wordt gemeten.

English

Jasper B. van Loo en Bert Toolsema (2004). The Empirical Determination of Key Skills from an Economic Perspective. Maastricht: ROA-RM-2004/3E. pdf

• abstract Notwithstanding an impressive research tradition on key skills, no clear statistical criterion exists that is suitable to determine which skills may be considered key skills. This contribution proposes one possible methodology that can be used to identify key skills. Proposing an economic definition of the key skill concept and by disentangling the direct and indirect effects of skills on productivity, we develop an empirical criterion for the identification of key skills. We apply this methodology to a dataset of employed vocational education graduates. We find that problem-solving skills, independence, oral presentation/speaking skills, accuracy/carefulness and initiative/creativity may be considered key skills.

Wat Van Loo en Toolsema beweren, is koren op de molen van de voorstanders van competentiegericht leren. Maar het is een methodologische misvatting. Deels hebben deze zogenaamde sleutelvaardigheden enige overlap met intelligentie: zet dan gewoon een intelligentietest in bij de selectieprocedure. En voor het andere deel is het gewoon psychologische flauwekul, waarmee ik bedoel dat het 'folk-psychology' is: veronderstelde vaardigheden, die gewoon nergens mee samenhangen belave in de opvattingen van betrokkenen. Het grote gemis in dit onderzoek is dan ook de ervaring die selectiepsychologen, vooral in Angelsaksische landen, vooral in Amerika dus, maar zeker ook in Nederland, hebben verzameld, en gepubliceerd in vaktijdschriften als het Journal of Applied Psychology, en Personnel Psychology.

Ik maak het punt altijd duidelijk aan de hand van een blunder van het bekende bureau Twijnstra Gudde. Zij doen in de tachtiger jaren een onderzoek naar de kwalificaties van studenten neerlandistiek op de arbeidsmarkt. De conclusie daaruit is onder andere dat schriftelijke uitdrukkingsvaardigheden belangrijk zijn, en dat daar in het curriculum neerlandistiek dus plaats voor ingeruyimd moet worden. Kun je nagaan: neerlandistiek! Schriftelijke uitdrukkingsvaardigheden! Er hadden toch wel alarmbellen moeten gaan rinkelen, niet? Ik heb zelf het een en ander aan onderzoek naar de aansluiting tussen hoger onderwijs en arbeidsmarkt gedaan (zie hier), en vauit mijn eigen selectie-psychologische achtergrond was het klip en klaar dat werkgevers een eerste selectie maken op de juiste opleiding, en dan met de handen in het haar zitten om vervolgens de 'beste' kandidaat daar nog weer uit te selecteren. Loten zou een goed idee zijn, maar ja, dat staat zo mal, niet? Dus wordt er gezellig gebabbeld in sollicitatiegsprekken, of in amateuristisch in elkaar gedonderde 'assessments,' en op basis van de indrukken over verbale vaardigheden valt dan het mes. Briljant. Jammer dat empirisch onderzoek altijd weer laat zien dat de opbrengst van al die kletsika verwaarloosbaar is. Maar dat is niet het punt (wel bij Van Loo en Toolsema, trouwens), als iedereen er gelukkig mee is, dat zij dan zo. In de discussie over competentiegericht onderwijs krijgt dit allemaal een heel andere lading, en dan hebben we het meteen over de grootste bedreiging van de kwaliteit van ons onderwijs sinds ontiegelijk lang, het gaat om afbraak, na meer dan een eeuw van voortdurende opbouw en groei. Want die zogenaamde sleutelvaardigheden horen natuurlijk never ever doel van onderwijs te zijn, net zo min als intelligentie doel van onderwijs is (er zijn wel gekken die zoiets hebben geprobeerd, maar dat is beroerd afgelopen).

De logische volgende stap in de ROA-onderzoeklijn zou zijn: instrumenten maken die die sleutelcompetenties betrouwbaar en valide 'meten,' en vervolgens een methodologie ontwikkelen om scores op die instrumenten te koppelen aan wat werknemers bijdragen aan bedrijfsresultaten. Maar dat is precies het prgramma van de 20e-eeuwse selectiepsychologie, en dat is dus al lang en breed klaar. Nee, daar komen geen 'competenties' als winnaars uit de bus.

Afijn, ik heb de discussie gezocht met Van Loo en Toolsema. Zij hebben een sleutel-artikel geschreven, zoveel is wel zeker. Ik voorspel dat dit artikel, of verwant werk van het ROA in Maastricht, in de komende discussie over competentiegericht leren een rol van betekenis gaat spelen. Dat is welkom, want dat bakent het terrein voor debat op een degelijke wijze af. Ik heb het voornemen om het artikel grondig te gaan bespreken, dat is ook fair, want het bovenstaande is wel een beetje globale kritiek, natuurlijk.

Carl Bereiter (2002). Education and Mind in the Knowledge Age. Erlbaum. questia

• about our theory of mind, a folk theory according to Bereiter
• p. x: "What is being challenged is the basic conception of the mind as a container of objectsÑbeliefs, desires, conjectures, remembered events, and the likeÑthat the mind works on in cognition. The challenges have been on various theoretical grounds. The plausibility, coherence, and explanatory adequacy of folk theory and its derivatives have been called into question. Critics typically concede that in practical applications folk theory does just fine. For most uses, that is true and for good reason. Our social institutions all embody the folk theory. We could hardly make it through a dayÑindeed, coul hardly make it across a busy streetÑwithout decisions based on beliefs and intentions that we attribute to others."
  "Folk theories of all kinds characteristically work well for everyday purposes, however. Medieval physics lives on in the baseball park, where fly balls have "legs" that may or may not be sufficient to carry them over the outfield wall. Expert gardeners get along believing they are providing food to the plants. But if the task is launching a missile into orbit rather than over the left-field fence or doubling the yield of rice paddies, folk theories are not up to the task. Folk theory of mind lives on, I believe, because it has never been put to severe tests."
• p. 12: " Knowledge is the pivotal idea in this book. The main faults I find in folk theory of mind are in its treatment of knowledge. (...) Folk theory of mind affords such a limited and incoherent conception of knowledge that people in the grip of folk theory cannot be expected to appreciate the importance of knowl- edge from an educational standpoint. It will be difficult for them to think of it as anything more than the rapidly obsolescent contents of a mental filing cabinet. "
• " What I am about, however, is not so much offering the latest ideas or a novel program as offering a way of thinking that is new to every- one, including this author. It takes work, but I hope readers will come away from the effort feeling that they have a better grounding for the ideas they care most about, that they have shed some mori- bund ideas that it had not occurred to them they could do without, and that they see new ways to move forward."

Winston Bennett,Jr., Charles E. Lance, David J. Woehr (Eds) (2006). Performance measurementÊ: current perspectives and future challenges. Erlbaum. Especially recommended to all people thinking it must be easy to 'measure job competencies.'

George C. Thornton III and Deborah E. Rupp (Eds) (2006). Assessment centers in human resource managementÊ: strategies for prediction, diagnosis, and development. Erlbaum. Rather positive on AC validities. I have to study that one, but I expect the optimism to be idle. Run-of-the-mill AC's or AC-exercises simply do not and can not have validity for the very specific situations in which they are used. Meaning that they will not add validity to that already obtainable from intelligence tests. The verdict is not yet in.

John D. Bransford,Ê Ann L. Brown, and Rodney R. Cocking (Eds) (1999). How People Learn: Brain, Mind, Experience, and School. National Research Council. html.

• This book is based on sound science. The book is online available
• from the executive summary "Science now offers new conceptions of the learning process and the development of competent performance. Recent research provides a deep understanding of complex reasoning and performance on problem-solving tasks and how skill and understanding in key subjects are acquired. This book presents a contemporary account of principles of learning, and this summary provides an overview of the new science of learning."

Philip H. Winne (2005). Key Issues in Modeling and Applying Research on Self-Regulated Learning. Applied Psychology, 54, 232-238, April 2005.

• abstract "Theoretical and empirical studies of self-regulation (SR), self-regulated learning (SRL), and closely related constructs such as volition have become lively areas of research in applied psycholgy (e.g. see Boekaerts, Pintrich, & Zeidner, 2000; Zimmerman & Schunk, 2001). ( Boekaerts and Corno's 2005) very thoughtful and representative summary of this work in education packs into their allotted space important contributions to modeling SRL, a discussion of critical methodological matters, a survey of modern empirical research, and manages as well to give useful direction to future research. I, too, have limited space for comment on their article, so I focus on just a few issues that I judge are key."
  artikel niet gezien (tot online versies heb ik geen toegang van huis uit). Winne site bevat geen publicaties die zijn te downloaden.

International Task Force on Assessment Center Guidelines (2000). Guidelines and ethical considerations for assessment center operations. Endorsed by the 28th International Congress on Assessment Center Methods, May 4, 2000 San Francisco, California, U.S.A. pdf

Noel Wilson (1998). Educational Standards and the Problem of Error. Education Policy Analysis Archives, 6. html

• explains the political-ideological roots of the Australian competency-movement, the seat of infection from which the competency-virus has spread all over the globe

Folke Glastra & Frans Meijers (Red.) (2000). Een leven lang leren? Competentieontwikkeling in de informatiesamenleving. Elsevier Bedrijfsinformatie. isbn 9061559855 — 208 blz.,

• o.a.:
• Max van der Kamp: Is een leven lang leren mogelijk?
• Jeroen Onstenk: Kan de werkplek een krachtige leeromgeving zijn?
• Jo Thijssen en Eline Lankhuijzen: Competentiemanagement en employabilitystrategie: een kader voor beleidskeuzes.)

An older conception of competence

Robert J. Sternberg and Elena L. Grigorenko (Eds) (2003). The psychology of abilities, competencies, and expertise. Cambridge University Press.

• This is a purely psychological concept of competency, a construct somewhere in between abilities and expertise.

Robert J. Sternberg & John Kolligian, Jr. ((Eds) (1990). Competence considered. Yale University Press.

• Robert J. Sternberg: Prototypes of competence and incompetence (117-145) - Ellen J. Langer & Kwanggyang Park: Incompetence: A conceptual reconsideration. (149-166) - Julie K. Norem & Nancy Cantor: Cognitive strategies, coping, and perceptions of competence (190-203) Albert Bandura: Conclusion: Reflections on nonability determinants of competence. (315-361)
• Het begrip ‘competentie’ isin de psychologie dus bepaald iets anders dan wat er in Nederland in 2009 in het onderwijs onder wordt verstaan. Dat verschil is veelbetekenend: de competenties in de psychologie zijn geen objectief vaststelbare vaardigheden, maar vaardigheden zoals mensen die bij zichzelf of bij anderen waarnemen. Dat waarnemen is bepaald niet objectief, maar veeleer een waarderend waarnemen, dus subjectief tot op het bot.

Haney, W., & Madaus, G. (1978). Making sense of the competency testing movement. Harvard Educational Review

• On the misconception that educational quality improves by using better tests, instead of better instructional methods

McClelland, D.C. (1973). Testing for competence rather than for "intelligence." American Psychologist, 28, 1-14. In a certain way a reaction to that early article is: G. V. Barrett and R. L. Depinet (1991). A reconsideration of testing for competence rather than for intelligence. American Psychologist, 46, 1012-1024. McClelland replied to is, and barrett answered that reply.

Peter W. Airasian, George F. Madaus en Joseph J. Pedulla (Eds) (1979). Minimal competency testing. Englewood Cliffs, New Jersey: Educational Technology Publications.

links

Toetswijzer: Literatuuroverzicht Toetsing en beoordeling van competenties. html

Kenniscentrum voor Erkennen Verworven Competenties (EVC) site

• Geweldig irritant dat EVC als een ding op zich wordt behandeld. "EVC beoogt de erkenning, waardering en ontwikkeling van wat een individu heeft geleerd op school, thuis of op het werk. Mensen moeten flexibel, zoadat ze zich aan nieuwe (arbeids)omstandigheden kunnen aanpassen. Niemand is daardoor ooit uitgeleerd."
• Er is een kwaliteitscode, gelukkig. Maar helaas, zo summier dat iedereen er alle kanten mee op kan.

  http://www.benwilbrink.nl/literature/competencelit.htm