Deze column is eerder gepubliceerd in het aprilnummer van Het Onderwijsblad
In maart publiceert het organisatiebureau McKinsey het rapport ‘Toetsen getoetst’. Daaruit blijkt dat de centrale examens voor de vakken natuur- en wiskunde op het vwo makkelijker zijn dan 30 jaar geleden. 40 hoogleraren van bèta-faculteiten onderschrijven dit. Onderzoeken tonen bovendien al even aan dat kinderen minder leren op school. Tegelijkertijd neemt de stroom richting universiteit toe. Het McKinsey rapport zegt; ziehier de verklaring. Het eindverantwoordelijke College voor Toetsing en Examen (CvtE), reageert met; onzin, het onderwijs is veranderd, je kunt toen niet met nu vergelijken.
Deze makkelijke reactie is onacceptabel, omdat het CvtE de dader is. Neem het examen economie op vwo. Dertig jaar terug, vakinhoudelijk prima. Ik maakte het examen altijd, moest mijn best doen en haalde dan iets in de buurt van de tien. Nu doe ik dat niet meer. De vakinhoud is minder, verstopt in bergen tekst, tabellen en grafieken, vanwege het overkoepelend leerdoel transfer. Leerlingen kennen niet alleen het vakbegrip, ze lossen er problemen mee op en doen dat in verschillende contexten. Die transfer is net zoiets als inzicht, een nogal polyinterpretabel begrip. Precies dat maakt begrijpen wat de vragensteller nu precies wil, ingewikkeld. Nadat de psychometrische afdeling uit hoofde van betrouwbaarheid het antwoordmodel dichtkit, gaat ingewikkeld over in bizar. Een voorbeeld. De leerling moet na een breed uitgemeten context een welvaartseffect beoordelen. ‘Ze gaan er allebei op achteruit’ moet ik fout rekenen, want de begrippen ‘lagere omzet’ en ‘suboptimaal’ ontbreken. Maar in de opgavetekst daalt de omzet, dat is hun gezamenlijk welvaartsverlies, een blinde ziet het, nul punten. Het is niet anders, de examens zijn makkelijker, maar contextueel gebabbel, open vragen en een retestrak antwoordmodel veroorzaken wel lagere scores. Vorig jaar landelijk de helft onvoldoende. Dus ja, CvtE, de examens economie van 30 jaar terug zijn onvergelijkbaar met die van nu. Toen waren ze namelijk goed, nu niet meer en dat komt door jullie.
De inmiddels overleden hoogleraar Arnold Heertje constateerde in 1999 voor het eerst fouten in het examen economie. Daarna is het op en af. Daar valt nog mee te leven. Maar het falen dat McKinsey constateert is van een andere orde. Wiskunde bepaalt de kans op bijna al het later studiesucces. ‘Toetsen getoetst’ laat zien dat het CvtE haar kwalificatiefunctie niet serieus neemt, terwijl die functie een op een is verbonden met lid 1 van artikel 23; de aanhoudende zorg van de minister. Maar politiek en bestuur hebben niks met die grondwet. Ze zwijgen het rapport dood en vinden het dus prima dat kinderen minder leren in wiskunde dan leeftijdgenoten in het buitenland. Maar formaliseer dat dan. Geef elk kind in de brugklas alvast een vwo-diploma. Dit onder het motto; aan leerprestaties hebben we schijt, allemaal naar de universiteit.
Een waar woord Ton! Ik loop ruim 40 jaar mee in het onderwijs (VO en HBO) en zie amper enig constructive alignment (sorry voor deze kreet) wat we de leerlingen HAVO en VWO willen laten leren en de examinering daarvan. Ik heb daarbij zowel vraagtekens bij de landelijke exameneisen qua vak inhoud, als de centrale toetsing daarvan.
Ik doe nu examentraining met mijn 6V en dacht deze ochtend; het programma geeft leerlingen geen samenhangende houvast (verhaal van Bovenberg zou uitkomst kunnen bieden) en de examens van de laatste twee jaar zijn beneden alle peil, zowel vakinhoudelijk als toetstechnisch. Maar ja, ik kan daar weer wel een artikel over schrijven, het kan namelijk makkelijk anders en beter, maar ik heb toch niet het idee dat het iets uithaalt. Of beter, ik heb niet zo’n zin in een proces dat is als dikke stront door een trechter duwen.
Ik vraag mij af of u het rapport wel gelezen heeft, laat staan kritisch gelezen heeft. De eerste fout staat al in de derde zin van uw post: “40 hoogleraren onderschrijven dit”. Ik neem aan de namen genoemd op p. 21 en 22. Dat zijn niet allemaal hoogleraren, laat staan dat ze de conclusies van het rapport onderschrijven. Ze zouden onderdelen hebben gevalideerd, wat dat ook moge betekenen. De methode in het rapport schiet tekort om de conclusie te ondersteunen. Het staat bol van onjuiste of niet onderbouwde aannames, fouten in de data, fouten in de analyse. Ik raad iedereen aan toch vooral voorbij de conclusie te lezen en het rapport kritisch te analyseren.
Natuurlijk heb ik het rapport gelezen. En vooral, ik herken de conclusies helaas ook in mijn eigen vak. Zoals uitgelegd in de column.
Ik heb dat van meer mensen gehoord: ik herken de conclusies, de tekst spreekt mij aan, dus het zal wel kloppen. De volgende zaken over de data roepen dan geen vraagtekens meer op (enkele voorbeelden van velen):
– De ene dataset wordt lineair gefit, een ander parabolisch. Geen enkele verklaring waarom. Die parabool wordt bepaald door 1 afwijkend datapunt. Met bovenstaand punt kan ik hier alleen maar van maken dat de data zo wordt gepresenteerd om deze maximaal negatief (en dus niet objectief) te presenteren. Dat komt overeen met het representeren van de resultaten voor wiskunde en natuurkunde in dezelfde grafiek terwijl het rapport zelf al aangeeft dat de resultaten voor die vakken verschillen. Concreet: er lijkt voor wiskunde veel meer aanwijzing dat er iets aan de hand zou *kunnen* zijn, bij natuurkunde is dat veel minder sterk.
– Een steekproef met N=7 statistisch significant verklaren
– Onjuiste weergave van de inhoud van de syllabus (moet je natuurlijk wel de syllabus kennen).
– Auteurs die zelf bepalen wat ze moeilijk en makkelijk vinden (niet de vakexperts, via een gevalideerd meetinstrument, dubbel blind)
– Er wordt coulanter nagekeken: onjuist (of niet te bepalen) en spreek je zelf ook tegen in je column
Ik schrik vooral van hoe ongenuanceerd iedereen de conclusies papegaait. Er wordt niet kritisch gelezen. Zie allerhande reacties in media en socials. Veel ‘ja dat zeg ik al jaren’.
Ik papegaai helemaal niks, in mijn column constateer ik dat een rapport dat 1500 examenitems bekijkt en tot de conclusie komt dat de examens vakinhoudelijk makkelijker zijn in de vakken natuur- en wiskunde, dat dit rapport niks doet in media en politiek (wat ongeveer hetzelfde is). Dat is best raar. En, hoe kan het toch dat bij wiskunde de SE cijfers landelijk lager liggen dan bij het CE? Ik weet het antwoord.