Brief aan CvTE en CITO over slecht examen economie vwo 2022

Het examen economie VWO van dit jaar bevat opgaven met leuke contexten en open vragen, maar de combinatie met een wel erg expliciet antwoordmodel is een recept voor ellende. Ik heb daar een brief over geschreven naar de opdrachtgever Het College voor Toetsing en Examens (CvtE) en de makers, CITO. Die brief staat hieronder afgedrukt.

Ik publiceer de brief in het volle besef dat dit niet netjes is, maar ik kan moeilijk anders. Het antwoord van CITO luidt namelijk; wij gaan dit niet lezen, wij zijn slechts de makers, u moet bij de opdrachtgever zijn. Het CvtE laat via een secretaresse weten dat ook zij dit niet gaan lezen.

Zo gaat het vaak in onderwijsland. Bestuurlijke technocraten dekken hun incompetentie toe door hooghartig kritiek naast zich neer te leggen. Het is niet de eerste keer dat ik dit misplaatst zelfvertrouwen bij opzichtig falen ontmoet. Maar daarmee rest me ook niks anders dan publicatie en verspreiding, waarna het weer opiniestukken en media wordt. Het had zo makkelijk anders gekund.

Ik heb op 15 juni een procedurele reactie ontvangen van het CvtE, een inhoudelijke reactie volgt na het tweede tijdvak.

Aan: College voor Toetsing en Examens, vakgroep Algemene Economie

CITO, schrijfgroep economie

Inzake: kwaliteit examen economie VWO en correctie

Geachte heer/mevrouw, 

In 1999 kopte De Volkskrant op de voorpagina ‘fouten in examen economie’. Volgens Arnold Heertje klopte er het een en ander niet. Ik heb vaker met Heertje het ministerie bezocht om te wijzen op fouten in het examen. Met name de vragen over de Phillips curve waar beschamend. Maar de examens waar wij het toen over hadden waren parels vergeleken met het werk van dit jaar. Voor het examen in 1999 haalde ik met gemak een 10. Aan het werk van 2022 begin ik niet eens. En ik ben bang dat een substantieel deel van de leraren economie voor dit werk zelfs geen voldoende haalt. En dat komt niet door een gebrek aan vakkennis, maar door een open vraagstelling  gecombineerd een zeer expliciet correctievoorschrift. Dit gevoel wordt breed gedeeld door de collega’s.

Ik corrigeer een eindexamen op de volgende manier. Ik lees de vraag, kijk wat de leerling heeft, ga op zoek naar wat die goed doet, kijk of ik dat kan verantwoorden met het antwoordmodel en geef de punten, of niet. Mijn tweede correctoren doen het andersom. Zij hebben eerst hun eigen werk nagekeken, vanuit de daarmee opgedane ervaring en opvattingen hanteren ze het correctievoorschrift en gaan op zoek naar wat daarvan afwijkt. Dus als een leerling bij vraag vier over een suboptimale situatie schrijft; ze gaan er allebei op achteruit, geef ik de punten en halen de tweede correctoren er minimaal een punt af, omdat de woorden suboptimaal en lagere omzet niet genoemd zijn en ja, die staan in het correctievoorschrift, maar wat mijn leerling schrijft is wel hetzelfde. 

Dit zijn situaties die u uitlokt. Ik zal een bijlage bijvoegen met voorbeelden van erg open vragen gecombineerd met een vlijmscherp correctievoorschrift. Dat is unfair want leerlingen hebben het correctievoorschrift er niet bij, zij beantwoorden een vraag vanuit een beschreven context.  En dus ontstaat er frictie tijdens de tweede correctie. Mijn tweede correctoren van dit jaar zijn integere mensen die keurig hun werk doen, weliswaar met de bias van hun eigen correctie. En als ze mij aanspreken op mijn slordigheid en nonchalance, alle begrip. Maar zo gauw hun handelen doorslaat naar fout rekenen van wat vakinhoudelijk verdedigbaar is, gaat de frictie in de overdrive. Zij vinden elke afwijking van het correctievoorschrift fout. Ik vind dat niet en verantwoord dat met artikel 3.3 van het correctievoorschrift. Dat artikel zegt: indien een antwoord op een open vraag niet in het beoordelingsmodel voorkomt en dit antwoord op grond van aantoonbare, vakinhoudelijke argumenten als juist of gedeeltelijk juist aangemerkt kan worden, moeten scorepunten worden toegekend naar analogie of in geest van het beoordelingsmodel. Maar de explicitering van het antwoordmodel -als de export niet genoemd is nul punten- maakt collegiaal overleg over inhoud nagenoeg onmogelijk.

Ik ben een groot voorstander van het Centraal Examen, maar op deze manier, stop er maar mee. Dan doe ik het liever zelf. Een centraal examen hoort aan te sluiten bij wat kinderen in een vak leren tijdens de lessen. Maar u geeft leerlingen eerst te weinig tijd, vraagt nooit rechtstreeks naar vakkennis, zet eerst een aantal taalvallen uit in een breed uitgemeten context, daarna komt de econoom, politicus of persoon die iets zegt, waarna de leerling aan de slag moet met open handelingswerkwoorden als verklaar of analyseer. Een leerling kan daar vakinhoudelijk verantwoord van alles op zeggen, maar het correctievoorschrift is zo nauwkeurig dat het veel van het goede wegmaait. Het antwoordmodel is als een heftig medicijn; het bestrijdt onbetrouwbaarheid, maar het differentieert niet en de bijwerking is onrechtmatig puntenverlies. Dus als u vraagt naar negatieve externe effecten en maatschappelijke kosten rond een leasebedrijf met fietsen, schrijft de leerling; meer fietsen is minder auto, is minder overlast en stank. Goed, zou ik denken. Nee hoor, ze moeten een voorbeeld noemen van een paar regels terug. Maar in de vraag staat niet; leg met dit voorbeeld uit.  

Ik weiger mijn leerlingen met zo’n antwoord voor de bus te gooien. Het is mijn plicht de behaalde score te kunnen uitleggen aan ouders en leerlingen. Kan ik dat niet, dan resulteert dat in klachten en zelfs rechtszaken, zoals een paar jaar terug bij het examen Frans. Voor de duidelijkheid, onder dwang van de tweede correctoren heb ik ze na anderhalve week vechten alsnog voor de bus gegooid. Ik kon niet anders, maar na enige reflectie zeg ik; ik doe dit nooit meer. 

Ik heb op basis van het bovenstaande voor u een aantal vragen;

-begrijpt u dat het steeds verder expliciteren van het antwoordmodel niet tot minder, maar juist tot meer conflicten tussen de eerste en tweede corrector leidt? En is het niet zo dat tweede correctoren verschillend hiermee omgaan, de een heeft daar geen zin in, de ander vindt het heerlijk, en is het dan niet zo dat ook dat gegeven de betrouwbaarheid van de toetsing aantast?  

-hoe ziet u de rol en verantwoordelijkheden van de examinator en de gecommitteerde? Is het de bedoeling dat de gecommitteerde bij elk interpretatieverschil zijn gelijk afdwingt? Of geeft de mening van de examinator, die de kinderen en het vak kent, en op basis van regel 3.3 uit het correctievoorschrift op zoek gaat naar wat zijn leerling vakinhoudelijk goed doet, de doorslag? 

-mocht het antwoord op de vorige vraag enkel het antwoordmodel als geldend benoemen, waarmee feitelijk de gecommitteerde benoemd is tot examinator, is het dan niet beter om gesloten vragen te stellen en een machine de correctie te laten doen?

-ik heb mijn les dit jaar wel geleerd, overkomt me dit nog een keer dan vraag ik meteen om een derde corrector, ik neem geen verantwoordelijkheid meer voor het fout rekenen van goede antwoorden, mijn vraag is dan; is het zo dat het aantal derde correcties de afgelopen jaren is toegenomen? 

-wat doet u aan de kwaliteit van de examens? Leerlingen moeten de vragen kunnen beantwoorden conform het antwoordmodel, dan moeten dat model en de vraagstelling toch echt beter. Gaat u dit verbeteren en hoe gaat dat dan?   

-wat is de rol van vakoverstijgende vaardigheden in het examen economie? Een vraagstelling gelardeerd met uitgebreide contexten lijkt steeds meer op een semantische jungle met polyinterpretabele teksten. Voor mijn Syrische vluchteling, een econoom in de dop, echt, hij heeft meer aanleg voor het vak dan de meeste collegae, was dit een kansloze missie. Is dit eigenlijk wel eerlijk?

Een antwoord zou fijn zijn. 

Met vriendelijke groet,

Ton van Haperen 

Ton van Haperen is 37 jaar leraar economie aan een middelbare school, 25 jaar vakdidacticus aan de EUR (tot 2006) en de Universiteit Leiden, hij heeft verschillende vakdidactische boekjes en lesmethodes geschreven.

Bijlage; voorbeelden van vragen en correctievoorschrift

Ik kan elke vraag analyseren en dan komt er eigenlijk elke keer iets vreemds naar voren. Het gaat bij 4 en 5 al mis. Maar ik zal een paar voorbeelden benoemen, naast de voorbeelden in de brief.

Vraag 10

ii. De eigen economie is afhankelijk geworden Cinai. De vraag is; leg deze stelling uit. Dat ziet de leerling meteen want de importwaarde stijgt sterk, de exportwaarde amper. Maar de voor de hand liggende observatie is fout volgens het correctiemodel. De leerling moet de import en de export noemen, de totale handel. Maar waarom zou die dat doen? Tijdens Corona hadden we een tekort aan mondkapjes, pijnstillers, want die importeerden we. Daar zit die afhankelijkheid. Nul punten. Als ik het werk had moeten maken, had ik deze vraag fout gehad. En dat is geen argument, ik weet het.

Vraag 15 en 16. Een schema afgedrukt. Verklaar met behulp van figuur 1 dat een lagere groei van de lonen kan leiden tot een lagere groei van de arbeidsproductiviteit, dat globalisering een negatieve invloed heeft op de loonquote. 

Die kinderen lopen het schema af met positieve en negatieve verbanden. Schrijven die netjes op. De verklarende constatering is, als de een stijgt, stijgt de ander ook, zo werkt het bij een +. Het is een logisch antwoord op de vraag. Maar het antwoordmodel wil uitleg van die verbanden. Vraag dat dan en neem als handelingswerkwoord ‘leg uit’ en dus niet ‘verklaar’. Of nog scherper, leg met een voorbeeld uit. Of, leg het positieve verband tussen de groei van de lonen en arbeidsproductiviteit uit. Overigens zorgt het schema enkel voor verwarring, zonder het schema hadden die vragen ook gekund en gegarandeerd meer goede antwoorden opgeleverd.

17. Rekensommetje van 17 valt het een ander over te zeggen, laat ik gaan.

18. is een dieptepunt. De vraag gaat over de loonquote. Het begint met een onbegrijpelijk en vooral fout verhaal. Flexibele arbeid zijn vaak zzp-ers, die verdienen per uur niet minder, zoals in de tekst gesteld, maar meer. Ter verduidelijking; als ik vervangen word door een leraar van het uitzendbureau Maandag dan verdient de vervanger 75 euro per lesuur. Ik word prima betaald, maar dat haal ik op geen stukken na. Maar erger is, dit inkomen zit niet in de loonquote, maar hoort als toegerekend loon zelfstandigen bij arbeidsinkomensquote. Hier staat misleidende informatie. Het antwoord heeft ook weinig met economie te maken, het is de verklaring van een onbegrijpelijke tekst, wat dan ook meestal resulteert in gebrabbel. Voor 19 geldt eigenlijk hetzelfde, leerlingen leggen keurig de loonstarheid uit en hoe dat werkt in relatie met de conjunctuurbeweging, maar punten krijgen ze niet.

26. Context bedrijf in leasefietsen, denkt na over prijsdiscriminatie, twee groepen, studenten en overige, verhaaltje, vraagvergelijkingen, de context is prima, maar beslaat ook een hele pagina. Dan komt een goede vraag, met goed antwoord, gevolgd door deze draak; Ellen zegt op basis van tabel 1 dat prijsdiscriminatie mogelijk is. Ze wijst op het verschil in maximale betalingsbereidheid van de twee groepen waardoor voor groep 2 een hogere prijs wordt gerekend. Geef voor deze stelling een verklaring. 

Vraag prima, antwoord niet. Daar is de maximale betalingsbereidheid ineens uitgerekend en essentieel voor het punt. Had dat dan gevraagd (Reken de maximale betalingsbereidheid van beide groepen uit en geef een plausibele verklaring voor het verschil in uitkomst). Nu heb ik het antwoord ‘studenten hebben minder geld en dus zijn ze niet bereid een hoge prijs te betalen’ nul punten moeten geven, terwijl het op basis van de informatie een prima antwoord is.

29. deze vraag is al genoemd in de brief, maar toch nog een ding. Er staat; Het gemeenteraadslid stelt dat de manier waarop Bike Mobility werkt een prikkel inhoudt om negatieve externe effecten te verminderen en daarmee de maatschappelijke kosten verlaagt. De vraag is; leg de stelling van het gemeenteraadslid uit. Goede vraag, kun je op verschillende manieren vanuit de context uitleggen. Maar in het antwoordmodel staat dat je moet uitleggen wat externe effecten zijn, namelijk ‘zitten niet in de prijs van fietsen’. Maar waarom zou een leerling dat in zijn antwoord toevoegen? Het wordt simpelweg niet gevraagd. Als de vragensteller wil dat ze een begrip uitleggen, vraag dat dan! Leg het begrip negatieve externe effecten uit en geef aan hoe het gemeenteraadslid denkt dat Bike Mobility een bijdrage levert aan de verlaging van de maatschappelijke kosten. Mijn leerlingen hadden deze vraag zonder problemen goed gedaan, nu dus niet.

Deze lijst is niet uitputtend. Er zijn veel meer voorbeelden van best redelijke, maar vooral ook open vragen, met een messcherp antwoord, geformuleerd in een correctievoorschrift waarbij staat dat elke afwijking puntenverlies impliceert. Zoals al eerder gesteld; leerlingen hebben dit correctievoorschrift er niet bij en kunnen slechts raden naar de verwachting van de vragensteller. Echt, had 100 leraren economie dit werk een week voor het afnemen van het examen laten maken, gecorrigeerd door mijn tweede correctoren en ik weet zeker, het had geresulteerd in een hoosbui van onvoldoendes. Mooi hoor, dat leerlingen hun leraren moeten overtreffen, maar niet al aan het einde van de middelbare school.