Columns

Vaste columnist van BeleidsonderzoekOnline en TPC, het tijdschrift over openbare financiën, audit & control, leiden regelmatig tot pennevriuchten. Ook schreef ik een tijd columns voor ToeZine. Hier kunt u ze terugvinden (er staan er zo’n 25 op):

Vijf misverstanden over lerende evaluaties

Sinds een jaar of tien is het helemaal hip: ‘lerende evaluaties’. Pioniers waren de WRR en het PBL, maar inmiddels maken ook ministeries er driftig gebruik van. Zelfs het meestal strenge Financiën is voor. De afgelopen jaren vonden er in het kader van de operatie ‘Inzicht in kwaliteit’ dan ook verschillende experimenten met lerende evaluaties plaats. De evaluaties daarvan – niets gaat ons in dit mooie land te ver – zijn, een uitzondering daargelaten, positief.
De stijgende populariteit van lerende evaluaties is niet vreemd. Leren, kennis opdoen, beter worden – wie wil dat nu niet? En bovendien: wie aangeeft te willen ­leren, die mag op krediet rekenen.

Tegelijkertijd bestaan er ook nogal wat vooropgezette ideeën over deze innovatieve vorm van evalueren. Er zou vooral gebruik worden gemaakt van innovatieve kwalitatieve methoden en technieken, zoals tekenen en ‘storytelling’. Ook zou het minder over effecten en doelmatigheid hoeven gaan en daarmee niet zo’n vervelende verantwoordingssmaak meebrengen. Maar door dat alles zouden lerende evaluaties ook minder goed kunnen zijn, minder betrouwbaar vooral. In de column zet ik de vijf grootste misverstanden op een rij.

100 jaar IRF

Er zijn weinig directies van de rijksoverheid zo gevreesd als ‘de IRF’. De Inspectie der Rijksfinanciën, de waakhond van de rijksfinanciën, de oren en ogen maar toch vooral de scherpe tanden van de minister van Financiën. Je kunt er maar beter geen ruzie mee krijgen. Politicus of ambtenaar, iedereen met ambities zal ‘de IRF’ achter zijn voorstellen moeten krijgen. Laat maar eens zien dat het écht nodig en doelmatig is: IRF’ers zetten hun tanden erin en schudden elke overbodige euro er onverbiddelijk uit. Om vervolgens nog te genieten van een rondje in een van de vele kroegen op het Plein. U heeft het beeld.

Van vis naar vissen: duurzaamheid in beleidsevaluatie

Het is een bekend gezegde, vooral in de context van ontwikkelingssamenwerking: ‘Geef iemand een vis en zij heeft een dag te eten. Leer iemand vissen en zij kan zich de rest van haar leven zelf voeden.’ De oorsprong van deze wijsheid gaat eeuwen terug, maar de boodschap is nog steeds duidelijk: als je anderen helpt, zorg er dan voor dat het resultaat van je inspanningen blijvend is. Duurzaam dus. En dat stre- ven naar duurzaamheid zou een centrale plaats moeten innemen bij alles wat be- leidsmakers en onderzoekers doen.

Nobelprijzen op de vulkaan

Dansen op de vulkaan. We deden het in de jaren tachtig, op klanken van De Dijk. ‘Het kan elk moment gebeurd zijn, maar ze gaan nog even door: nog dichter bij de afgrond, nog dichter op het vuur …’ Destijds was het vooral de dreiging van een nucleair armageddon die de toon zette. Maar ook de beroerde economie met zijn massale werkloosheid en het verpeste milieu met zijn zure regen en gaten in de ozonlaag droegen bij aan het gevoel van onafwendbare rampspoed.

Bijvangst van een dividendfiasco (juni 2019)

Een cadeau van twee miljard aan buitenlandse beleggers. En dat elk jaar weer. Een plan zonder gedegen voorbereiding dat in het regeerakkoord is terechtgekomen. Een politieke soap ook, die zijn weerga niet kende. Tenenkrommend was de verbale acrobatiek die maandenlang de schermen van ons nieuws vulde. Ik kan me weinig discussies herinneren die zó schadelijk waren voor het streven naar doelmatige overheidsuitgaven en effectief beleid. Hoezo, ex ante beleidsevaluatie?

Extra pijnlijk aan het hele fiasco was het dat hetzelfde regeerakkoord op veel plaatsen juist rept over het belang van effectiviteit en evaluatie. Van zorgvuldige experimenten. En dan zo’n majeure uitgave er tussendoor proppen? ‘De enige reden die ik kan bedenken is dat de belasting wordt afgeschaft om olie- en gasmaatschappij Shell en levensmiddelenconcern Unilever ter wille te zijn.’ Was getekend: prof. dr. Jan van de Streek, hoogleraar belastingrecht. Hij zag er verder geen enkele onderbouwing voor.

Tegenstanders van afschaffing betoogden dan ook dat geen Nederlander er iets aan had. Nederlandse aandeelhouders mogen de belasting over uitgekeerde winsten altijd al verrekenen met hun inkomstenbelasting. Het hele idee was dus bedoeld voor buitenlandse beleggers, die dat soms wel en soms niet mogen. Met name die laatste groep zag de dividendbelasting het liefst verdwijnen. Niet dat zij er om gevraagd hadden trouwens …

Vóórstanders wezen op het risico dat multinationals Nederland niet langer leuk zouden vinden. Dan zou de dividendbelasting vanzelf opdrogen en dat kost ook geld.

Dat argument sneed geen hout: ons land kwam tot inkeer toen de Britse aandeelhouders van Unilever de verhuizing naar Rotterdam dwarsboomden. Niet dat die verhuizing volgens Unilever iets te maken had met de afschaffing van de dividendbelasting. Maar toch. Gelukkig hebben we het hele dividendfiasco weer achter de rug. Ik stel voor dat we het er ook niet langer over hebben. Nooit meer.

Laten we in plaats daarvan wel deze les leren: veel geld uitgeven zonder een goede onderbouwing is een slecht idee. Laten we dus de bijvangst van de discussie oogsten.Want het goede nieuws is: Nederland wil inzicht in effectiviteit! Massaal! En laten er nu binnen de overheid verschillende initiatieven lopen om effectiviteit van beleid beter in kaart te brengen. En: om te leren van goede voorbeelden en praktijken. Ik denk aan projecten als ‘Inzicht in kwaliteit’ (van Financiën), ‘Lerend Evalueren’ (van VWS) en het streven naar effectief toezicht (van de samenwerkende rijksinspecties). Het is hoog tijd dat we de ervaringen en kennis daarover gaan bundelen. Laten we de handen ineen slaan en een gedeelde standaard ontwikkelen voor de bewijsvoering dat beleid effectief is. Of, als het gaat om investeringen: effectief zal kúnnen zijn.

Vragen die daarbij aan bod kunnen komen zijn: hoe stel je de effectiviteit van beleid in de praktijk vast? En, niet onbelangrijk: hoe ver willen we gaan met die bewijsvoering? Houden we vast aan de gouden standaard van de experimentele aanpak of kunnen we beter ook pragmatisch gebruik maken van bestaande data? Zit er misschien muziek in een systeem met ‘effectiviteitssterren’, waarbij een zwakke bewijskracht lager scoort dan bijvoorbeeld met goed onderzoek bewezen effecten?

Ik draaf misschien een beetje door, maar ik zie het al helemaal voor me: een nationale databank of repertorium met bewezen effectieve beleidsinterventies. Met inspirerende voorbeelden die iedereen kan toepassen. Met resultaten uit het verleden die voor de verandering wèl garanties bieden voor toekomstig rendement. Al is het maar politiek… Het zou in elk geval de doelmatigheid van overheidsuitgaven en de effectiviteit van beleid ten goede komen.

Mechanische doping: toezichthouden op innovatie TPC (2018)

Femke van den Driessche is een Belgische veldrijdster. Althans: dat was ze. En een goeie: ze was nationaal jeugdkampioen veldrijden en cross-country. In 2015 werd ze zelfs Europees kampioene bij de talenten. Maar dan raakt ze in opspraak: bij de wereldkampioenschappen veldrijden in 2016 werd tijdens een controle in een van haar fietsen een motortje aangetroffen. En dat mag niet. Van den Driessche ontkende in eerste instantie dat de fiets van haar was, maar dat mocht niet baten. Ze werd geschorst en is inmiddels helemaal gestopt.

Het is een fascinerend verhaal. Een klassiek treurspel, compleet met de tragiek van een jong slachtoffer. Intussen heeft de internationale wielerunie, de UCI, de handen vol aan wat ‘mechanische doping’ is gaan heten: het stiekem aanbrengen van motortjes in racefietsen. Men heeft nu zelfs röntgenapparatuur aangeschaft om boosdoeners te kunnen betrappen.  

Het allemaal schoot door mijn hoofd tijdens een drukbezochte bijeenkomst van Vide over toezicht op nieuwe technologie. Een relevant en populair onderwerp: innovatie is overal en het tempo hoger dan ooit. Bedrijven moeten nu eenmaal innoveren om te overleven. Niemand wil als het Kodak van de 21ste eeuw de geschiedenis in (Kodak geloofde niet in digitale fotografie). En dat heeft grote gevolgen voor het werk van toezichthouders. Want: hoe hou je toezicht op iets dat je niet eens kent? Of niet begrijpt? Simpelweg omdat het nieuw is…

We innoveren wat af mijn zijn allen. In de financiële dienstverlening geven computers in plaats van mensen ons van beleggingsadvies. In de zorg wordt software ingezet om tumoren op te sporen. In de wereld van vervoer en transport wordt van alles verwacht van de zelfrijdende auto. In vergelijking daarmee is zo’n elektrisch motortje in een racefiets nog maar kinderspel. 

Maar hoe controleer je of het goed en veilig werkt? Hoe zitten die computeralgoritmes eigenlijk in elkaar? Wat betekent het als robots uitgaan van verkeerde veronderstellingen? Kunnen partijen misbruik maken van de gegevens die ze verzamelen? Hoe kunnen we, kortom, het beste omgaan met toezicht op innovatie? 

Twee principes kunnen ons helpen. Op de eerste plaats zou het publieke belang voorop moeten staan. Het publieke belang van fraude in de sport is er niet, maar bij elektrische fietsen of auto’s ligt dat anders. Wanneer een technologische innovatie per saldo een grote verbetering van veiligheid, gezondheid of welzijn kan inhouden, zou die beoogde verbetering voorop moeten staan. Laten we vooraf in kaart brengen wat precies de gezochte winst is en binnen welke randvoorwaarden we die dichterbij kunnen brengen. Om vervolgens de vraag te stellen: past het binnen de spelregels of zijn er juist wetten en regels die in de weg staan? 

Een mooi voorbeeld is de ‘Europese Innovatiedeal’ voor duurzame energie. Bedrijven en overheden gaan daarbij samen belemmeringen in kaart brengen voor de opslag van zonne-energie in elektrische auto’s. Dat levert duidelijkheid op, óók voor toezichthouders.

Het tweede dat goed kan werken is het gebruik van experimenten. Alleen na een goed uitgevoerd experiment kunnen we vaak pas goed beoordelen of de voordelen van een innovatie inderdaad groter zijn dan de nadelen. Toezichthouders zien dit belang ook. AfM en DNB stellen in hun ‘maatwerkbenadering’ van innovatie bijvoorbeeld dat een concept voldoende uitgewerkt moet zijn om het toe te passen in een realistische omgeving. Ook moet volgens AfM en DNB duidelijk zijn wanneer een proefperiode wordt beëindigd. Daarmee voorkom je dat je mee wordt gezogen in een ontwikkeling die je niet meer kunt stoppen.

Of de geschiedenis van Femke van den Driessche hiermee anders zou zijn afgelopen? Het zou kunnen, maar erg waarschijnlijk is het niet. Motortjes horen niet in wielersport, punt uit. Wie dat wel wil moet maar overstappen op motorsport. Toch zou het – ook voor Van den Driessche zelf – beter zijn geweest als er helemaal nooit een motortje zou zijn geplaatst. Bijvoorbeeld omdat men vooraf beducht was geweest voor controle. 

Wat dat betreft is er misschien nog een derde principe: probeer te voorzien op welke manier nieuwe techniek misbruikt kan worden. Toegegeven: dat is moeilijk. Maar wel belangrijk. Want ook bij mechanische doping geldt: vertrouwen is goed, maar controleren ook.

“Hoe vaker je te hard rijdt, hoe hoger je boete. Naar de haalbaarheid van zo’n progressief boetestelsel deed het ministerie van Justitie en Veiligheid onlangs onderzoek. Maar voorlopig ziet het nog te veel beren op de weg. Peter van der Knaap breekt in deze column een lans voor dit stelsel.”

Inspecticide (TPC, Oktober 2018)

Het zal je maar gebeuren: ben je eindelijk geslaagd voor je eindexamen, verklaart de Inspectie van het Onderwijs alle eindexamens van jouw school ongeldig. Het overkwam deze zomer de leerlingen van VMBO Maastricht. De examens voorafgaand aan het centraal eindexamen (ook wel schoolonderzoeken genoemd) waren niet of niet juist afgenomen of geregistreerd. En dat is wel de bedoeling. Anders mogen leerlingen namelijk niet eens aan het centraal eindexamen meedoen.

Heldere zaak. Maar ook een pijnlijke zaak. De vlaaien en vlaggen konden weer de kast in. Grote onzekerheid over vervolgopleidingen en inmiddels geboekte vakanties waren het resultaat. Net als grote politieke verontwaardiging en een fraai staaltje crisismanagement vanuit het ministerie. En, wat mij betreft, constructieve vervolgstappen vanuit de toezichthouder om leerlingen en school een uitweg te bieden.

Momenteel loopt een breder onderzoek naar de betrokken scholen en hun bestuur.  Dat is een goede zaak, want er lijkt dat daar veel misging. De betrokken bestuursvoorzitter van VMBO Maastricht gaf in een strijdvaardige reactie aan te verwachten, dat ook de rol van de Onderwijsinspectie daarbij wou worden betrokken. ‘Klopt het dat gedetailleerde, door de Inspectie vastgestelde programma’s van toetsing en afsluiting tot ondoenlijke situaties leiden op veel scholen in Nederland?’, zo stelde hij publiekelijk als onderzoeksvraag voor. Situaties, zo vervolgde hij, waarvoor de leerlingen van het VMBO Maastricht ‘nu zo worden gestraft’? 

Het is een bekend verwijt voor toezichthouders. Beleidsmakers, maar vooral toezichthouders, stellen zoveel eisen en regels dat bedrijven of burgers het nooit goed kunnen doen. Om nog maar te zwijgen over het vermeende dodelijke effect daarvan op ‘de professionele habitus’: het vakmanschap van de mensen die het echte werk moeten doen. 

Het woord ‘inspecticide’ drukt dat gevoel pijnlijk duidelijk uit. Alsof toezicht een soort vergift is dat alles kapotmaakt. Alsof er voor iemand die zijn vak goed wil doen geen leven meer is door toezicht en inspectie.

Vooropgesteld: ik vind insecticide een uitgesproken rotwoord. Het bleef als een graat in mijn keel steken toen ik las dat dezelfde bestuursvoorzitter er, eerder dan de affaire, over had geschreven. Hij pleitte voor toezicht dat zich richt op onderwijskwaliteit. En niet op enkele ‘vrij arbitraire parameters’, zoals ‘het verschil tussen de cijfers van schoolonderzoeken en die van het centraal schriftelijk examen’. Het zou moeten gaan om de toegevoegde waarde die een school biedt in het leerlingen voorbereiden op vervolgonderwijs, de arbeidsmarkt en een goede plek in de samenleving. Waarbij scholen op de eerste plaats zelf de verantwoordelijkheid hebben daar op te sturen en kritiek te organiseren. 

Mooi pleidooi wel. Volgens mij is dat ook wat de Onderwijsinspectie wil. Waarbij mij een eventueel verschil tussen de resultaten van schoolonderzoeken en die van het centraal schriftelijk eindexamen wel degelijk relevant voorkomen trouwens. Maar dit terzijde. Want de les uit Maastricht is dat je bij regeldruk niet meteen naar de toezichthouder moet wijzen. Ook hier geldt: begin bij jezelf. Zo blijkt uit een reconstructie van dagblad De Limburger dat VMBO Maastricht het vooral zichzelf heel moeilijk heeft gemaakt. Hoe? Door precies te doen wat nu de Inspectie wordt verweten: veel eisen en regels op te stellen rond het toetsprogramma. Dat ook nog eens erg omvangrijk was. Alle toetsen, overhoringen en zelfs huiswerkopdrachten stonden erin! Waarbij elk foutje onherroepelijk zou kunnen leiden tot uitsluiting van het eindexamen. Wie zo’n breed programma maakt, kan zichzelf lelijk in de vingers snijden, zo concludeerde de krant puntig. 

Insecticide. Het blijft een lelijk woord met hele nare associaties. Het suggereert ook een hele slechte verhouding tussen veld en toezichthouder. En dat is onnodig. Ik denk dat iedereen het met Postema eens is als hij stelt dat scholen en schoolbesturen vooral zelf moeten sturen op kwaliteit. De les van dit verhaal is dat je daarbij – ook als je het goed voorhebt met leerlingen – moet oppassen voor te veel detailsturing. 

Een toezichthouder kan daarbij een goede rol spelen. Niet als inspecticide, maar als iemand die in de tuin meehelpt om onkruid te wieden. Die toeziet op hoe scholen hun verantwoordelijkheid organiseren en tegelijkertijd scherp blijft kijken naar de opbrengsten. Van zo’n verhouding plukt iedereen de vruchten. En het voorkomt dat leerlingen de dupe worden van slecht schoolbeleid. Waarbij een verstoorde relatie tussen school en toezichthouder hen niet helpt.