Aan de Voorzitter van de Tweede Kamer der Staten-Generaal
Den Haag, 2 december 2016
Bij de Algemene Politieke Beschouwingen van 2011 heeft de regering toegezegd uw Kamer te informeren over de resultaten van het Actieprogramma Onderwijs Bewijs.1 Omdat Onderwijs Bewijs dit kalenderjaar afrondt, doen wij middels deze brief die toezegging gestand.
In 2008 is naar aanleiding van de aanbevelingen van de commissie-Dijsselbloem besloten tot het opzetten van het Actieprogramma Onderwijs Bewijs. Het actieprogramma had als doel om evidence based onderwijs te stimuleren en wetenschap en praktijk dichter bij elkaar te brengen. Onderwijs Bewijs is het eerste grootschalige actieprogramma gericht op het bevorderen van experimenteel onderzoek in het onderwijs. Daardoor was het programma op zichzelf al een vorm van leren door te experimenteren.
Onderwijs Bewijs heeft wat ons betreft twee belangrijke resultaten opgeleverd. Ten eerste is nieuwe kennis vergaard over de effectiviteit van verschillende onderwijsinterventies. Onderwijs Bewijs heeft een bijdrage geleverd aan de kennisbasis die nodig is voor goed onderwijs en waar leraren en andere onderwijsprofessionals uit kunnen putten. Een aantal experimenten heeft echter ook problemen gekend in de uitvoering en heeft weinig resultaat opgeleverd. Ten tweede laat Onderwijs Bewijs zien dat gerandomiseerd experimenteel onderzoek in het onderwijs goed mogelijk is en in het onderwijs praktisch toepasbare wetenschappelijke kennis oplevert over wat werkt, voor wie en in welke context.
Om aan dit laatste praktische consequenties te verbinden, willen we graag dat het experimenteel toetsen van onderwijsinterventies een stevige plek gaat innemen in het onderwijsonderzoek. Wij gaan daarom het Nationaal Regieorgaan Onderwijsonderzoek (NRO) vragen te verkennen hoe experimenteel onderzoek beter verankerd kan worden in het Nederlandse onderwijsonderzoek.
Actieprogramma Onderwijs Bewijs
Oorsprong en aanleiding
Evidence based onderwijs kreeg tien jaar geleden in Nederland een impuls. In 2006 adviseerde de Onderwijsraad om meer gebruik te gaan maken van evidence based onderwijs, onder andere met «harde bewijsvoering» via gecontroleerde experimenten.2 In 2008 bracht de parlementaire onderzoekscommissie Onderwijsvernieuwingen het eindrapport Tijd voor onderwijs uit.3 De commissie riep onder andere op tot een stevigere relatie tussen onderwijspraktijk en -onderzoek. Resultaten van onderzoek zouden beter beschikbaar moeten zijn voor de onderwijspraktijk en de praktijk zou vaker onderwerp van onderzoek moeten zijn. Het rapport beval aan dat de overheid een stimulerende rol zou spelen bij het tot stand brengen van evidence based vernieuwingen in het onderwijs.
Gecontroleerd en quasi-experimenteel onderzoek zijn de hoeksteen van evidence based onderwijs. Onderwijsonderzoek kent vele benaderingen, technieken en methoden. Iedere methode heeft zijn eigen doel en geschiktheid voor de beantwoording van verschillende vragen uit praktijk, beleid of wetenschap. De vraag naar de effectiviteit van bepaalde interventies (wat werkt, voor wie, in welke context?) kan het best beantwoord worden aan de hand van experimenteel of quasi-experimenteel onderzoek. Effecten van een interventie zijn namelijk alleen vast te stellen als de interventie- en controlegroep nagenoeg identiek zijn. Pas dan kunnen we vaststellen dat de gevonden verschillen zijn veroorzaakt door de interventie en niet door vooraf bestaande verschillen tussen beide groepen. Experimenteel onderzoek bereikt die absolute vergelijkbaarheid door willekeurige toewijzing van individuen of groepen aan een interventie- of controlegroep (randomized controlled trials). Bij quasi-experimenteel onderzoek maken de onderzoekers gebruik van al in de werkelijkheid bestaande willekeurige verschillen.
Doel
Naar aanleiding van de aanbevelingen van de commissie-Dijsselbloem startte in 2008 het actieprogramma Onderwijs Bewijs, in eerste instantie «Leren door te experimenteren» geheten. Het doel van het actieprogramma was tweeledig. Enerzijds beoogde Onderwijs Bewijs het verkrijgen van meer evidence based kennis over effectief onderwijs. Anderzijds had het tot doel meer verbinding te leggen tussen het onderwijsveld en wetenschappelijk onderzoek. Het actieprogramma beschikte over een budget van € 23 miljoen (FES-middelen).
Om de verbinding tussen praktijk en wetenschap te garanderen konden voorstellen voor te financieren experimenten alleen gedaan worden door consortia van onderzoekers en praktijkmensen. Voorwaarde was dat beide partijen zich committeerden aan de voorwaarden van het experiment.
Opzet
Onderwijs Bewijs heeft in twee rondes (2008 en 2010) 186 voorstellen van consortia ontvangen en beoordeeld. Uiteindelijk is aan in totaal 37 voorstellen subsidie verleend. Het actieprogramma werd vormgegeven als een prijsvraag om de middelen toe te kennen aan de meest kansrijke voorstellen.
Om meer gerichtheid aan te brengen in de voorstellen, konden consortia voorstellen doen binnen door OCW vastgestelde thema’s. In de eerste ronde waren dit: lerarentekort; taal- en rekenonderwijs; de relatie tussen onderwijs en jeugdzorg; en het signaleren en begeleiden van hoogbegaafde leerlingen. In de tweede ronde waren dat: dagindeling en opvang; excellentie; burgerschap: gedragsproblemen en pesten; en vermindering van achterstanden.
In beide rondes is een jury ingesteld om de voorstellen te beoordelen en te adviseren over de te selecteren experimenten. Beide keren stond prof.dr. Robbert Dijkgraaf aan het hoofd van deze commissie, waaraan verder twee onderwijswetenschappers en twee vertegenwoordigers uit het primair en voortgezet onderwijs deelnamen.
Naast twee keer een tijdelijke jury kende Onderwijs Bewijs tevens een permanente wetenschappelijke begeleidingscommissie. Deze heeft gedurende het programma de individuele projecten begeleid en had als taak toe te zien op de adequate wetenschappelijke uitvoering van de experimenten. De commissie stond tot 2014 onder voorzitterschap van prof.dr. Lex Borghans (Universiteit Maastricht). Daarna nam prof.dr. Dinand Webbink (Erasmus Universiteit Rotterdam) de voorzittershamer over. Door inhoudelijke beoordeling van de jaarlijkse tussenrapportages en het eindrapport alsmede ondersteuning waar nodig, heeft de begeleidingscommissie een essentiële rol gespeeld in het waarborgen van de wetenschappelijke kwaliteit en de experimentele aard van de projecten.
Resultaten
De doelen van Onderwijs Bewijs waren een betere verbinding tussen onderwijs en wetenschap tot stand te brengen en meer kennis te vergaren over de effectiviteit van verschillende methodes en interventies. Die doelen zijn grotendeels behaald.
Verbinding onderzoek en praktijk
De wetenschappelijke begeleidingscommissie concludeert in haar eigen evaluatie (zie bijlage)4 dat de bereidheid van scholen om deel te nemen aan experimenten groot is geweest. Mede daardoor hebben de experimenten plaats kunnen vinden.
De verbinding tussen onderzoek en praktijk is cruciaal gebleken voor het slagen van de projecten. Omdat voorstellen voor onderzoeksprojecten alleen konden worden ingediend door consortia, werd van scholen en onderzoekers verwacht dat zij vanaf de start met elkaar samenwerkten. Met recht: de projecten die voortkwamen uit een gezamenlijk vraagstuk van een groep scholen die in overleg met onderzoekers werd omgezet naar een onderzoeksvraag zijn de meest succesvolle projecten geweest.5
Tegelijkertijd merkt de commissie op dat het behalen van voldoende deelnemende scholen, klassen of leerlingen geen sinecure is geweest. Een goede verbinding tussen onderzoekers en onderwijsveld is niet overal van de grond gekomen. Er waren ook projecten die te maken hadden met uitval van scholen of een te laag aantal scholen om goede experimenten- en controlegroep samen te stellen. Dit is een van de belangrijkste lessons learned waar we verderop in deze brief op terug komen.
Een mooi resultaat is dat tientallen onderzoekers door Onderwijs Bewijs ervaring hebben kunnen opdoen met experimenteel onderzoek. Evidence based onderwijsonderzoek heeft pas sinds begin deze eeuw in Nederland voet aan de grond gekregen. Onderwijs Bewijs is het eerste grote programma waarin veel onderzoekers tegelijkertijd deze vorm van onderzoek hebben gebruikt. In die zin heeft Onderwijs Bewijs dus bijgedragen aan verspreiding van de methoden en technieken van experimenteel onderwijsonderzoek. Op een vragenlijst van de wetenschappelijke begeleidingscommissie onder de onderzoekers van Onderwijs Bewijs antwoordde een grote meerderheid de meerwaarde te zien van experimenteel onderzoek en liet 80 procent weten het de extra inspanningen ten opzichte van andere vormen van onderzoek waard te vinden. De helft van de respondenten liet weten opnieuw gecontroleerde experimenten te willen gaan uitvoeren.
Meer kennis
Het tweede doel was meer kennis over effectieve interventies. Het ging om het verrijken van de kennisbasis waar leraren, scholen en begeleidingsdiensten dagelijks uit kunnen putten. Zoals gezegd hebben een aantal projecten inderdaad mooie en belangwekkende resultaten opgeleverd. Echter, bij enkele andere experimenten zijn kleine, wisselende of geen effecten gevonden. In de bijlage6 vindt u een overzicht van de projecten met een beknopte beschrijving van de resultaten. Hier stippen wij enkele projecten aan.
Voorbeelden van aansprekende resultaten zijn die van het project «Preventie en gedragsproblemen in het basisonderwijs» dat positieve effecten vond van twee programma’s gericht op leerlingen met gedragsproblemen. Het project «Fit & Vaardig op school» toonde positieve effecten van bewegen tijdens de les. «Excellent onderwijs en effecten op cognitief excellente leerlingen» liet zien dat de interventie Excel Kwadraat leidt tot betere rekenprestaties van cognitief sterke leerlingen. Hun leraren rapporteren tevens hogere differentiatievaardigheden.
Voorbeelden van projecten die geen effecten lieten zien, zijn «Yes I can! Weerbaar worden tegen negatieve stereotypen» en «Leescoaches in het voortgezet onderwijs». De interventies bleken geen effect te hebben. Wisselende effecten toonde bijvoorbeeld het project «Een poging tot verbetering van motivatie en studieloopbaan in het mbo». Dit onderzoek onderzocht de effectiviteit van de TIME-interventie. De interventie had een positief effect op leergedrag en uitval. Maar de leeroriëntatie van deelnemende studenten (gerichtheid op verbeteren van eigen prestaties en interesses in de lesstof) ontwikkelde zich nadelig.
Helaas waren er ook enkele projecten die te kampen hadden met hoge uitval van deelnemende scholen. Het project «Naar onderwijs voor en door hoogbegaafde leerlingen» heeft zich bijvoorbeeld noodgedwongen moeten beperken tot twee case-studies.
Verspreiding van resultaten
Evidence based of informed onderwijs kan niet volstaan met het verwerven van kennis. De kennis moet ook ontsloten worden voor de praktijk. Helaas was er aan het begin van Onderwijs Bewijs geen apart budget gereserveerd voor disseminatie van de resultaten. Desalniettemin hebben we met behulp van vrijgevallen middelen van het bestaande budget op een aantal manieren kennis kunnen verspreiden onder scholen en leraren. Zo heeft het NRO voor Onderwijs Bewijs samenvattingen gemaakt van de resultaten van alle projecten. Deze zijn gepubliceerd op de website van Onderwijs Bewijs en tevens beschikbaar via de websites van Leraar 24 en de NRO Kennisportal.7 Ook heeft het NRO van een drietal experimenten nog nadere inspanningen gepleegd om de resultaten toegankelijk te maken voor de praktijk. De begeleidingscommissie heeft deze drie projecten uitgezocht vanwege hun positieve resultaten en goede uitvoering van het experiment. Het ging om de projecten «Rekenen in beeld», «De reductie van voortijdige beroepsverlating in het voortgezet onderwijs» en «Ook een kleuter met beperkt rekentaalbegrip kan goed leren rekenen». Het NRO heeft zich ingespannen voor het maken van bijvoorbeeld brochures, artikelen in praktijkbladen of korte video’s van de interventie.
Daarnaast heeft het vakblad Didactief eind 2014 een special gewijd aan Onderwijs Bewijs. De special heeft een aantal experimenten bijzonder uitgelicht en bovendien aan de hand van interviews met deelnemende docenten en schoolleiders laten zien wat het betekent deel te nemen aan een experimenteel onderwijsonderzoek. Een exemplaar van deze special vindt u als bijlage8.
Mede naar aanleiding van de positieve resultaten van het onderzoeksproject «De reductie van voortijdige beroepsverlating» hebben wij in de Lerarenagenda de actielijn «De startende leraar ontwikkelt zich na de opleiding tot een bekwame leraar» geïntroduceerd. In het voortgezet onderwijs is het project «Begeleiding startende leraren» gestart in samenwerking met de universitaire lerarenopleidingen.
Verder zijn twee projecten uit het thema pesten informatief geweest bij het opstellen van de lijst met kansrijke anti-pestprogramma’s van het Nederlands Jeugdinstituut (NJI). Het gaat om de effectevaluaties van «KiVa» en «Online pestkoppen stoppen».
Daarnaast hebben wij regelmatig contact gehad met onderzoekers van verschillende Onderwijs Bewijs projecten om gebruik te maken van hun expertise. Dat is met name gebeurd bij de beleidsvorming rondom pesten en lerarenbeleid. In augustus 2015 heeft de Staatssecretaris op verzoek van uw Kamer de eindrapportage van het experiment naar KiVa toegestuurd.9
Evaluatie
Onderwijs Bewijs is het eerste en grootste actieprogramma voor experimenteel onderwijsonderzoek. Het heeft daardoor zelf ook door trial and error belangrijke lessen opgeleverd. De wetenschappelijke begeleidingscommissie heeft in haar eindevaluatie Onderwijs Bewijs de ervaringen van henzelf en de betrokken onderzoekers op papier gezet. Zij wijzen op een aantal succesfactoren, maar plaatsen ook enkele kritische kanttekeningen. De volledige evaluatie vindt u in de bijlage10. Hier gaan we in op enkele belangrijke lessen.
De belangrijkste les is deze: experimenteel onderzoek in het onderwijs kan, maar is niet eenvoudig. Experimenten moeten goed worden voorbereid en begeleid.
De commissie merkt bijvoorbeeld op dat bij niet alle projecten van Onderwijs Bewijs de interventie- en controlegroep door middel van loting tot stand zijn gekomen. Dit is echter nadrukkelijk wel de bedoeling van experimenteel onderzoek. Ook wijst de commissie er op dat een pilotfase voorafgaand aan de daadwerkelijke experimentele evaluatie de kwaliteit van de experimenten ten goede komt. In Onderwijs Bewijs was daarin niet per se voorzien, met als gevolg dat een derde van de onderzoekers geen pilotfase had ingebouwd. Dit is een belangrijke les voor toekomstig experimenteel onderwijsonderzoek.
Verder hadden niet alle onderzoekers ervaring met het doen van experimenteel onderzoek, waardoor de begeleidingscommissie zeker aanvankelijk veel hulp heeft geboden. Het goed monitoren van de voortgang en het bieden van begeleiding bij ingewikkelde stappen in het onderzoeksproces zijn dus nuttig.
Daarnaast is zorgen voor goed draagvlak bij en aanvaardbare extra belasting voor deelnemende leraren en scholen van groot belang voor het slagen van de experimenten. Een aantal projecten heeft te maken gehad met uitval. Het gevaar van uitval is dat de uitkomsten vertekend kunnen raken. Het is daarom van belang draagvlak te creëren bij alle betrokkenen (schoolleiders, docenten, andere betrokkenen), te zorgen voor geringe extra belasting voor betrokkenen en een interventie te onderzoeken die aansluit bij de vraagstukken van de school.
Een andere les is dat het project niet voorbij is, zodra het experiment is afgelopen. Verspreiding van de onderzoeksresultaten niet alleen onder wetenschappers, maar juist ook voor leraren, IB’ers en andere professionals maakt evidence based en informed onderwijs mogelijk.
Al met al komen wij met de commissie tot de slotconclusie dat het uitvoeren van experimenteel onderzoek in het onderwijs zeer goed mogelijk is en dat scholen zeker bereid te zijn om deel te nemen aan dit type onderzoek. De resultaten van de experimenten bieden nuttige kennis over het gebruik en de effectiviteit van verschillende interventies. Onderzoekers hebben door Onderwijs Bewijs bovendien meer ervaringen kunnen opdoen met experimenteel onderzoek en zien de meerwaarde er van in.
Vervolg
Ons onderwijs verandert iedere dag. Oude en nieuwe vraagstukken steken de kop op en stellen leraren, schoolleiders en schoolbesturen voor nieuwe uitdagingen. Dat kan gaan om burgerschap-, taal- en rekenonderwijs, maar ook om de begeleiding van nieuwe leraren, het gebruik van ict in het onderwijs of differentiëren in de klas.
Nieuwe vraagstukken vragen om nieuwe oplossingen. Nieuwe oplossingen dragen zichzelf echter niet zomaar aan. Daar moeten we actief naar op zoek. Om ons onderwijs iedere dag een beetje beter te maken is dus nieuwe kennis nodig. En dat betekent: innovatie, evaluatie en toepassing.
Het belang van evidence based of informed onderwijs is daarmee duidelijk. Het ontwikkelen en goed evalueren van nieuwe interventies in het onderwijs helpt scholen en leraren om de uitdagingen in hun dagelijkse praktijk te lijf te gaan en hun onderwijs te verbeteren. Het is daarbij duidelijk dat een experiment niet gelijkstaat aan een proefje, een probeersel. Het is een serieuze evaluatie van een geloofwaardige interventie met als doel te onderzoeken wat werkt onder welke omstandigheden en voor wie.
Ook voor beleidsmakers blijft evidence based beleid een belangrijke opgave, zoals wij schreven in onze reactie op het Onderwijsraadadvies Onderwijspolitiek na de commissie-Dijsselbloem.11 Zo heeft de Studiegroep Duurzame groei onlangs nog gewezen op het belang van een lerende overheid. Dat wil zeggen, een overheid die niet bang is om iets uit te proberen en de effecten daarvan op consequente wijze te evalueren. Kennis over (onderwijs)beleid helpt ons beleidsmakers om gefundeerde keuzes te maken.12
NRO
Dit overwegend verdient de experimentele evaluatie wat ons betreft een stevige plek in het onderwijsonderzoek. Wij gaan daarom het Nationaal Regieorgaan Onderwijsonderzoek opdracht geven te verkennen hoe experimenteel onderzoek beter verankerd kan worden in het Nederlandse onderwijsonderzoek en wat dat betekent voor de organisatie van het NRO.
Wij vragen het NRO daarbij rekening te houden met de ervaringen van Onderwijs Bewijs. Met name de lessons learned omtrent de voorbereiding, opzet en begeleiding van de experimenten zijn van belang voor het slagen van de evaluatie. Tevens is een belangrijke les om van tevoren middelen te reserveren voor de verspreiding van de resultaten. Kennis vergaren is immers niks waard als we de kennis niet ontsluiten voor de mensen in de praktijk die het goed kunnen gebruiken. We vragen het NRO dat aspect ook mee te nemen in hun verkenning en daarbij eventueel inspiratie op te doen bij buitenlandse voorbeelden als het What Works Clearinghouse en de Education Endowment Foundation.
Wij gaan het NRO daarnaast vragen om rekening te houden met de verdere implementatie van de Nationale Wetenschapsagenda (NWA). In de NWA is een route «Jeugd in ontwikkeling, opvoeding en onderwijs» opgenomen die mede als opdracht heeft interventie-onderzoek uit te zetten. Het doel daarvan is te onderzoeken wat werkt, voor wie en waarom. Dit is bij uitstek het type interventie waar experimenteel of quasi-experimenteel onderzoek op zijn plaats is.
Onderwijs Bewijs was in zijn geheel gericht op praktijkinterventies. Naar aanleiding van dat gegeven heeft de begeleidingscommissie in zijn evaluatie de vraag gesteld of er niet ook experimenteel onderzoek opgezet zou moeten worden naar grotere interventies in bijvoorbeeld het stelsel. Dit is in lijn met de ideeën van de Onderwijsraad in Een onderwijsstelsel met veerkracht.13 Met het oog op het belang van evidence based beleid, vragen wij het NRO ook hier aandacht aan te schenken.
Afsluiting
Dit jaar is een einde gekomen aan acht jaar Onderwijs Bewijs. Een mijlpaal voor evidence based onderwijs in Nederland. Onze dank gaat uit naar alle deelnemende scholen, leerlingen en leraren. Zonder hun deelname is onderwijsonderzoek überhaupt niet mogelijk. Dat geldt tevens voor de onderzoekers en de leden van de wetenschappelijke begeleidingscommissie.
Met deze brief hebben wij uw Kamer geïnformeerd over de resultaten van Onderwijs Bewijs, zowel de resultaten van de individuele experimenten als de lessen van het actieprogramma an sich. Onderwijs Bewijs heeft laten zien dat experimenteel onderzoek in het onderwijs goed kan – ook al gaat het niet vanzelf – en belangrijke resultaten oplevert.
Onderwijs Bewijs is dit jaar ten einde gekomen, maar de behoefte aan evidence based en informed onderwijs houdt aan. Het Nederlandse onderwijs is dagelijks in ontwikkeling en kan niet zonder een goede en actuele kennisbasis en kennisinfrastructuur. Dat geldt voor de onderwijspraktijk en het onderwijsbeleid.
Het is om die reden dat wij € 20 miljoen investeren in drie thema’s uit de NWA die voor OCW van bijzonder belang zijn, waaronder het thema «Onderwijs en jongeren in een veerkrachtige samenleving». We zijn ook blij met publicaties zoals het recent verschenen Kansrijk onderwijsbeleid van het CPB. Dit is een belangrijke verzameling van kansrijke manieren om ons onderwijs te verbeteren, gebaseerd op effectstudies uit binnen- en buitenland. Leraren, schoolleiders, bestuurders en IB’ers kunnen hier uit putten als ze op zoek zijn naar antwoorden op de uitdagingen van hun school en hun leerlingen.
Zelf putten wij ook uit Kansrijk onderwijsbeleid, bijvoorbeeld bij het vormgeven van de Toolkit ten behoeve van de Gelijke Kansen Alliantie.14 Ook bij het verdere beleid rondom kansengelijkheid baseren we ons op gedegen analyses van de knelpunten en effectieve maatregelen, zoals we recent met uw Kamer hebben gedeeld in onze brief over gelijke kansen in het onderwijs.15 Wij hebben daarin ook aangekondigd een sterkere kennisbasis over dit onderwerp te gaan opbouwen. Op andere terreinen boeken we nog steeds vooruitgang met evidence based onderwijsbeleid, zoals we u vorig jaar hebben laten weten in onze reactie op het Onderwijsraadadvies Onderwijspolitiek na de commissie-Dijsselbloem.16 Het gebruik van evidence in de Lerarenagenda en het anti-pestbeleid is in deze brief reeds aan de orde gekomen.
Evidence based onderwijs is echter niet alleen een kwestie van kennis vinden en bundelen. Het vraagt ook een bepaalde attitude. Wij vragen van schoolleiders, docententeams en andere onderwijsprofessionals een reflectieve houding en het actief zoeken naar kansrijke verbeteringen van hun onderwijs. «Lerende scholen» zijn innovatief en weten in te spelen op nieuwe uitdagingen.
Een up-to-date kennisbasis met kennis over wat werkt voor welke leerlingen in welke context is daar voor echter onontbeerlijk. Een vervolg op Onderwijs Bewijs bij het NRO is daarom de aangewezen volgende stap.
De Minister van Onderwijs, Cultuur en Wetenschap, M. Bussemaker
De Staatssecretaris van Onderwijs, Cultuur en Wetenschap, S. Dekker