Aan de Voorzitter van de Tweede Kamer der Staten-Generaal
Den Haag, 12 september 2013
Met deze brief bied ik uw Kamer conform mijn toezegging de overkoepelende rapportage van de evaluatie van het nieuwe accreditatiestelsel aan. Aanleiding hiervoor is de toezegging aan uw Kamer om twee jaar na invoering het nieuwe accreditatiestelsel te evalueren.1, 2 Daarnaast kom ik tegemoet aan hetgeen in de Kaderwet zelfstandige bestuursorganen is geregeld over het verzenden van een verslag aan de Eerste Kamer en Tweede Kamer ten behoeve van de doelmatigheid en doeltreffendheid van het functioneren van de NVAO.3 In deze brief geef ik de bevindingen weer uit de rapportages en welke conclusies ik hieruit trek en op welke wijze ik, conform mijn brief d.d. 18 juni 2013, de uitkomsten van de evaluatie meeweeg in het wetsvoorstel Versterking kwaliteitswaarborgen hoger onderwijs.4
Het nieuwe accreditatiestelsel heeft als oogmerk dat de inhoudelijke kwaliteit van de opleiding centraal staat. De focus is meer op de inhoud en kwaliteit van het onderwijs komen te liggen. Professionals kijken met een timmermansoog naar de kwaliteit van het onderwijs. De inhoudelijke kwaliteit van een opleiding is van vitaal belang. Studenten en werkgevers rekenen erop dat een geaccrediteerde opleiding borg staat voor kwalitatief hoger onderwijs. En dat is terecht.
Met de invoering van het nieuwe accreditatiestelsel was beoogd een aantal doelen te realiseren, waaronder begrepen beperking van de administratieve lasten. De evaluatie biedt zicht op het realiseren ervan. De doelen en uitgangspunten van het nieuwe accreditatiestelsel zijn:
1. het stimuleren van de kwaliteitscultuur op instellingsniveau;
2. meer focus op kwaliteit, inhoud en resultaten van de opleiding;
3. het zichtbaar maken van verschillen in kwaliteit;
4. meer maatwerk in het stelsel;
5. behoud van externe onafhankelijke beoordeling van kwaliteit;
6. internationale acceptatie van het accreditatiestelsel;
7. vermindering van de administratieve lasten en
8. het effect op het functioneren van het stelsel.
Om deze doelen te bereiken is de instellingstoets kwaliteitszorg ingevoerd en is daarmee een beperkte opleidingsbeoordeling mogelijk gemaakt ten behoeve van accreditatie en toets nieuwe opleiding. Daarnaast is, om excellentie te stimuleren, een gedifferentieerde beoordeling geïntroduceerd, waardoor naast de oordelen «voldoende» en «onvoldoende», ook de oordelen «goed» en «excellent» kunnen worden toegekend. Verder beoordeelt de NVAO in het nieuwe stelsel de onafhankelijkheid en deskundigheid van de commissie van deskundigen voor accreditatie en stemt pas in met de samenstelling van deze commissie wanneer die onafhankelijk en deskundig is. Tot slot biedt het nieuwe stelsel meer mogelijkheden om vertrouwen te geven waar dat kan en kritischer te zijn waar dat nodig is. Zo zijn de herstelperiode bij accreditatie en de besluiten over toets nieuwe opleiding en instellingstoets kwaliteitszorg onder voorwaarden geïntroduceerd voor een meer flexibel instrumentarium. Als ultimum remedium is een intrekkingsbevoegdheid gecreëerd.
Op 6 december 2012 is uw Kamer schriftelijk geïnformeerd over de wijze waarop de evaluatie tot stand komt.5 Het nieuwe accreditatiestelsel is thans door verschillende organisaties geëvalueerd. Er is onderzoek verricht door de Algemene Rekenkamer, de Wetenschappelijke Raad voor het Regeringsbeleid (WRR), de Inspectie van het Onderwijs en door de Nederlands-Vlaamse Accreditatieorganisatie (NVAO). NVAO zelf is beoordeeld door European Association for Quality Assurance (ENQA). Op basis van de rapporten van deze organisaties is deze evaluatie opgesteld.
Deze brief bestaat uit twee delen. Het eerste deel betreft een overkoepelende evaluatie waarin op grond van genoemde rapporten zicht wordt gegeven op de mate waarin de doelen van het nieuwe accreditatiestelsel zijn bereikt. Het tweede deel van de brief betreft mijn beleidsreactie op de evaluatie. In mijn beleidsreactie zal ik ook aangeven welke conclusies ik trek naar aanleiding van de evaluatie.
In bijlage 1 treft u een overzicht aan van de acties die ik aankondig in mijn beleidsreactie. In bijlage 2 vindt u een beschrijving van de verschillende onderzoeken. In bijlage 3 treft u een uitgebreide beantwoording van de deelvragen aan de hand van citaten uit de verschillende rapporten.
DEEL 1: BEVINDINGEN
Opzet van de evaluatie
De rapporten van de vijf genoemde organisaties vormen de basis voor deze evaluatie. Aan de hand van acht deelvragen, die tot stand zijn gekomen op grond van de doelen en uitgangspunten die in de memorie van toelichting6 van het nieuwe accreditatiestelsel zijn uiteengezet, is een antwoord gegeven op de vraag in hoeverre het nieuwe stelsel heeft geleid tot:
1. meer stimulering van de kwaliteitscultuur op instellingsniveau;
2. meer focus op kwaliteit, inhoud en resultaten op opleidingsniveau;
3. het zichtbaar maken van verschillen in kwaliteit;
4. meer maatwerk in het stelsel;
5. behoud van externe onafhankelijke beoordeling van kwaliteit;
6. internationale acceptatie van het accreditatiestelsel;
7. vermindering van de administratieve lasten en
8. het functioneren van het stelsel als geheel.
Doordat de evaluatie is gebaseerd op de verschillende onafhankelijke rapporten ontstaat een evenwichtig en gedegen beeld. Overigens wordt niet elke deelvraag in alle rapporten in dezelfde mate behandeld omdat deze rapporten tot stand zijn gekomen vanuit verschillende invalshoeken en eigenstandige doelstellingen van onafhankelijke organisaties. Deels zijn de evaluaties door de organisaties zelf geïnitieerd. In deze evaluatie wordt vooral gebruik gemaakt van bevindingen uit de rapporten van de inspectie, NVAO en de Algemene Rekenkamer, omdat deze rapporten het meest ingaan op de werking van het nieuwe accreditatiestelsel ten opzichte van het stelsel daarvoor.
Hieronder bespreek ik ten eerste de algemene conclusie die ik trek naar aanleiding van de rapporten. Vervolgens geef ik een kort antwoord per vraag op bovengenoemde vragen.
Algemene conclusie
Uit alle rapporten komt het beeld naar voren dat het nieuwe accreditatiestelsel goed functioneert en zich in de gewenste richting ontwikkelt: scherpere beoordelingen en meer aandacht voor de inhoud in plaats van procedures. Het stelsel kan rekenen op breed draagvlak en het timmermansoog van de professional krijgt een grotere rol binnen het accreditatieproces. Dat neemt niet weg dat er ook aandachtspunten naar voren komen.
De inspectie heeft integraal gekeken naar het functioneren van het stelsel. Zij concludeert dat het accreditatiestelsel een doeltreffend, deugdelijk en krachtig stelsel is waarvan een stimulerende werking uitgaat. Daarbij lijken door de wettelijke veranderingen en door aanpassingen die de NVAO en de evaluatiebureaus doorvoerden, de beoordelingen scherper en de doeltreffendheid groter te worden. Ook de stimulerende werking die betrokkenen zelf ervaren, mede door een zorgvuldige panelsamenstelling, duidt op een toenemende effectiviteit. De waarborg wordt krachtiger, en de kwaliteitsbevordering neemt toe. Het nieuwe stelsel heeft een positief effect op de betrokkenheid van docenten en er is groot draagvlak voor de nieuwe manier van beoordelen. Van het stelsel gaat een stimulerende invloed uit; het accreditatieproces is het sluitstuk van de interne kwaliteitszorg en het nieuwe stelsel kan dankzij peer review als basis, rekenen op een sterk draagvlak binnen de sector. Wel wijst de inspectie erop dat een aantal zaken dat draagvlak onder druk kan zetten zoals de lastendruk die het accreditatiestelsel met zich mee brengt. De toename van kritische oordelen door de introductie van de herstelperiode komt ook niet altijd ten goede aan het draagvlak.
Sterke kanten
Het stelsel kent overduidelijk een aantal sterke kanten. De inspectie wijst met name op:
• Het onmiskenbare draagvlak. Het stelsel is voortgekomen uit de visitatiestelsels van de koepels en die herkomst is nog altijd merkbaar: het is nog altijd deel van het hoger onderwijs. Dit maakt dat de beoordelingen doorgaans geaccepteerd worden en dat de administratieve lasten gedragen worden.
• Het stelsel is ondanks het grote aantal betrokkenen en mede dankzij de evaluatiebureaus een zorgvuldige, goed geoliede machine, met een groot aantal kwaliteitswaarborgen.
• Het stelsel heeft een behoorlijke verbetercapaciteit: het verbetert zichzelf langzaam maar zeker. Zo is onlangs de lat hoger komen te liggen, worden panels beter samengesteld, gaat het meer om de inhoud en zijn rapporten leesbaarder.
• Sterk is ook de grote vakinhoudelijke deskundigheid van de panels.
• Deze deskundigheid draagt in hoge mate bij aan de stimulans die de beoordeelden ervaren voor de kwaliteit van hun opleiding.
Ook de Algemene Rekenkamer stelt in haar rapport dat de invoering van aparte instellingstoetsen, beperkte opleidingstoetsen en de focus op afstudeerwerken meer ruimte bieden voor de inhoudelijke kant van het onderwijs. De NVAO geeft in haar rapportage aan dat het nieuwe stelsel goed functioneert, hetgeen onder andere blijkt uit de internationale erkenning van het stelsel. De NVAO is in 2007 als een van de eerste Europese kwaliteitszorgorganisaties opgenomen in het onafhankelijke Europese register van kwaliteitsagentschappen, het European Quality Assurance Register for Higher Education (EQAR). Opname in het EQAR-register toont aan dat NVAO instaat voor het toepassen van de Europese principes en uitgangspunten om de kwaliteit van het hoger onderwijs te verzekeren en dat het Nederlandse stelsel als geheel aan Europese eisen voldoet. In 2012 heeft een internationaal panel van ENQA opnieuw geconcludeerd dat de NVAO aan de Europese eisen voldoet.
Verbeterpunten
Al met al kunnen we concluderen dat het nieuwe stelsel zich goed ontwikkelt en dat het op draagvlak kan rekenen. Tegelijkertijd kan het stelsel op een aantal punten nog beter en effectiever:
• De hoge administratieve lasten voor de bekostigde en voor de niet-bekostigde instellingen zijn in tegenstelling tot gewekte verwachtingen in het nieuwe stelsel niet minder geworden.
• De inspectie wijst op het belang de betrouwbaarheid van de beoordelingen te evalueren.
• De instellingstoets stelt sommige instellingen teleur: deze is veeleisender dan verwacht. Sommige instellingen hebben hiervoor meer tijd nodig.
• De transparantie van verschillen tussen en profilering van vergelijkbare opleidingen kan worden verbeterd.
• Recente druk op het draagvlak van het stelsel, met name in het wo, als gevolg van onder andere de hoge belasting en toegenomen scherpte.
Daarnaast komt in de rapporten een aantal aandachtspunten in de uitwerking naar voren. Het gaat daarbij onder andere om het volgende. Het inhoudelijke gesprek tussen peers bij de beperkte opleidingsbeoordeling komt niet altijd voldoende tot uitdrukking in het visitatierapport en in het eindoordeel. Verder wordt aangegeven dat er bij de herstelperiode meer ruimte gewenst is voor maatwerk en flexibiliteit. De inspectie wijst er daarnaast op dat in de feitelijke oordelen enkele kwaliteitsaspecten die voor de samenleving relevant kunnen zijn, onderbelicht blijven.
Uit de verschillende rapporten blijkt dat het nieuwe stelsel de kwaliteitscultuur op instellingsniveau stimuleert. Er is de laatste jaren duidelijk meer aandacht voor kwaliteit en kwaliteitszorg en er lijkt zich geleidelijk een kwaliteitscultuur te ontwikkelen. Het nieuwe accreditatiestelsel draagt hiertoe ook bij. Zo zet de instellingstoets kwaliteitszorg aan tot sterkere sturing op de kwaliteit van het onderwijs en kwaliteitszorg binnen de instelling en een scherpere bewaking daarvan. Het ENQA-rapport laat ook zien dat er meer nadruk is komen te liggen op het verbeteren van de kwaliteitscultuur binnen instellingen.
Het nieuwe stelsel ontwikkelt zich in de goede richting: er is meer focus op kwaliteit, inhoud en resultaten. Er is in de gesprekken van het panel tijdens een visitatie meer aandacht gekomen voor de inhoud en de resultaten van de opleidingen dan bij de uitgebreide beoordelingen. Uit onderzoek onder docenten blijkt dat ook zij erop wijzen dat de nieuwe manier van beoordelen in de beperkte opleidingsbeoordeling meer op de kwaliteit van het onderwijs is gericht dan vroeger. Er is een accentverschuiving merkbaar van aandacht voor procedures en processen naar de inhoud van opleidingen. De NVAO concludeert dat de nadruk bij de beoordeling van opleidingen sterker is komen te liggen bij het hart van de onderwijskwaliteit, tegelijkertijd merkt de inspectie op dat er (te) veel nadruk is op eindwerkstukken als toets voor het eindniveau. Het is wel belangrijk dat de balans nu niet te ver doorschiet naar te veel focus op eindwerken, aldus de inspectie.
Door het nieuwe stelsel worden verschillen in kwaliteit beter zichtbaar dankzij de invoering van een gedifferentieerde beoordeling met de oordelen: onvoldoende, voldoende, goed en excellent. De inspectie stelt dat de introductie van meer differentiatie in de beoordelingen – de introductie van de oordelen «goed» en «excellent» – niet alleen verschillen boven het basisniveau zichtbaar maakt, maar instellingen ook stimuleert te streven naar beoordelingen boven de basiskwaliteit. De toegekende beoordelingen leveren echter nog geen sterk gedifferentieerd beeld op. De Algemene Rekenkamer verwacht dat met de invoering van clustergewijze visitatie in het hbo de oordelen bij verschillende opleidingen beter vergelijkbaar worden. Daarnaast wijst de Algemene Rekenkamer op vervlakking van het oordeel als een mogelijk onbeoogd effect van minder standaarden in het beoordelingskader, omdat de besproken onderwerpen en vooral de weging ervan minder voorgeschreven is en daardoor het risico bestaat dat bepaalde zaken onderbelicht worden. De inspectie is kritisch ten aanzien van het inzichtelijk maken van verschillen tussen opleidingen. Volgens de inspectie gebeurt dat te weinig en zou daarvoor in de informatievoorziening meer aandacht moeten zijn.
De nieuwe mogelijkheden in het stelsel leiden zichtbaar tot meer maatwerk. De mogelijkheid om een herstelperiode, instellingstoets onder voorwaarden en toets nieuwe opleiding onder voorwaarden toe te kennen, worden benut. Vooral de invoering van de herstelperiode leidt tot scherpere oordelen, waardoor de accreditatie ook meer kan bijdragen aan de verbetering van de kwaliteit van een opleiding. Hoewel in enkele keren de NVAO is gevraagd tussentijds te adviseren over de kwaliteit van een opleiding, is het niet nodig gebleken gebruik te maken van de bevoegdheid een accreditatie of toets nieuwe opleiding in te trekken.
De maatregelen bij de selectie van de panels (commissies van deskundigen) leiden tot onafhankelijkheid van de panels en tot grote tevredenheid van de betrokkenen op dit punt. Opleidingen stellen het zeer op prijs, en ervaren het ook als stimulerend, beoordeeld te worden door deskundigen in het vakgebied (peers) van de opleiding. De kwaliteit en onafhankelijkheid van de panels staat volgens de ondervraagde docenten buiten kijf, blijkt uit het NVAO-rapport. De panels weten waar ze het over hebben. Het inspectierapport bespreekt de vraag in hoeverre peers onafhankelijk en deskundig kunnen zijn in een klein land zoals Nederland. Hoewel hier een spanningsveld kan zijn blijkt dat de onafhankelijkheid en deskundigheid van de peers goed is geborgd, wat leidt tot groot draagvlak voor het stelsel.
Het stelsel heeft zijn goede internationale reputatie behouden. Peer review, dat aan de basis ligt van het Nederlandse stelsel, wordt internationaal gezien als het meest effectieve instrument om de kwaliteit van het hoger onderwijs te borgen en te verbeteren. Ook voldoet de NVAO aan de Europese eisen die worden gesteld aan kwaliteitszorgorganisaties.
De gewenste vermindering van de – administratieve – lasten is niet gerealiseerd. Het beeld dat op basis van de rapporten ontstaat is dat er per saldo weinig lastenreductie heeft plaatsgevonden; door sommigen wordt zelfs een lastenverzwaring ervaren. De lastendruk bij instellingen heeft een aantal oorzaken binnen én buiten het accreditatiestelsel. Zo is de beperkte opleidingsaccreditatie mogelijk dankzij de invoering van de instellingstoets kwaliteitszorg. De instellingstoets kwaliteitszorg zorgt echter voor meer administratieve lasten. Verder blijkt de beoordeling bij de beperkte opleidingsbeoordeling weliswaar minder breed, maar tegelijkertijd diepgaander, waardoor de gewenste lastenreductie uitblijft. Voorbeelden van veroorzakers van lasten die losstaan van het accreditatiestelsel zijn meer focus op interne kwaliteitszorg en aangescherpte procedures binnen de instelling uit angst voor of naar aanleiding van incidenten en het proces van prestatieafspraken.
Het onderzoek van ResearchNed onder docenten van opleidingen die in 2011 en 2012 zijn gevisiteerd aan de hand van het nieuwe beperkte kader, geeft wel reden tot voorzichtig optimisme. Uit het rapport van de NVAO blijkt dat de groep respondenten (zowel met als zonder eerdere visitatie-ervaring), die vindt dat de beperkte opleidingsbeoordeling leidt tot een verlaging van de accreditatielast, iets groter is dan de groep die het hiermee oneens is.
Het nieuwe accreditatiestelsel ontwikkelt zich in positieve zin; het is een doeltreffend en krachtig stelsel met een stimulerende werking. Dat wordt door betrokkenen zelf ervaren, mede door een zorgvuldige panelsamenstelling en het systeem van peer review. Het timmermansoog komt beter tot uiting. Wel zijn de ervaren lasten en de betrouwbaarheid en de validiteit belangrijke aandachtspunten en van belang voor het draagvlak van het accreditatiestelsel. Met betrouwbaarheid bedoelt de inspectie de mate waarin verschillende beoordelaars van eenzelfde situatie tot het hetzelfde oordeel komen. Het is belangrijk dat dit goed is geborgd. De inspectie wijst erop dat de NVAO en de visitatiebureaus de betrouwbaarheid van de beoordelingen regelmatig moeten evalueren, en waar nodig dienen te verbeteren en bewaken. Docenten blijken (zeer) tevreden te zijn over de inhoudelijke focus van de beperkte opleidingsbeoordeling.
DEEL 2: BELEIDSREACTIE
Ik ben erover verheugd dat de Inspectie van het Onderwijs, de NVAO, de Algemene Rekenkamer, de WRR en ENQA, ieder vanuit zijn of haar eigen rol, expertise en bevoegdheid, kritisch naar het accreditatiestelsel hebben gekeken. Het resultaat hiervan is dat de toegezegde evaluatie tot stand is gekomen op grond van een vijftal grondige, gedegen en elkaar aanvullende rapporten. Dankzij (de kwaliteit van) deze rapporten is er nu een evenwichtig en onafhankelijk beeld beschikbaar van het effect van het nieuwe accreditatiestelsel in relatie tot de gestelde doelen. Ik wil hierbij dan ook expliciet mijn dank en waardering uitspreken voor de tot stand gekomen rapporten.
In deze beleidsreactie ga ik eerst in op de vraag hoeverre de gestelde doelen die met het nieuwe accreditatiestelsel zijn beoogd worden gerealiseerd. Daarbij sta ik ook stil bij het totaalbeeld van het nieuwe accreditatiestelsel naar aanleiding van de rapporten. Vervolgens ga ik in op de belangrijkste punten uit de evaluatie en de daaruit voortvloeiende aanbevelingen.
Realisatie van de gestelde doelen
Op grond van de evaluatie constateer ik dat het nieuwe accreditatiestelsel een krachtig stelsel is. Haar kracht ontleent het stelsel in grote mate aan het feit dat peer review de basis van het stelsel is en blijft. Het timmermansoog van de professional is leidend. Het stelsel heeft nog altijd groot draagvlak. Stakeholders zijn en voelen zich betrokken en verantwoordelijk. Het stelsel is nationaal en internationaal gewaardeerd. De samenwerking met Vlaanderen draagt hieraan bij. Nederland en Vlaanderen vervullen nog steeds een voortrekkersrol in Europa dankzij één gezamenlijke accreditatieorganisatie. Die samenwerking is uniek en kan internationaal als voorbeeld worden gezien. Het Nederlands accreditatiestelsel voldoet met de NVAO aan de eisen die internationaal aan kwaliteitszorgorganisaties worden gesteld. Ik concludeer op basis van de verschillende rapporten dat het nieuwe stelsel zich ontwikkelt in de gewenste richting. Het nieuwe stelsel heeft geleid tot een krachtiger kwaliteitscultuur op instellingsniveau, meer focus op kwaliteit en inhoud van de opleiding, zichtbare verschillen in kwaliteit, meer maatwerk in het stelsel, versterking van onafhankelijke externe beoordeling en behoud van internationale acceptatie van het stelsel. Dit stemt mij tevreden. In een relatief kort tijdsbestek van zo’n twee jaar zijn verbeteringen zichtbaar, zoals scherpere oordelen en meer maatwerk in het stelsel. Ook draagt het stelsel bij aan de kwaliteitscultuur in het hoger onderwijs. Ik zie dit als een grote verdienste van alle betrokkenen en als resultaat van een zorgvuldig proces van voorbereiding en implementatie van wetgeving, onder andere door pilots in Nederland en Vlaanderen waardoor de uiteindelijke wetgeving passend toegespitst kon worden op de praktijk.
De evaluatie belicht de werking van het nieuwe stelsel en toont daarbij een positief resultaat maar werpt ook zicht op verbeterpunten. Aan de hand van de belangrijkste aandachtspunten die voortkomen uit de verschillende rapporten, zal ik hieronder ingaan op de volgende onderwerpen:
• ervaren lasten;
• effect van de beperkte opleidingsbeoordeling
(het gesprek, het visitatierapport en eindwerkstukken);
• ruimte voor maatwerk en flexibiliteit van het instrumentarium
(waaronder bevoegdheden van de NVAO);
• externe, onafhankelijke beoordeling van kwaliteit;
• accreditatiestelsel in internationaal perspectief;
• werkwijze van de NVAO
(waaronder doorlooptijden, piekbelasting, besluiten voor publiek gebruik en aanbevelingen aan de NVAO).
Ervaren lasten
De lastendruk bij instellingen is voor mij het belangrijkste aandachtspunt uit de evaluatie van het accreditatiestelsel. De kosten die het accreditatieproces met zich meebrengen blijken volgens de rapporten niet meetbaar te zijn. Een deel van de verklaring hiervan ligt ten eerste in het wisselend gebruik van het begrip administratieve last. Administratieve lasten zijn volgens de formele definitie informatieverplichtingen aan de overheid voortvloeiend uit wet- en regelgeving. Niet alle ervaren lasten vallen onder die formele (enge) definitie. De door instellingen of docenten ervaren lasten kunnen ook te maken hebben met interne procedures, die mogelijk zijn aangescherpt als gevolg van incidenten, maar ook met zaken die minder relatie hebben met accreditatie zoals de totstandkoming van prestatieafspraken. Het is zeer lastig vast te stellen welke lasten uitsluitend aan het accreditatiestelsel zijn toe te rekenen. Daarnaast is wel duidelijk dat de invoering van de instellingstoets kwaliteitszorg deels samenviel met nog doorlopende accreditaties op grond van het «oude» model, zodat in die gevallen sprake is geweest van dubbele lasten gedurende de invoeringsfase.
Hoewel de omvang dus niet eenduidig is vast te stellen blijkt uit de verschillende rapporten wel duidelijk dat de beoogde administratieve lastenreductie van 25 procent niet is gehaald.
Dat betekent niet dat ik die doelstelling laat varen. Ik vind de huidige lastendruk bij instellingen te groot en de rapporten zijn voor mij aanleiding om op zowel korte als langere termijn concrete maatregelen te nemen om de lasten terug te dringen. Hieronder geef ik aan welke actie ik ga ondernemen om de lasten bij instellingen terug te dringen.
Quick wins
Bij quick wins denk ik aan acties die op de korte termijn leiden tot resultaat. De NVAO gaat op mijn verzoek samen met de evaluatiebureaus kritisch kijken naar hoe de (administratieve) lasten kunnen worden beperkt, bijvoorbeeld door het aanpassen van de beoordelingskaders.
Daarnaast is het goed dat de consistentie van beoordelingen wordt versterkt. Hierbij speelt een rol dat de verbreding van de standaarden in het beperkte regime, zonder precisering van criteria, tot meer onzekerheid leidt. Instellingen proberen die onzekerheid te reduceren door meer documenten op te stellen en aan te leveren, ook als dit niet nodig is. Daarin is dus nog winst te behalen. Dit sluit dan ook aan bij de aanbeveling van de inspectie om instellingen meer steun en verduidelijking te bieden over wat een goed functionerend kwaliteitszorgsysteem inhoudt («compliance assistance»). Ter adstructie: in het inspectierapport wordt beschreven dat zij een onderwijs- en examenregeling aantrof bestaande uit 320 pagina’s aantreft met het interne beeld dat dit allemaal van de inspectie moet. Ik vraag de NVAO en inspectie om dergelijke onnodige lasten te monitoren, zodat die in de toekomst niet meer voor komen. Van belang is daarbij dat die monitoring niet leidt tot een lastentoename voor instellingen. De VSNU heeft mij erop gewezen dat een aantal universiteiten bezig is met een grondige evaluatie van de afgeronde instellingstoetsen en opleidingsaccreditaties. Die informatie kan ook worden benut.
Overschrijding van de beslissingstermijnen door de NVAO kan bij een instelling ook leiden tot (subjectieve) lasten. De inspectie wijst erop dat bijzondere aandacht nodig is voor de realisatie van afgesproken termijnen en het informeren van de instelling bij overschrijding daarvan. Ik zal de NVAO hierop aanspreken. Ook ik wil een bijdrage leveren aan het verkorten van doorlooptijden door een aanpassing in het wetsvoorstel Versterking kwaliteitswaarborgen hoger onderwijs om piekbelasting te verminderen en zo de doorlooptijden te verbeteren. Lange doorlooptijden hebben bovendien als nadeel dat het momentum van de externe blik verloren gaat en dat het uiteindelijke besluit niet meer de nodige aandacht in de instelling of bij de opleiding krijgt. Dit kan in belangrijke mate afbreuk doen aan het beoogde stimulerende effect. Kortom, het is om verschillende redenen zaak de doorlooptijden te verkorten.
Voorkom nieuwe lasten
Er moet zeer terughoudend worden omgegaan met maatregelen die extra administratieve lasten met zich mee brengen, zeker gelet op de lasten die nu al worden ervaren. Dat geldt voor instellingen, panels, evaluatiebureaus en de NVAO, maar ik neem dit ook zelf ter harte.
In dit verband wijs ik allereerst op mijn eerder genomen besluit om af te zien van de invoering van het risicogericht toezicht van de inspectie. Op 19 juni 2013 heb ik uw Kamer een nota van wijziging gestuurd om dit onderdeel uit het wetsvoorstel Versterking kwaliteitswaarborgen hoger onderwijs te halen. De Algemene Rekenkamer merkt hierover op dat het afzien van risicogericht toezicht passend is gezien de al uitgebreide toezichtsbevoegdheden van de NVAO.
Voor instellingen die met succes de instellingstoets kwaliteitszorg van de NVAO hebben doorlopen (dat wil zeggen zonder nadere voorwaarden) geldt dat zij alleen in het uiterste geval zullen worden geconfronteerd met aanvullend inspectietoezicht namelijk wanneer er sprake is van zeer ernstige risico’s die het bestuur niet blijkt te beheersen. Zo wordt bij het bestaande toezicht onnodige administratieve drukte richting instellingen voorkomen. Een instelling met een instellingstoets kwaliteitszorg kan rekenen op vertrouwen.
Verder heb ik besloten om de tussentijdse toets nieuwe opleiding alleen in te voeren bij die instellingen die geen of een negatieve instellingstoets kwaliteitszorg hebben behaald. Op deze wijze zal de lastendruk bij die instellingen met een instellingstoets kwaliteitszorg niet verder worden vergroot, wordt verdiend vertrouwen beloond en hebben instellingen met een besluit instellingstoets kwaliteitszorg daar nog meer profijt van.
Ik zal voor het doorvoeren van deze maatregelen een nota van wijziging indienen voor het wetsvoorstel Versterking kwaliteitswaarborgen hoger onderwijs.
Toekomstperspectief: verdiend vertrouwen meer belonen
Ik wil nog meer toe naar een stelsel waarin verdiend vertrouwen wordt beloond. Daar is een begin mee gemaakt bij de invoering van het nieuwe stelsel, maar ik wil samen met betrokkenen de vormgeving van het stelsel meer fundamenteel bezien in dit licht. Waar er verdiend vertrouwen is, kan en moet zich dat ook uitbetalen in proportioneel toezicht en beperktere accreditatie. Hierin wil ik verdere stappen zetten. Naast het gesprek met betrokkenen wil ik ook over de grenzen kijken hoe in andere landen verdiend vertrouwen wordt beloond. Daarbij ligt in ieder geval vergelijking met Vlaanderen voor de hand gezien de NVAO als gezamenlijke accreditatieorganisatie. De Algemene Rekenkamer beveelt aan dat Nederland en Vlaanderen, in het bijzonder voor bijsturingen, meer lering kunnen trekken uit elkaars ervaringen en ik neem die aanbeveling graag ter harte. Bij de doorontwikkeling van het stelsel is een grotere beloning voor verdiend vertrouwen mijn uitgangspunt. Instellingen die hebben laten zien dat ze het vertrouwen waard zijn verwerven een status die minder lasten afdwingt.
Nog dit jaar wil ik hierover de discussie starten met vertegenwoordigers van instellingen (waaronder docenten), NVAO, inspectie, OCW, visitatiebureaus en studenten. Oogmerk is om met het veld het stelsel – zoals hierboven aangegeven – meer fundamenteel te bezien en in kaart te brengen wat de ervaren lasten zijn, hoe deze zijn ontstaan en hoe deze kunnen worden verminderd. Dit kan leiden tot suggesties ter verbetering bij de werkwijze van instellingen of NVAO, maar ook tot concrete voorstellen over hoe bij de doorontwikkeling van het accreditatiestelsel en de vormgeving daarvan de administratieve lasten kunnen worden verminderd door sterker uit te gaan van het principe van verdiend vertrouwen.
Deregulering in breder perspectief
Ik heb uw Kamer ook toegezegd dat ik me de komende tijd wil beraden op de samenhang en afbakening in de taken tussen de inspectie, NVAO en de Reviewcommissie. Om onnodige administratieve drukte voor instellingen te voorkomen zijn deze organisaties op mijn verzoek gezamenlijk bezig na te gaan in hoeverre de verschillende processen en de bijbehorende gegevensverzamelingen op elkaar worden afgestemd. De drie partijen hebben inmiddels onderling afspraken gemaakt over eenmalige bevraging en hergebruik van data, maximale transparantie in gebruikte definities van kengetallen en afstemming van overstijgende publicaties. Duidelijke en eenduidige definities zijn van belang.
Het verminderen van de (administratieve) lasten staat niet op zich. In de hoofdlijnenakkoorden met de Vereniging Hogescholen en VSNU zijn afspraken gemaakt over deregulering en vermindering van administratieve lasten. Om te komen tot toekomstbestendige stabiele duurzame bestuurlijke en financiële verhoudingen die recht doen aan de kernverantwoordelijkheden van de overheid, hogescholen en universiteiten zijn de volgende aspecten van belang:
1) ontwikkelen van criteria voor (de)regulering hoger onderwijs;
2) gebruiken van de criteria bij nieuwe wet- en regelgeving, herijking en aanpassingen van bestaande wet- en regelgeving in het hoger onderwijs;
3) maatregelen om overlap te vermijden tussen de taken van de Inspectie van het Onderwijs, de NVAO en de Reviewcommissie hoger onderwijs en onderzoek.
Deze aspecten zullen in 2014 in overleg met de Vereniging Hogescholen en VSNU nader worden uitgewerkt. Voor zover het de Inspectie van het Onderwijs en de NVAO betreft, zal ook de NRTO hierbij worden betrokken.
Het fundamenteel bezien van de vormgeving van het accreditatiestelsel sluit hierbij aan. Tevens zijn er andere maatregelen om onder andere het hoger onderwijsstelsel minder belastend te krijgen, zonder aan de kwaliteit ervan af te doen. Hiervoor verwijs ik kortheidshalve naar de brief van 8 juli 2013 over de aanpak regeldruk OCW.7
Effect beperkte opleidingsbeoordeling
De beperkte opleidingsbeoordeling, waarbij de te beoordelen criteria zijn teruggedrongen, heeft geleid tot een meer inhoudelijk gesprek tussen peers (binnen instelling en panel). De invloed van het nieuwe stelsel op het eindoordeel, dat wordt geveld naar aanleiding van de visitatie en het daaruit voortvloeiende rapport, geeft echter een wisselend beeld. In het rapport dat na de visitatie wordt opgesteld zien opleidingen niet altijd de variëteit aan en diepgang in de besproken onderwerpen voldoende terug. Volgens de Algemene Rekenkamer kan het nieuwe stelsel door het beperkte aantal criteria onbeoogd ook leiden tot vervlakking van het oordeel. De inspectie wijst erop dat de reductie van het aantal standaarden van zestien naar drie de mogelijkheid beperkt om de kwalificaties goed en excellent te behalen. Het onderzoek van de NVAO nuanceert dit beeld. Ik vraag de NVAO nader te onderzoeken in hoeverre er sprake is van vervlakking en mij daarover te informeren en voorstellen te doen hoe vervlakking van oordelen kan worden voorkomen. Ik hecht er belang aan dat een excellente en goede opleiding ook als zodanig wordt erkend, ongeacht of er een beperkte of uitgebreide beoordeling aan ten grondslag ligt. Daarbij is van belang dat helder is wat onder «goed» en «excellent» wordt verstaan en met deze predicaten niet te lichtzinnig noch te streng wordt omgegaan. Overigens verwacht ik dat door separate beoordeling van het gerealiseerde eindniveau en de wijze van examinering, zoals opgenomen in het wetsvoorstel Versterking kwaliteitswaarborgen hoger onderwijs, ook meer reliëf tot uiting zal komen in de beoordeling.
Eindwerken zijn belangrijk
Het nieuwe accreditatiestelsel evenals incidenten in het hoger onderwijs hebben de aandacht voor het gerealiseerde eindniveau vergroot. Op zich zie ik dit als een positieve ontwikkeling. Dit blijkt echter ook een risico met zich mee te brengen. Zowel de inspectie als de Algemene Rekenkamer wijst erop dat het zwaartepunt bij de beoordeling van het eindniveau veelal ligt bij de beoordeling van eindwerkstukken. Maar voor praktisch georiënteerde opleidingen spelen andere (niet-schriftelijke) vaardigheden ook een rol. De NVAO deelt de zorg van te sterke focus op eindwerkstukken. Daarom heeft zij de handreiking voor de beoordeling van eindwerkstukken voor panels in 2012 aangepast. In aanvulling daarop zal de NVAO ook het gesprek aangaan met evaluatiebureaus en externe secretarissen, zodat zij breder kijken dan alleen eindwerkstukken. De NVAO stelt mij op de hoogte van dit gesprek en informeert mij over de stappen die zij naar aanleiding van dit gesprek zal nemen.
Ruimte voor maatwerk en flexibiliteit in het instrumentarium
Uit de evaluatie blijkt dat er meer maatwerk in het stelsel is gekomen door de invoering van de herstelperiode, de instellingstoets kwaliteitszorg onder voorwaarden en de toets nieuwe opleiding onder voorwaarden. De panels oordelen hierdoor kritischer en zijn eerder geneigd om onvoldoendes of herstel te adviseren. Ook heb ik in enkele gevallen de NVAO verzocht om mij – op grond van een tussentijdse beoordeling te adviseren of de desbetreffende opleiding nog steeds voldoet aan de eisen die gelden voor het verlenen van accreditatie – in het kader van de intrekkingsprocedure. Uit dit alles leid ik af dat het nieuwe stelsel werkt, doeltreffend is en dat de flexibiliteit die het instrumentarium biedt om tot meer maatwerk te komen haar vruchten afwerpt.
Bevoegdheden NVAO
Dit gezegd hebbende stelt de NVAO voor het beoordelingsinstrumentarium nader te flexibiliseren. De toets nieuwe opleiding onder voorwaarden en de instellingstoets kwaliteitszorg onder voorwaarden hebben nu als maximale termijn één jaar. De hersteltermijn bij accreditatie heeft een maximale duur van twee jaar, met uitzondering van die gevallen dat het oordeel over het gerealiseerde niveau niet positief is. De NVAO acht het noodzakelijk dat de maximale termijn voor bovengenoemde besluiten op twee jaar wordt gezet. Reden is dat er bij een termijn van een jaar te weinig tijd kan zijn voor reële verbeteringen. Instellingen dienen bijvoorbeeld een half jaar voor afloop van de herstelperiode opnieuw accreditatie aan te vragen, waardoor feitelijk maar een half jaar voor herstel overblijft. De NVAO geeft aan dat dit een te korte periode is voor opleidingen om daadwerkelijk een substantiële verbetering te kunnen aantonen. Ik kan mij vinden in de argumentatie van de NVAO en ben voornemens om de maximale termijn te verruimen naar twee jaar ten behoeve van de verbeterpotentie van het stelsel. Op deze wijze krijgt het stelsel de beoogde flexibiliteit zonder afbreuk te doen aan de kwaliteit van het onderwijs. In het wetsvoorstel Versterking kwaliteitswaarborgen hoger onderwijs zal ik een voorstel daartoe opnemen.
Daarnaast stelt de NVAO voor, de bevoegdheid tot het tussentijds intrekken van accreditatie en toets nieuwe opleiding en de bevoegdheid tot het zelfstandig initiëren van onderzoek bij signalen, in dat kader aan de NVAO over te dragen. Gelet op de stelselverantwoordelijkheid van de Minister acht ik dit niet passend.
Verder stelt de NVAO voor om bestuurlijke afspraken met de NVAO in de wet te verankeren. Ik zie geen aanleiding hiervoor. De NVAO dient terughoudend om te gaan met bestuurlijke afspraken en deze enkel te benutten wanneer er zich een uitzonderlijke situatie voordoet waar het stelsel geen voorziening voor heeft.
Hierbij houd ik ook rekening met het advies van de Raad van State om niet te veel (discretionaire) bevoegdheden bij de NVAO – een zelfstandig bestuursorgaan – te beleggen.8
Externe onafhankelijke beoordeling van kwaliteit
Uit de verschillende rapporten blijkt dat de huidige wijze waarop de panels tot stand komen, voldoende waarborgen biedt voor onafhankelijkheid van het panel en de beoordeling. Hieruit blijkt dat de onafhankelijkheid van de externe beoordeling in het nieuwe stelsel goed geborgd is.
Het Wetsvoorstel versterking kwaliteitswaarborgen hoger onderwijs kent de NVAO de bevoegdheid toe om de commissie van deskundigen ten behoeve van een accreditatie te benoemen. Dit heeft als oogmerk het voorkomen van een mogelijke financiële en morele relatie tussen beoordelaar en beoordeelde, die de onafhankelijkheid van het panel en van de beoordeling onder druk zou kunnen zetten. De Algemene Rekenkamer wijst in dit verband op het risico dat de eigen verantwoordelijkheid van de onderwijsinstellingen voor kwaliteitsbewaking door deze maatregel mogelijk vermindert. Door deze maatregel wordt de verticale grip op het accreditatieproces versterkt, waardoor de NVAO een sterker sturende positie krijgt, aldus de Algemene Rekenkamer.
Nu blijkt dat de onafhankelijkheid van de commissie van deskundigen in de huidige situatie voldoende is geborgd, werpt dit onbeoogde mogelijke bijeffect ander licht op de maatregel. De kern en kracht van het accreditatiestelsel is dat het gebaseerd is op peer review. De beoordeling door en het inhoudelijke gesprek met deskundigen, die de instelling deskundig, inhoudelijk gezaghebbend en professioneel acht, leiden ertoe dat het stelsel aanzet tot verbetering. Het eigenaarschap van de instellingen is hierbij cruciaal. Daarnaast blijkt uit de evaluatie dat de externe onafhankelijkheid nu al goed geborgd is. Bovendien wijs ik erop dat de één-op-één relatie tussen beoordelaar en beoordeelde door de invoering van clustergewijze visitatie niet meer als zodanig aan de orde is.
Daarom wil ik benoeming van commissies van deskundigen door de NVAO beperken tot situaties waarin instellingen niet tot overeenstemming komen wat betreft de keuze van de deskundigen. In dat geval is het goed dat er een instantie is die de knoop kan doorhakken. Ik zal genoemd wetsvoorstel op dit punt aanpassen. Hiermee kom ik tegemoet aan de kanttekeningen van de NVAO en de Algemene Rekenkamer en laat het eigenaarschap zoveel mogelijk bij de instellingen liggen.
Accreditatiestelsel in internationaal perspectief
Het accreditatiestelsel wordt internationaal gewaardeerd en de NVAO voldoet aan de Standards and Guidelines for Quality Assurance in the European Higher Education Area. De Algemene Rekenkamer en de Vlaamse pendant stellen in hun evaluatie dat Nederland en Vlaanderen dienen te overwegen of zij de organisatie van de externe kwaliteitsbewaking nog meer op elkaar kunnen of moeten afstemmen. Er is een belangrijke stap gezet met de ondertekening van de verdragsaanpassing op 16 januari 2013 waarmee academische gelijkstelling van elkaars hoger onderwijsgraden wordt geregeld. Daarnaast vindt de Algemene Rekenkamer dat Nederland en Vlaanderen voor bijsturingen meer lering moeten trekken uit elkaars ervaringen, onder meer voor wat betreft geclusterd visiteren en aandacht voor de afstudeerwerken. Dit najaar bespreek ik dit punt met Vlaanderen, in het Comité van Ministers voor accreditatie.
Werkwijze NVAO
Doorlooptijden, piekbelasting en accreditatiekalender
Uit de evaluatie (ENQA, Algemene Rekenkamer en Inspectie) blijkt dat de doorlooptijd van accreditatie-aanvragen door instellingen als te lang wordt ervaren met als gevolg dat het momentum verloren kan gaan en het uiteindelijke besluit niet meer de nodige aandacht in de instelling of opleiding krijgt. Oorzaak voor deze lange doorlooptijden zijn onder andere de «piekmomenten». De collectieve start van het stelsel in 2002 heeft periodieke pieken en dalen gecreëerd wat voor opeenhopingen van beoordelingen zorgt. Eind dit jaar en volgend jaar wordt dan een piek (vooral bij universitaire opleidingen) verwacht vanwege de vervaldatum van accreditatietermijnen van veel opleidingen.
Instellingen dienen binnen een redelijke termijn het besluit te ontvangen. Ik ben het dan ook eens met de Algemene Rekenkamer die stelt dat de NVAO de doorlooptijd voor de behandeling van de accreditatieaanvragen beter moet beheersen, ook gezien mijn voornemen om clustergewijs visiteren door te voeren. Ik vind het geen goede zaak dat een (lange) doorlooptijd het risico met zich mee brengt dat het verbeterpotentieel van de beoordeling afneemt. Ik zal de koepels vragen bij welke opleidingen verlenging van accreditatietermijnen zal leiden tot een betere spreiding en het voorkomen van piekbelasting. In het wetsvoorstel Versterking kwaliteitswaarborgen hoger onderwijs wordt de Minister de bevoegdheid toegekend om over te gaan tot verlenging van de accreditatietermijn en de termijn voor toets nieuwe opleiding. Deze termijn kan ik gebruiken om in dit verband piekbelasting te voorkomen en clustergewijze visitatie te faciliteren. Voordat ik deze bevoegdheid gebruik, zal ik mij laten adviseren door de NVAO, zowel wat betreft de spreiding over de jaren als over de opleidingen waarvan ik de accreditatie verleng. Wanneer er op grond van signalen aanleiding is om de kwaliteit van een bepaalde opleiding in twijfel te trekken, zal een verlenging van de accreditatietermijn niet worden toegekend.
Accreditatiebesluiten voor publiek gebruik
Uit de evaluatie blijkt dat de toegankelijkheid, leesbaarheid en de onderbouwing van accreditatiebesluiten beter zou kunnen. De database waarin de NVAO de rapporten van de geaccrediteerde opleidingen aanbiedt, is niet gebruiksvriendelijk.
Met het nieuwe accreditatiestelsel wordt beoogd verschillen tussen opleidingen zichtbaarder te maken. Het is dan ook van belang dat de accreditatiebesluiten toegankelijk en leesbaar zijn voor eenieder en dat de onderbouwing van deze besluiten gedegen tot stand zijn gekomen. Maar het is ook belangrijk dat verschillen in opleidingen zichtbaarder en toegankelijker worden gemaakt. Volgens de inspectie kan dat beter. Eén van de doelen van het nieuwe accreditatiestelsel was de zichtbaarheid van kwaliteitsverschillen te vergroten en de vergelijkbaarheid te verbeteren, opdat verschillen in opleidingen voor het publiek beter toegankelijk zijn. De zichtbaarheid van de kwaliteitsverschillen is op dit moment onvoldoende. Ik zal met de NVAO bespreken hoe dit gerealiseerd kan worden.
Het vergroten van de gebruiksvriendelijkheid van de website van de NVAO wat betreft de zoekfunctie voor besluiten en onderliggende rapporten kan een grote bijdrage leveren aan de publieke bruikbaarheid en ertoe bijdragen dat studenten en werkgevers meer gebruik gaan maken van deze gegevens. De NVAO heeft al stappen gezet om op dit punt verbeteringen aan te brengen en zal daar de komende de komende tijd sterker op inzetten.
Ik vind het belangrijk dat de accreditatierapporten ook voor studenten goed zijn ontsloten. Naast de website van de NVAO kunnen deze rapporten wellicht ook via de website www.studiekeuze123.nl toegankelijk worden gemaakt. Ik zal met betrokken partijen de mogelijkheden hiervoor nagaan.
Aanbevelingen aan de NVAO
Zoals uit bovenstaande al blijkt is een aantal aanbevelingen in de rapporten die ten grondslag liggen aan de evaluatie gericht aan de NVAO. Zo beveelt de inspectie de NVAO aan om, in samenspraak met de evaluatiebureaus, meer onderzoek te doen naar de betrouwbaarheid van de beoordelingen, de validiteit van de beoordelingen te verbeteren, meer compliance assistance rond kwaliteitszorg te bieden en de publieke vergelijkbaarheid van opleidingen verder te verbeteren. Maar ook ENQA en de Algemene Rekenkamer doen aanbevelingen aan de NVAO ter verbetering van het accreditatiestelsel. De NVAO zal haar reactie op de aanbevelingen uit de verschillende rapporten, die dit najaar verschijnt, aan mij toesturen en dit betrekken bij haar nieuwe strategienota.
Tot slot
Door de invoering van het nieuwe accreditatiestelsel zijn belangrijke stappen gezet om het accreditatiestelsel doeltreffender te maken. We kunnen concluderen dat een ontwikkeling in gang is gezet die sterk bijdraagt aan de realisatie van de gestelde doelen. Maar we zien tegelijkertijd dat er ondanks deze positieve constatering, verbeteringen nodig zijn, vooral als het gaat om vermindering van (administratieve) lasten. Ik wil over twee jaar nogmaals kritisch kijken naar hoe de lasten zich hebben ontwikkeld. De inspectie heeft aangegeven over twee jaar, in 2015, de verbeteringen op de vijf aanbevelingen te onderzoeken. Eén van haar aanbevelingen is: «Bestrijd samen actief de administratieve lasten».
In deze beleidsreactie heb ik aangegeven hoe ik de komende periode uitwerking zal geven aan de aanbevelingen en de aandachtpunten die uit de evaluatie naar voren komen. Ik zend u zo spoedig mogelijk een nota van wijziging op het wetsvoorstel Versterking kwaliteitswaarborgen hoger onderwijs onder andere met betrekking tot bovengenoemde aanpassingen.
Mede namens de Minister van Economische Zaken, De Minister van Onderwijs, Cultuur en Wetenschap, M. Bussemaker
ACTIELIJST NAV EVALUATIE ACCREDITATIESTELSEL
|
Wijziging |
Doel |
|---|---|
|
NVAO benoemt alleen commissie van deskundigen wanneer instellingen zelf niet tot overeenstemming kunnen komen |
Eigenaarschap zoveel mogelijk bij de instellingen laten |
|
Tussentijdse Toets Nieuwe Opleiding alleen bij instellingen die de instellingstoets kwaliteitszorg niet hebben gehaald |
Invulling geven aan verdiend vertrouwen en instellingen niet onnodig belasten |
|
De maximale hersteltermijn wordt verruimd naar twee jaar |
Ruimte creëren voor de verbeterpotentie en flexibilisering van het stelsel |
|
Onderwerp |
Gesprekspartner(s) |
Termijn |
|---|---|---|
|
Voorkomen vervlakking van oordelen |
NVAO |
Korte termijn |
|
Verminderen lasten bij instellingen |
NVAO en andere stakeholders |
Korte termijn |
|
Samenhang en afbakening in de taken tussen de inspectie, NVAO en de Reviewcommissie |
HO-instellingen via VSNU en VH |
Korte en lange termijn |
|
Afstemming organisatie van externe kwaliteitsbewaking, lering trekken uit elkaars ervaringen |
Vlaanderen |
Comité van Ministers in November |
|
Verminderen administratieve lasten en andere lasten in de vormgeving van het accreditatiestelsel |
Docenten en andere betrokkenen zoals VSNU, VH en NRTO |
Lange termijn |
|
Validiteit en betrouwbaarheid van beoordelingen borgen |
NVAO en andere stakeholders |
Korte termijn |
|
Verdiend vertrouwen nog meer belonen |
NVAO en andere stakeholders |
Korte en lange termijn |
|
Het monitoren van onnodige lasten zodat deze in de toekomst niet meer voorkomen |
NVAO en andere stakeholders |
Korte termijn |
|
Verbeter publieke vergelijkbaarheid van opleidingen |
NVAO en andere stakeholders |
Korte termijn |
|
Verlenging van accreditatietermijnen om onder meer piekbelasting te voorkomen |
Koepels en NVAO |
Korte termijn |
Voor deze evaluatie is gebruik gemaakt van de rapporten van:
1. Inspectie van het Onderwijs (2013), De kwaliteit van het Nederlandse accreditatiestelsel in het hoger onderwijs. Utrecht
2. Algemene Rekenkamer/Rekenhof (2013). Vervolgonderzoek kwaliteitsbewaking in het hoger onderwijs in Nederland en Vlaanderen. Den Haag
3. Wetenschappelijke Raad voor het Regeringsbeleid (2012). Sectorstudie Toezicht hoger onderwijs
4. European Association Quality Assurance (ENQA, 2012). Report of the panel of the external review of NVAO
5. Nederlands-Vlaamse Accreditatieorganisatie (2013). Evaluatie Accreditatiestelsel 2011–2013
Inspectie van het Onderwijs (2013). De kwaliteit van het Nederlandse accreditatiestelsel hoger onderwijs. Utrecht
De Inspectie van het Onderwijs heeft volgens de Wet op het onderwijstoezicht (WOT) toezicht op het Nederlandse accreditatiestelsel (art. 3.2, lid c WOT). Dit betreft toezicht op de kwaliteit van het functioneren van het accreditatiestelsel in Nederland, en betreft geen toezicht op de NVAO. Het hierboven genoemde onderzoek naar het accreditatiestelsel maakt deel uit van dit toezicht en heeft als doel het beoordelen en bevorderen van de kwaliteit van het accreditatiestelsel9. Het onderzoek moet inzicht geven in de sterke kanten van het accreditatiestelsel, maar ook in de punten waarop verbetering nodig en mogelijk is.
Algemene Rekenkamer/Rekenhof (2013). Vervolgonderzoek Kwaliteitsbewaking in het hoger onderwijs in Nederland en Vlaanderen. Den Haag
De Nederlandse Algemene Rekenkamer en het Belgische Rekenhof publiceerden in 2008 een gezamenlijk verslag over de kwaliteitsbewaking in het hoger onderwijs.10 Dit onderzoek is daar een vervolg op. De Algemene Rekenkamer en het Rekenhof hebben met dit vervolgonderzoek nagegaan of de Ministers en de NVAO de kwaliteitsbewaking in het hoger onderwijs hebben bijgestuurd, mede op grond van de conclusies in hun rapport Kwaliteitsbewaking in het hoger onderwijs in Nederland en Vlaanderen uit 2008. Het vervolgonderzoek richt zich alleen op de externe kwaliteitsbewaking, niet op de interne kwaliteitszorg binnen de onderwijsinstelling. In het licht van eerdere aanbevelingen en het huidige onderzoek heeft de Algemene Rekenkamer bezien of de aanvullende maatregelen van het wetsvoorstel Versterking Kwaliteitswaarborgen hoger onderwijs (waarvan de behandeling in de Tweede Kamer is ingepland op 30 september 2013) zullen bijdragen aan de verdere versterking van de kwaliteitsbewaking.
Wetenschappelijke Raad voor het Regeringsbeleid (2012). Sectorstudie toezicht hoger onderwijs.
In het werkprogramma van de WRR voor de periode 2011 – 2012 was een advies voorzien over toezicht en verantwoordelijkheid. Ter voorbereiding van het advies laat de WRR op een aantal terreinen van de maatschappelijke dienstverlening sectorstudies uitvoeren11. De sectorstudies fungeren als basis voor de algemene analyse en waar wenselijk als opstappunt voor nader verdiepend onderzoek. In essentie gaat het om vragen rond legitimering van (de omvang en reikwijdte van) overheidstoezicht en om de wijze waarop het toezicht effectief kan worden ingericht. In de sectorstudie voor het onderwijs is gekozen voor een accent op de ontwikkelingen in het hoger onderwijs, omdat daar de meest intensieve discussie plaatsvindt over toezicht, met nogal uiteenlopende standpunten. De sectorstudie heeft een beschrijvend en analytisch karakter.
ENQA (2012). Report of the Panel of the external review of NVAO
Het rapport betreft de externe evaluatie van de NVAO, welke is uitgevoerd in juni 2012 om te bepalen of de NVAO voldoet aan de criteria voor volledig lidmaatschap van ENQA12. De NVAO heeft een zelfevaluatie rapport (self-evaluation report, in de citaten afgekort als: SER) inclusief bijlagen opgesteld als basis voor de analyse en de getrokken conclusies. Het panel heeft daarnaast een site visit gedaan om uitspraken in het zelfevaluatierapport te valideren, om bepaalde punten te verduidelijken en om andere relevante documenten te verkrijgen. De geldende regels binnen ENQA vereisen van alle organisaties met een volledig lidmaatschap dat zij tenminste eens per vijf jaar een externe beoordeling ondergaan, om na te gaan of zij voldoen aan de bepalingen voor het lidmaatschap. Het belangrijkste criterium om daaraan te voldoen betreft de mate van naleving van de European Standards and Guideliness for Quality Assurance in the European Higher Education Area (ESG). Dit was de tweede beoordeling van de NVAO aan de ESG. De eerste evaluatie vond plaats in 2007.
Nederlands-Vlaamse Accreditatieorganisatie (2013). Evaluatie accreditatiestelsel 2011–2013
De NVAO reflecteert in haar rapport op de invoering van dit nieuwe accreditatiestelsel13. De centrale vraag van het evaluatieonderzoek van de NVAO is: Hoe functioneert het nieuwe accreditatiestelsel? De NVAO heeft deze vraag vertaald in een aantal deelvragen, waarbij de doelstellingen van het nieuwe systeem daarbij als uitgangspunt voor de evaluatie dienen. Om tot een antwoord te komen op de hoofdvraag en deelvragen heeft de NVAO verschillende onderzoeken uitgevoerd dan wel laten uitvoeren, te weten:
– Onderzoek naar de verdeling van panelscores (NVAO, juli 2013);
– Onderzoek naar de beoordeling van de argumentatie van panelscores (NVAO, juli 2013);
– Onderzoek naar de kwaliteit van de visitatierapporten (NVAO, juli 2013);
– Rondetafelgesprek met voorzitters van de instellingstoets kwaliteitszorg (NVAO, mei 2013);
– Onderzoek naar de eerste ervaringen van docenten met de beperkte opleidingsbeoordeling (ResearchNed in opdracht van de NVAO, mei 2013);
– Evaluatie van panelsamenstellingen (NVAO, 12 november 2012);
– Addendum bij evaluatiepanelsamenstellingen (NVAO, 27 juni 2013)
Om de uitkomsten van de eigen onderzoeken te contextualiseren wordt gebruik gemaakt van externe onderzoeken van onder meer de Algemene Rekenkamer en het Belgische Rekenhof, de inspectie en de European Association for Quality Assurance in Higher Education (ENQA).
Op grond van de rapporten die zijn genoemd in bijlage 2, zijn de deelvragen uit de evaluatie beantwoord. Hieronder vindt u per vraag relevante citaten uit de verschillende rapporten.
«Hier past een voorzichtig positief antwoord. [...] Er is de laatste jaren duidelijk meer aandacht voor kwaliteit en er lijkt zich geleidelijk een kwaliteitscultuur te ontwikkelen. Uit de gesprekken, de cases en de enquête komt het beeld naar voren van een toenemende stimulans om de kwaliteit te willen kennen en te verbeteren. Hoewel vele ontwikkelingen in het hoger onderwijs hiertoe uitnodigen, draagt ook het accreditatiestelsel daar ongetwijfeld toe bij. Zo draagt de ITK [instellingstoets kwaliteitszorg] bij aan meer betrokkenheid van het bestuur bij de kwaliteit, meer sturing op kwaliteit en scherpere bewaking.»
(Inspectie van het Onderwijs, 2013, Hoofdstuk 12, Evaluatie invoering nieuwe stelsel, p.56)
«In Nederland is er bij de instellingstoets nu meer aandacht voor het betrekken van de onderzoekskwaliteit bij de onderwijskwaliteit. Bij wo-opleidingen en bij hbo-masters is er een sterke verwevenheid vereist tussen (wetenschappelijk of praktijkgericht) onderzoek en onderwijs. Die verwevenheid primeert boven een kwaliteitsoordeel van het onderzoek an sich.»
(Algemene Rekenkamer, 2013, Opvolging van de aanbevelingen voor kwaliteitsbewaking, p.75)
«The General Board expressed the view that there is an increasing emphasis on development of a quality culture in all HEIs, and similarly the umbrella organisations of the HEIs in the Netherlands expressed the view that the institutional audits are useful in encouraging debate within institutions regarding the overall mission, strategic directions etc.»
(ENQA, 2012, Hoofdstuk 4, p.12–13)
«Generally, the impression of the Panel is that the new system in the Netherlands and not least the inclusion of institutional audits and the possibility for granting a recovery period do indeed promote more focus on quality improvement and enhancement than the previous system did.»
(ENQA, 2012, Hoofdstuk 4, p.20)
«Van het accreditatiestelsel wordt vaak aangenomen dat het heeft geleid tot een afvinkcultuur, gericht op het halen van de accreditatie, zonder dat de bijbehorend vooronderstelde «kwaliteitscultuur» daadwerkelijk doorleefd wordt. Louw (2011) wijst op de bureaucratisering en juridisering van het proces van visitatie; onder het visitatiestelsel was de visitatie een zaak van docenten en de visitatiecommissie, en voor wat betreft de bestuurlijke hantering van de uitkomsten, het instellingsbestuur en de inspectie.»
(WRR, 2012, Hoofdstuk 2, Situatieschets van het toezicht in het hoger onderwijs, p. 19–20)
«De voorzitters van de auditcommissies die de instellingstoets kwaliteitszorg uitvoeren concluderen dat de ITK een belangrijk positief effect heeft op de kwaliteitscultuur binnen instellingen. De toets is zeker geen «kunstje» en er is sprake van enige nervositeit bij de betrokken instellingen. De ITK heeft doorgaans ook een positief effect op het gemeenschapsgevoel binnen een instelling. Het belang van de voorbereiding op de toets, via het schrijven van de kritische reflectie en de uitvoering van een proefaudit, wordt daarbij genoemd als een factor die mede bepalend is voor het succes van de toets. De NVAO stelt vast dat het proces voorafgaande aan het bezoek zeer belangrijk is. In de voorbereiding op de audit wordt door de meeste instellingen enorm veel werk verzet. Het hele systeem van beleidsvoorbereiding, uitvoering en evaluatie wordt goed doorgelicht.»
(NVAO, 2013, Samenvatting, p.7)
«Ook dit doel, dat sterk samenhangt met het vorige, lijkt bereikt te worden. Er is in de gesprekken meer aandacht gekomen voor de inhoud en de resultaten van de opleidingen dan bij de uitgebreide beoordelingen.»
(Inspectie van het Onderwijs, 2013, Hoofdstuk 12, Evaluatie invoering nieuwe stelsel, p.56)
«Bij de opleidingsbeoordelingen is volgens de betrokkenen een accentverschuiving merkbaar van aandacht voor procedures en processen naar de inhoud van de opleiding. Dit vindt men in hoge mate stimulerend.»
(Inspectie van het Onderwijs, 2013, Hoofdstuk 12, Evaluatie invoering nieuwe stelsel, p.56)
«Daarnaast constateert de Inspectie dat bij het bepalen van het eindniveau momenteel te eenzijdig naar alleen de werkstukken gekeken wordt».
(NVAO, 2013, Conclusies, p. 61)
«Zoals aanbevolen in het verslag van het Rekenhof en de Algemene Rekenkamer van 2008, biedt het nieuwe stelsel voor kwaliteitsbewaking door de verscherpte focus van de opleidingsaccreditatie de kans de aandacht meer te richten op de inhoudelijke aspecten van de onderwijskwaliteit en in het bijzonder op het gerealiseerde eindniveau. Toch zijn er nog kanttekeningen te plaatsen bij de onderbouwing van de oordelen van zowel de visitatiecommissies als de NVAO.»
(Algemene Rekenkamer, 2013, Conclusies, p. 7)
«De externe kwaliteitsbewaking kan meer aandacht schenken aan de inhoudelijke aspecten van de onderwijskwaliteit dankzij de beperking van het accreditatiekader tot drie essentiële kwaliteitswaarborgen, wat mogelijk werd door een aparte instellingstoets of instellingsreview in te voeren.»
(Algemene Rekenkamer, 2013, Conclusies, p. 7)
«Er is in Nederland in de periode 2008–2012 meer aandacht gekomen voor de inhoudelijke onderwijskwaliteit en – mede door de Inhollandproblematiek – voor het gerealiseerde eindniveau. De kwaliteit van de zelfevaluaties blijft uiteenlopend, maar de visitatierapporten van de visitatiepanels blijken zichtbaar meer afstudeerwerken te herbeoordelen om het gerealiseerde opleidingsniveau vast te stellen. De instellingen voor meer praktisch georiënteerde hbo-opleidingen ervaren de uitsluitende aandacht voor de schriftelijke afstudeerwerken wel als te beperkt; voor praktisch georiënteerde hbo-opleidingen spelen vaardigheden juist een belangrijke rol.»
(Algemene Rekenkamer, 2013, Conclusies, p. 9)
«De Algemene Rekenkamer heeft via een webenquête aan secretarissen van visitatiepanels gevraagd of er nu meer aandacht is voor de inhoudelijke kwaliteit van de opleiding. 63% was het met die stelling eens.
De opleidingen waarmee de Algemene Rekenkamer heeft gesproken, zijn zelf echter minder overtuigd dat er meer aandacht gaat naar de inhoudelijke kwaliteitsaspecten van een opleiding. Soms weerspiegelt afstudeerwerk (onderzoek) waarin de student moet laten zien dat hij/zij theoretische kennis en onderzoeksvaardigheden bezit, maar gedeeltelijk het gerealiseerde eindniveau van een opleiding die ook veel praktische vaardigheden vereist. Bij de standaard onderwijsleeromgeving is ook wel meer aandacht voor de inhoud, maar het inhoudelijke deel blijft een benadering.»
(Algemene Rekenkamer, 2013, Aandacht voor inhoudelijke kwaliteit en eindniveau bij toezicht, p.35)
«De invoering van aparte instellingstoetsen, de beperkte opleidingstoetsen en de focus op afstudeerwerken bieden in opzet meer ruimte voor de inhoudelijke kant van het onderwijs. Er wordt bij visitatie al kritischer naar de eindwerken gekeken, maar het blijft lastig een exacte weging van bevindingen voor het eindoordeel uit de rapportages af te leiden.»
(Algemene Rekenkamer, 2013, Aandacht voor inhoudelijke kwaliteit en eindniveau bij toezicht, p.36)
«Het onderzoek onder docenten in het hoger onderwijs wijst uit dat de nieuwe manier van beoordelen in de beperkte opleidingsbeoordeling meer op de kwaliteit van het onderwijs is gericht dan vroeger. Wel vinden docenten dat er nog meer aandacht mag komen voor verbetering van het onderwijs en dat «gerealiseerde eindkwalificaties» nog meer aandacht mogen krijgen.»
(NVAO, 2013, Samenvatting, p.6)
«De NVAO constateert in dit rapport dat de visitatie «nieuwe stijl» meer bijdraagt aan de onderwijskwaliteit. Bijna de helft van de ondervraagde docenten (46%) vindt dat de nieuwe visitatie meer gericht is op de inhoud van het onderwijs.» (NVAO, 2013, Samenvatting, p.7)
«De NVAO concludeert op basis van de hier gepresenteerde resultaten dat de nadruk bij de beoordeling van opleidingen inderdaad sterker is komen te liggen bij het hart van de onderwijskwaliteit.»
(NVAO, 2013, Conclusies, p.63)
«De vraag is of de reductie in het beperkte regime van zestien naar drie standaarden geen afbreuk doet aan het inzicht in alle aspecten van de opleiding. Betrokkenen in onze cases zijn echter van oordeel dat nu meer op de inhoud gefocust kan worden en dat de inhoud in de rapporten juist beter zichtbaar wordt. Daarmee lijkt de reductie niet tot vermindering van de transparantie te leiden.» (Inspectie van het Onderwijs, 2013, Hoofdstuk 8, p. 43)
«De introductie van een bredere beoordelingsschaal met de categorieën goed en excellent, die ook daadwerkelijk worden gebruikt, maakt verschillen boven het basisniveau niet alleen zichtbaar, het stimuleert instellingen ook om naar deze beoordelingen te streven. In dat opzicht beperkt de reductie van het aantal standaarden van zestien naar drie de mogelijkheid om deze kwalificaties te behalen. We zagen opleidingen die om die reden liever met het uitgebreidere regime beoordeeld wilden worden, dan konden ze op een aantal aspecten een goed en zelfs een excellent verkrijgen. »
(Inspectie van het Onderwijs, 2013, Hoofdstuk 12, Evaluatie invoering nieuwe stelsel, p. 56)
«De kwaliteit van de visitatierapporten bij het einde van de eerste accreditatieronde en bij het begin van de tweede accreditatieronde was echter nog niet altijd naar behoren qua navolgbaarheid en onderbouwing. Dat kan, samen met de verminderde detaillering van de beoordeling (de beoordeling op het niveau van de facetten, nu criteria, is weggevallen) en een onduidelijke weging, risico’s inhouden en onzekerheid creëren: essentiële aspecten waarop de opleiding slecht scoort, dreigen onzichtbaar te blijven. Het nieuwe beoordelingskader geeft weliswaar meer ruimte voor een inhoudelijke benadering, maar kan ook leiden tot een vervlakking van het oordeel.»
(Algemene Rekenkamer, 2013, Conclusies, p. 7–8)
«De weging van onderwerpen is bij een beperkte opleidingsbeoordeling, waar sprake is van drie standaarden, minder gedetailleerd dan bij een uitgebreide opleidingsbeoordeling, waar voor zestien standaarden een oordeel wordt vastgelegd in het rapport (en het besluit). Dat houdt een risico in op vervlakking.»
(Algemene Rekenkamer, 2013, Aandacht voor inhoudelijke kwaliteit en eindniveau bij toezicht, p.36)
«Het wetsvoorstel stelt voor om één van de drie standaarden uit te splitsen: het gerealiseerde eindniveau en de wijze van examinering vormen niet langer samen één beoordelingscriterium, maar ze worden bij de accreditatie separaat beoordeeld. De Algemene Rekenkamer verwacht dat dit kan bijdragen aan de versterking van de kwaliteitsbewaking omdat bevindingen en oordelen nu duidelijker identificeerbaar in de rapportages kunnen terugkeren.»
(Algemene Rekenkamer, 2013, Aandacht voor inhoudelijke kwaliteit en eindniveau bij toezicht, p.34)
«Verschillen tussen opleidingen in het nieuwe stelsel worden al met al beter zichtbaar.»
(Inspectie van het Onderwijs, 2013, Hoofdstuk 12, Evaluatie invoering nieuwe stelsel, p. 56)
«De introductie van een bredere beoordelingsschaal met de categorieën goed en excellent, die ook daadwerkelijk worden gebruikt, maakt verschillen boven het basisniveau niet alleen zichtbaar, het stimuleert instellingen ook om naar deze beoordelingen te streven.»
(Inspectie van het Onderwijs, 2013, Hoofdstuk 12, Evaluatie invoering nieuwe stelsel, p. 56)
«Er is ook nog geen sprake van geclusterd visiteren in het hbo. Met geclusterd visiteren zijn de oordelen bij verschillende opleidingen beter met elkaar te vergelijken»
(Algemene Rekenkamer, 2013, Conclusies, p. 10)
«De weging van onderwerpen is wel al aangepast: bij een negatieve beoordeling op een specifieke standaard kan het eindoordeel niet positief zijn of kan er geen herstelperiode worden aangeboden. Ook is differentiatie in het eindoordeel mogelijk geworden: naast onvoldoende ook voldoende, goed en excellent.»
(Algemene Rekenkamer, 2013, Aandacht voor inhoudelijke kwaliteit en eindniveau bij toezicht, p.36)
«De beoordelingen leveren echter nog niet een sterk gedifferentieerd beeld op. Uit de analyse in hoofdstuk 3 van de scores die visitatiepanels toekennen blijkt dat de spreiding van de oordelen beperkt is. Zo zien we dat bij de beperkte opleidingsbeoordeling meer dan 4/5 van de opleidingen (81%) als eindoordeel voldoende heeft. Het percentage opleidingen dat als goed beoordeeld wordt ligt op 14%. In 3% van de opleidingen beoordeeld met het BOB-kader is het eindoordeel onvoldoende. Hetzelfde percentage geldt voor opleidingen met als eindoordeel excellent. Bij de uitgebreide opleidingsbeoordeling wordt bij het eindoordeel nog niet de hele schaal gebruikt: er zijn geen opleidingen die als eindoordeel excellent hebben. 3% van de opleidingen heeft als eindoordeel onvoldoende, 14% goed. De piek ligt ook hier bij het eindoordeel voldoende (84%). (NVAO, 2013, Conclusies, p.62)
Dat de piek bij het eindoordeel voldoende ligt, is op zich logisch: de score voldoende reflecteert een basiskwaliteit waaraan een opleiding minimaal dient te voldoen. Om tot een eindoordeel goed te komen, dient de opleiding op een minimum aantal standaarden systematisch en over de volle breedte boven deze basiskwaliteit uit te stijgen. Deze stap blijkt in het beoordelen dus groot.»
(NVAO, 2013, Conclusies, p.63)
«Het valideren van de oordelen van visitatiepanels is de kerntaak van de NVAO. (...) In het algemeen kijkt de NVAO extra scherp naar de argumentatie, wanneer visitatiepanels een opleiding op een (of meerdere) standaard(en) beoordelen als meer-dan-voldoende. Daarmee versterkt de NVAO het vertrouwen, dat panelscores ook daadwerkelijke verschillen in onderwijskwaliteit tussen opleidingen representeren.»
(NVAO, 2013, Paragraaf 4.3, p. 38)
«Het is duidelijk dat van de voorwaarden en de herstelperiode goed gebruik gemaakt wordt. Hiermee wordt duidelijk in een behoefte voorzien. De vraag is of er nu voldoende maatwerkmogelijkheden zijn.»
(Inspectie van het Onderwijs, 2013, Hoofdstuk 12, Evaluatie invoering nieuwe stelsel, p. 56)
«Per 1 januari 2011 is met het nieuwe stelsel de mogelijkheid van een besluit tot een herstelperiode ingevoerd. Van de 387 aanvragen in 2011 (TNO plus BO) vielen slechts 37 onder het regime van het pas gestarte nieuwe accreditatiestelsel. Hiervan kregen er twee een negatieve beoordeling, veertien (TNO) een toets nieuwe opleiding onder voorwaarden, dertien (BO) een besluit tot een herstelperiode en slechts zeven (TNO plus BO) direct een positieve beoordeling (Jaarverslag 2011, NVAO). Op grond van deze nog beperkte cijfers lijkt het stelsel strenger te zijn geworden. Overigens moet wel bezien worden in hoeverre de beoordelaars ook in de herhaalde beoordeling de lat hoog weten te houden. Het alsnog terugdeinzen voor de harde gevolgen van een afkeuring ligt dan immers opnieuw op de loer.
Omgekeerd kan hier ook de conclusie uit getrokken worden dat in het stelsel zonder de herstelperiode over het geheel genomen positiever is geoordeeld. Kennelijk is de beoordeling te weinig scherp geweest. Het is een gunstige ontwikkeling dat de lat in het nieuwe stelsel hoger komt te liggen.»
(Inspectie van het Onderwijs, 2013, Hoofdstuk 4, Betrouwbaarheid en validiteit, p.34)
«Hoewel er met ingang van 2011 maatregelen zijn getroffen om te komen tot een kritischer oordeelsvorming bij visitatie en accreditatie, zijn er in lijn met de eerdere aanbevelingen nog verdere verbeteringen mogelijk.
De Algemene Rekenkamer stelde vast dat de nieuwe bevoegdheden voor de NVAO om aanvullend informatie op te vragen al deels worden gebruikt – zoals mogelijkheden tot herbeoordelingen en tussentijds onderzoek- maar dat nog niet alle mogelijkheden volledig worden gebruikt.»
(Algemene Rekenkamer, 2013, Conclusies, p. 9)
«Ook is het sinds 2011 bijvoorbeeld mogelijk om een herstelperiode in het accreditatiebesluit op te nemen, zodat instellingen meer tijd krijgen om aan de normen van het beoordelingskader te voldoen. Daardoor kunnen de visitatiepanels en ook de NVAO kritischer oordelen, zonder directe zware gevolgen. De herstelperiode wordt nu als instrument veel vaker toegepast dan de hardere sancties die voorheen bestonden.»
(Algemene Rekenkamer, 2013, Conclusies, p. 9–10)
«De verbeterfunctie van de aangepaste kwaliteitsbewaking blijkt ten slotte uit het toegenomen gebruik van negatieve deeloordelen, aanbevelingen en de mogelijkheid van een herstelperiode in de tweede ronde. De invoering van de herstelperiode vormt een belangrijke nieuwe ontwikkeling voor de accreditaties in Nederland. Ze geeft ruimte om kanttekeningen te plaatsen en onvoldoendes te geven. Een negatiever oordeel heeft niet direct gevolgen voor de accreditatie van de opleiding en de daaraan verbonden bekostiging van de opleiding. De accreditatie kan zo meer bijdragen aan de verbetering van de opleiding.»
(Algemene Rekenkamer, 2013, Aandacht voor inhoudelijke kwaliteit en eindniveau bij toezicht, p.41–42)
«The panel finds that follow-up procedures have been strengthened in the Netherlands through the introduction of a recovery period similar to what has been in place in Flanders since 2005.»
(ENQA, 2012, Hoofdstuk 4, p.23)
«Herstelperiode en voorwaarden
Uit de in hoofdstuk 3 gepresenteerde overzichten blijkt dat de mogelijkheid van herstel voor opleidingen leidt tot scherpere oordelen. De herstelperiode oogt misschien als een versoepeling, maar heeft – zoals de NVAO ook heeft verwacht – juist geleid tot scherpere beoordelingen. De panels hebben minder schroom om onvoldoendes of herstel te adviseren. De NVAO kan haar oordeel beter beargumenteren, hoeft minder aanvullende vragen te stellen en voert nauwelijks nog verificatiebeoordelingen uit.»
(NVAO, 2013, Conclusies, p.66)
«De NVAO concludeert op basis van de hier gepresenteerde resultaten dat er meer maatwerk in het stelsel mogelijk is geworden, wat niet wegneemt dat verdere flexibilisering en verfijning aangewezen is.»
(NVAO, 2013, Conclusies, p. 69)
«Aan dit doel is tot nu toe niet voldaan. Het is duidelijk dat het nieuwe stelsel volgens de ondervraagde betrokkenen tot nu toe geen vermindering van lasten heeft gebracht: dat vindt namelijk 58 procent tegenover 13 procent die wel een vermindering ziet. De rest antwoordt neutraal of weet het niet. Dit verschilt niet tussen wo, hbo en niet-bekostigd onderwijs.
In de cases worden de volgende oorzaken genoemd:
• De instellingstoets is er bijgekomen. Deze geeft in zichzelf een hoge belasting. Doordat de audittrails bij opleidingen pas kort tevoren worden aangekondigd, vergt dit voor alle opleidingen voorbereiding.
• Dit zou tot reductie moeten leiden door het beperkte opleidingsregime. Het beperkte beoordelingskader laat inderdaad een aantal algemene onderwerpen achterwege, maar noodzaakt tot meer diepgang in de resterende onderwerpen. Deze diepgang levert meer werk op; volgens sommigen is dit zelfs meer dan de lastenvermindering door reductie van de algemene onderwerpen. Netto resulteren volgens hen zelfs meer lasten.
• Hierbij speelt ook een rol dat de verbreding van de standaarden in het beperkte regime, zonder precisering van criteria, tot meer onzekerheid leidt. Instellingen reduceren dit door meer documenten op te stellen en aan te leveren.
• De procedurele eisen zijn aangescherpt, onder andere over het aantal afstudeerscripties dat gelezen moet worden en indien nodig aanvullende scripties, het houden van een open spreekuur, at random lesbezoeken, spreken met alumni. Ook is de toetsing belangrijker geworden en men spreekt meer docenten en uitgebreider met de examencommissie.
• Er worden nu meer cijfers over de instelling en de opleiding gevraagd dan vroeger. Daarbij komen enkele autonome ontwikkelingen:
○ De eisen worden hoger, bijvoorbeeld de eisen aan de examenwerkstukken; dit heeft te maken met een algemene druk op de kwaliteit van het hoger onderwijs als gevolg van Veerman, de prestatieafspraken en incidenten als Inholland.
○ Er gaat meer van een beoordeling afhangen, waardoor de druk op de betrokkenen toeneemt.»
(Inspectie van het Onderwijs, 2013, Hoofdstuk 12, Evaluatie invoering nieuwe stelsel, p. 55)
«Hierbij is deels sprake van investeringen in de interne kwaliteitszorg en in hogere kwaliteit, waarbij de lat van de na te streven kwaliteit de laatste jaren hoger is komen te liggen. Zo bezien wegen de lasten die dit meebrengt nadrukkelijk tegen de baten op.
Voor het overige lijkt er een verantwoordingsdruk te ontstaan waar instellingen zich niet goed aan kunnen onttrekken. Deze ontwikkeling loopt parallel aan de invoering van het nieuwe accreditatiestelsel. Het gevolg is dat elke externe beoordeling, dus ook die in het accreditatiestelsel, momenteel bijzonder veel belasting oproept.»
(Inspectie van het Onderwijs, 2013, Hoofdstuk 9, Accreditatielasten, p. 50)
«Er zijn nog geen aanwijzingen dat in Nederland de administratieve lasten zijn verminderd (...). De voor Nederland beoogde besparing wordt lastig te realiseren door de toegenomen werkzaamheden voor de kwaliteitsbewaking als reactie op de diplomacrisis in het hbo (Inhollandproblematiek); ook de reactie hierop van de instellingen zelf zorgt voor extra lasten.»
(Algemene Rekenkamer, 2013, Conclusies, p. 8)
«Ook uit de gesprekken van de Algemene Rekenkamer met instellingen en opleidingen bleek dat zij de nieuwe opzet van het accreditatiestelsel niet als een vermindering van kosten of administratieve lasten ervaren. Een belangrijke verklaring die de verschillende gesprekspartners geven, is dat er meer informatie bij beperkte opleidingsbeoordelingen moet worden aangeleverd dan was voorgenomen (een groter aantal eindwerken, scripties of portfolio’s). Verder zou door de mogelijkheid voor de NVAO om een herstelperiode op te leggen, de externe kwaliteitsbewaking een meer permanente activiteit worden. Permanente activiteiten vergen tijd en aandacht van de onderwijsinstelling.»
(Algemene Rekenkamer, 2013, Opvolging van de aanbevelingen voor kwaliteitsbewaking, p.81)
«De incidenten en vertrouwenscrisis leiden aan de kant van de politiek tot een neiging om toch weer (in weerwil van het beleden paradigma tot terughoudendheid van toezicht en autonomie van instellingen) tot formele regels te komen en zelf normen te gaan stellen, het toezicht risicogericht te maken, populistisch gezegd «scholen te sluiten» of diploma’s «in te trekken»».
(WRR, 2012, Hoofdstuk 3, Fundamentele thema’s en spanningsvelden in toezicht op het hoger onderwijs, p. 28)
«In its SER [Self Evaluation Report], NVAO demonstrates that it is aware of the fact that it may take some time before the 25% reduction of administrative burden will be achieved as the implementation of the new frameworks implies that institutions and programmes have to get used to the new information files and self-evaluation reports.»
(ENQA, 2012, Hoofdstuk 4, p. 14)
«In dit onderdeel van de vragenlijst is ook meegenomen of de BOB (per saldo) leidt tot een verlaging van de accreditatielast. In vergelijking met de hiervoor weergegeven algemene oordelen over het afleggen van verantwoording en de bureaucratie, zijn hier de antwoorden wat minder uitgesproken. De groep respondenten (zowel met als zonder eerdere visitatie-ervaring) die vindt dat de beperkte opleidingsbeoordeling leidt tot een verlaging van de accreditatielast is iets groter dan de groep die het hiermee oneens is.»
(NVAO, 2013, Ervaringen van docenten, p. 46)
«De beheersing van de administratieve lasten heeft bij het ontwerp van het accreditatiestel bijzonder veel aandacht gekregen. De pilots met het nieuwe systeem die in 2008 en 2009 werden uitgevoerd hebben verschillende extra maatregelen opgeleverd die er toe moesten leiden dat de lasten beperkt werden. Het is niettemin evident dat de vermindering van de administratieve lasten niet overal wordt gerealiseerd.
Het onderzoek van ResearchNed onder docenten van opleidingen die in 2011 en 2012 werden gevisiteerd aan de hand van het nieuwe beperkte kader geeft wel reden tot voorzichtig optimisme. De groep respondenten (zowel met als zonder eerdere visitatie-ervaring) die vindt dat de beperkte opleidingsbeoordeling leidt tot een verlaging van de accreditatielast is iets groter dan de groep die het hiermee oneens is.»
(NVAO, 2013, Conclusies, p. 70)
«De NVAO is in dit licht optimistisch dat vanaf 2014 er wel degelijk een duidelijk waarneembare verlichting van de administratieve lasten waarneembaar zal zijn. Begin 2014 zijn immers nagenoeg alle instellingstoetsen afgerond, zullen de instellingen de invoering van de wet »versterking besturing» hebben voltooid en hebben alle instellingen ruime ervaring opgedaan met de nieuwe manier van beoordelen.»
(NVAO, 2013, Conclusies, p. 71)
«De NVAO concludeert op basis van de hier gepresenteerde resultaten dat de administratieve lasten nog niet overtuigend zijn afgenomen en dat een meer flexibel instrumentarium van nut kan zijn om de lasten verder omlaag te brengen.»
(NVAO, 2013, Conclusies, p. 72)
«De Algemene Rekenkamer keek ook naar de kosten van het accreditatiestelsel. Op basis van een globale schatting bedragen de kosten van het accreditatiestelsel 25 miljoen euro per jaar. De voor deze schatting beschikbare informatie is echter zeer beperkt, met name over de interne kosten die instellingen in het hoger onderwijs maken. Voor zover onderzoeken beschikbaar zijn, zijn ze moeilijk vergelijkbaar. Er zijn nog geen aanwijzingen dat instellingen in het hoger onderwijs de beoogde kostenvermindering van 25% al hebben gerealiseerd. Dat is volgens instellingen en evaluatiebureaus mede te wijten aan de extra vistatie- en accreditatiewerkzaamheden door de Inhollandproblematiek. Er worden meer afstudeerwerken beoordeeld en de instellingstoets heeft er nog niet toe geleid dat de kosten van de beperkte opleidingsbeoordeling lager zijn dan de traditionele uitgebreide opleidingsbeoordeling. De onderwijsinstellingen blijken nog steeds de behoefte te hebben om veel (achtergrond)informatie aan te leveren, waardoor de administratieve lasten toch hoog blijven. De kostenverschillen tussen Nederland en Vlaanderen zijn niet goed te verklaren. Zo zijn de gerealiseerde kosten voor een instellingstoets in Nederland hoger dan de geraamde kosten in Vlaanderen.
De uitvoeringslasten van het accreditatiestelsel lijken nu vooral door de reactie op de Inholland-problematiek niet te verminderen. Belangrijker acht de Algemene Rekenkamer dat dit stelsel een betere verantwoording door instellingen in het hoger onderwijs – ook indachtig het regeerakoord- mogelijk maakt over de geleverde onderwijskwaliteit. De discussie over administratieve lasten gaat over input. Het zou jammer zijn als daarmee het zicht op de output, de leerresultaten die in het hoger onderwijs (moeten) worden geboekt, buiten beeld raakt. Pas als hiermee een verbinding wordt gelegd, ontstaat ook meer zicht op de doelmatigheid en doeltreffendheid van inzet van publieke gelden in het hoger onderwijs.»
(Algemene Rekenkamer, 2013, Conclusies, p. 10)
«In 2012 bleek het lastig om vast te stellen of er inderdaad sprake is van een daling van de administratieve lasten, omdat er nog steeds geen harde onderzoeksgegevens beschikbaar zijn over de interne en externe kosten die onderwijsinstellingen moeten maken voor de externe kwaliteitsborging.»
(Algemene Rekenkamer, 2013, Opvolging van de aanbevelingen voor kwaliteitsbewaking, p.81)
«Omdat het accreditatiestelsel feitelijk het sluitstuk is van het interne toezicht binnen instellingen zelf en voortbouwt op de eigen processen en procedures van die instellingen is het ook niet goed mogelijk de externe kosten van het systeem exact te bepalen.»
(NVAO, 2013, Samenvatting, p. 9)
«Er zijn enkele interessante verschillen tussen hbo en wo en tussen bekostigd en niet-bekostigd onderwijs: in het wo vindt men de lasten relatief het zwaarste ten opzichte van de baten en in het niet-bekostigd juist het minst.»
(Inspectie van het Onderwijs, 2013, Hoofdstuk 9, Accreditatielasten, p. 48)
«Dit zien we terug bij de antwoorden op de vraag of de lasten voor de verschillende onderdelen van het proces acceptabel zijn. Van de verschillende onderdelen van het proces vindt 62 tot 87 procent de lasten acceptabel. Daarbij blijkt verder dat de meeste lasten zitten in de interne voorbereidingen: het opstellen van de kritische zelfreflectie, het gereedmaken van de documenten en van de cijfermatige gegevens. De minste lasten ervaart men van het bezoek van het panel en het reageren op het conceptrapport. De niet-bekostigde instellingen vinden de lasten van de voorbereidingen acceptabeler dan het hbo en het wo.
Men vindt het veel, maar nog net acceptabel. De acceptatie van de hoge lasten komt voort uit de ervaring dat er baten tegenover staan, maar ook met het draagvlak voor het accreditatiestelsel in het hoger onderwijs. Of zoals een respondent bondig zegt: «Immers, het brengt wat op en we hebben het onderling zo afgesproken.»
Een ander citaat: «Lasten zijn altijd acceptabel als men gemotiveerd is om te dragen en ze leiden tot een positieve uitkomst. Conclusie: lasten horen erbij.»» (Inspectie van het Onderwijs, 2013, Hoofdstuk 9, Accreditatielasten, p. 48)
«De NVAO vraagt documenten, met nadruk bestaande en niet speciaal voor de beoordeling opgestelde documenten, op te sturen of klaar te leggen. De op te sturen of klaar te leggen informatie en documenten (zie de beoordelingskaders en de handreiking opleidingsbeoordeling) zijn naar ons oordeel voor een goede beoordeling een redelijke selectie van documenten. Het gaat hier inderdaad om documenten die bij een goed functionerende interne kwaliteitszorg zonder veel moeite beschikbaar zijn. Lasten ontstaan vooral als zaken intern niet op orde zijn. (...) Instellingen ervaren verder de natrajecten als zeer belastend: onverhoopt moet er – terwijl men dacht het werk achter de rug te hebben – nog weer veel energie gestoken worden in het opvolgen van aanbevelingen, het voldoen aan voorwaarden, het doorvoeren van verbeteringen voor de herstelperiode dan wel voor het nakomen van bestuurlijke afspraken. Al deze soorten vervolgtrajecten nemen, mede door het bieden van meer maatwerk, sterk toe. Maar moet ook hier de belasting afgezet worden tegen de beoogde en mogelijk ook gerealiseerde kwaliteitswinst»
(Inspectie van het Onderwijs, 2013, Hoofdstuk 9, Accreditatielasten, p. 49)
«But by having set this ambition and committed itself to achieve it and play an active role in monitoring whether the aim will be achieved, the Panel is convinced that NVAO does what it can to ensure that the demands on institutions are no greater than what is necessary for the achievement of the objectives of the new system.»
(ENQA, 2012, Hoofdstuk 4, p. 14)
«Veel wijst er op dat een groot deel van de lasten door de instellingen zelf gecreëerd wordt. Uit de enquête: «Vooral de toenemende druk om steeds meer steeds uitgebreidere onderliggende documenten te hebben (zoals bijvoorbeeld een internationaliseringsnota waarin niet alleen dát aspect beschreven wordt, maar ook weer de samenhang naar doelstellingen, personeelsbeleid, et cetera) en om alles zeer planmatig (in doelstellingen over vijf jaar en stappenplannen hoe je daar moet komen) vast te leggen vormen een bureaucratische bedreiging voor de kwaliteitsCULTUUR.» «Op de meeste instellingen is het systeem verder opgetuigd met interne tussenevaluaties en interne audits, proefvisitaties, et cetera. Ook rond examinering zijn allerlei extra activiteiten ontplooid. Hiermee zijn de kosten voor de kwaliteitszorg de pan uitgerezen en dat is ten koste gegaan van de beschikbare middelen om de kwaliteit te realiseren.» Een voorbeeld van het omgekeerde bevestigt de invloed van de instelling zelf: bij een kleine niet-bekostigde instelling leverde de beoordeling weinig belasting, omdat men zelf veel geleerd had van de vorige beoordeling, weinig schijven voor overleg heeft en een goede archivering van documenten.»
(Inspectie van het Onderwijs, 2013, Hoofdstuk 9, Accreditatielasten, p. 49)
«Er zijn diverse autonome ontwikkelingen die bijdragen aan een verhoging van de administratieve lasten:
• Investering in de interne kwaliteitszorg en het interne toezicht, mede gestimuleerd door de instellingstoets, veroorzaakt meer interne sturings- en verantwoordingsdocumenten en informatiestromen.
• De prestatieafspraken leiden tot extra interne mechanismen van sturing en verantwoording op de afgesproken prestaties.
• Recente incidenten, waaronder het onderzoek van de inspectie en de NVAO naar alternatieve afstudeertrajecten, leiden tot de roep om extra interne waarborgen en zekerheden, bijvoorbeeld rond de examenprocedures en regelingen.
• Het gevoel dat de inspectie veel procedurele en juridische waarborgen vraagt. Zo zagen we een opleiding waar de OER inmiddels uit 320 pagina’s bestaat met het interne beeld dat dit allemaal van de inspectie moet.
• Er heerst een zekere angst voor incidenten met alle publicitaire gevolgen van dien. Men wil zich daarom zo veel mogelijk indekken en het zekere – nog meer documentatie – voor het onzekere nemen.
• De voorafschaduwing van het meewegen van accreditatiebeoordelingen in prestaties en zelfs bekostiging leidt tot meer neiging tot indekken en dus extra lasten. Sommigen met wie wij spraken vinden de druk op de beoordelingen, en met name op de afstudeerwerken, te groot worden. We spraken een instelling waar sommige docenten geen begeleider van afstudeerscripties meer willen zijn, de lol is er af. Ook zijn er docenten die geen zes meer durven te geven.»
(Inspectie van het Onderwijs, 2013, Hoofdstuk 9, Accreditatielasten, p. 49–50)
«In het maatschappelijke en politieke debat over overheidstoezicht lijkt sprake van een paradox: er is een sterke roep om minder overheidstoezicht én tegelijkertijd om meer overheidstoezicht, aldus de WRR in het betreffende werkprogramma. Aan de ene kant worden de omvang en reikwijdte van het overheidstoezicht in toenemende mate ervaren en bestempeld als een last, die bij voorkeur moet worden beperkt. Toezicht roept dan het beeld op van een te omvangrijke en bemoeizuchtige overheid, die met regelgeving en toezicht zorgt voor een verstorende, beperkende en betuttelende bureaucratie. Aan de andere kant klinkt naar aanleiding van veel maatschappelijke problemen, en vooral bij in het oog springende incidenten, de roep om meer of beter toezicht. Bij de maatschappelijke analyse van deze problemen en incidenten wordt niet zelden gewag gemaakt van «falend toezicht» vanuit een overheid of toezichtorgaan. Dit spanningveld dwingt de overheid steeds opnieuw haar toezichthoudende rol en taak te (her)formuleren, te positioneren en in te richten.»
(WRR, 2012, Hoofdstuk 1, Vraagstelling en opzet van het onderzoek, p. 27–28)
«Daarnaast moet ook niet worden onderschat dat synchroon met de invoering van het nieuwe stelsel er belangrijke kwaliteitsproblemen in het hbo aan het licht kwamen. Op tal van gebieden hebben deze kwaliteitsproblemen geleid tot extra maatregelen om de kwaliteit van het onderwijs beter te waarborgen. Daarnaast hebben deze problemen tot de nodige nervositeit binnen de sector geleid ten aanzien van externe beoordelingen en tot extra aandacht vanuit de politiek en de samenleving. Tot slot hebben ook de prestatieafspraken de afgelopen periode veel nieuw beleid in gang gezet op het gebied van de kwaliteit van het onderwijs. Het merendeel van de instellingen heeft op instigatie van het kabinet prestatieafspraken gemaakt over bijvoorbeeld rendementen en studiesucces. Al deze externe factoren leiden binnen instellingen tot een verhoogde aandacht voor de kwaliteit van het onderwijs waarbij het veelal niet goed mogelijk is te onderscheiden welke inspanningen door instellingen vanuit een intrinsieke motivatie worden genomen en welke inspanningen puur en alleen zijn toe te schrijven aan extern toezicht.»
(NVAO, 2013, Conclusies, p. 71)
«De collectieve start van het stelsel in 2002 heeft periodieke pieken en dalen gecreëerd. Dit zorgt bij perioden voor belangrijke opeenhopingen van beoordelingen, ook wel stuwmeren genoemd. Ook de veelvoorkomende accreditatiedatum van 1 januari draagt daaraan bij. In de piekperiodes geeft dit extra veel belasting, niet alleen voor de uitvoerders NVAO, de evaluatiebureaus en het reservoir aan panelleden, maar ook bij de instellingen. [...]Ter vergelijking, het evaluatiebureau QANU, dat vrijwel alle accreditaties verzorgt in het wo, stelde in 2012 123 panels samen. QANU heeft aangegeven een groot kwaliteitsprobleem te ervaren door de fluctuatie van drukke en stille jaren, omdat het bureau geen projectleiders in vast dienstverband kan aannemen en met wisselende zzp’ers werkt.»
(Inspectie van het Onderwijs, 2013, Hoofdstuk 9, Accreditatielasten, p. 50)
«Piekbelasting
Met de inspectie concludeert de NVAO ook dat «de collectieve start van het stelsel in 2002 periodieke pieken en dalen [heeft] gecreëerd.»
(NVAO, 2013, Conclusies, p. 71)
«Bij dit fenomeen moet nog worden opgeteld dat met de invoering van het nieuwe stelsel ook bijna alle bekostigde instellingen hebben gekozen voor een versnelde invoering van het «beperkte regime» bij de opleidingsbeoordeling. Dit betekende dat bijna alle instellingen in deze sector tussen 2011 en 2014 de instellingstoets kwaliteitszorg moe(s)ten ondergaan. De NVAO is in dit licht optimistisch dat vanaf 2014 er wel degelijk een duidelijk waarneembare verlichting van de administratieve lasten waarneembaar zal zijn. Begin 2014 zijn immers nagenoeg alle instellingstoetsen afgerond, zullen de instellingen de invoering van de wet »versterking besturing» hebben voltooid en hebben alle instellingen ruime ervaring opgedaan met de nieuwe manier van beoordelen.»
(NVAO, 2013, Conclusies, p.71).
«De onafhankelijkheid van de panels ten opzichte van de te beoordelen opleiding of instelling is goed. De maatregelen bij de selectie van de panels leiden tot een goede onafhankelijkheid van de panels en ook tot grote tevredenheid van de betrokkenen op dit punt. De beperkte recruteringsvijver voor peers in een klein land geeft soms discussie maar doet geen afbreuk aan de onafhankelijke opstelling van de panels.
Beelden en feiten
Belangrijk is dat de ondervraagde betrokkenen zelf in overgrote meerderheid vinden dat zowel de leden van het panel, de secretaris, de voorzitter als de evaluatiebureaus zich tijdens het afgelopen accreditatieproces onafhankelijk opstelden ten opzichte van de instelling en de opleiding (namelijk respectievelijk 89, 97, 92 en 85 procent, met enkele percentages niet eens/niet oneens en slechts 1 procent oneens). Er zijn hierin geen verschillen tussen hbo en wo, tussen bekostigd en niet-bekostigd onderwijs en tussen respondenten op centraal en decentraal niveau.
Ook in de onderzochte cases is er geen inbreuk op de onafhankelijkheid aangetroffen. Hoewel men in een stelsel met peerreview altijd bedacht moet zijn op mogelijke afhankelijkheid van de peers, hebben de betrokkenen zelf op dit punt geen problemen ondervonden met de panels.
Peers in een klein land
Het werken in een peersysteem heeft belangrijke voordelen en vormt een sterke kant van het accreditatiestelsel. Ondanks zorgvuldige waarborgen kunnen zich niettemin lastige kwesties voordoen. De spoeling van vakinhoudelijk deskundigen in Nederland is namelijk dun. Onafhankelijkheid in de zin van «geen banden» sluit niet uit dat zich verschillen in visie op de inhoud van een opleiding kunnen voordoen. Ook concurrentieoverwegingen zouden een rol kunnen spelen. Naar ons oordeel wordt echter ook hier zorgvuldig mee omgegaan.»
(Inspectie van het Onderwijs, 2013, Hoofdstuk 3, Onafhankelijkheid en deskundigheid, p.16)
«Een sterk element in het stelsel is de beoordeling door onafhankelijke, deskundige peers. Vooral de laatste jaren wordt er steeds zorgvuldiger omgegaan met de selectie van panelleden. Opleidingen stellen het zeer op prijs, en ervaren het ook als stimulerend, om beoordeeld te worden door deskundigen in het vakgebied van de opleiding. Ondanks de ervaring dat het niet zozeer open gesprekken tussen gelijkgezinden zijn, maar wel degelijk formele, beoordelende gesprekken. De panels weten waar ze het over hebben.»
(Inspectie van het Onderwijs, 2013, Hoofdstuk 13, Conclusies, aanbevelingen, beschouwing en vervolgtoezicht, p.62)
«Het punt in welke mate onafhankelijkheid en deskundigheid – in ieder geval voor zover het interne toezichtmechanismen betreft – met elkaar te verenigen zijn betreft een fundamentele kwestie.
In hoeverre moet vast worden gehouden aan het principe van onafhankelijkheid, terwijl er tegelijkertijd een rol wordt beoogd in de beoordeling door direct belanghebbenden, zoals de inschakeling van studenten in het panel? Een student in het panel lijkt bijvoorbeeld moeilijk te rijmen met het voorschrift van onafhankelijkheid: welke student wil dat zijn eigen opleiding niet geaccrediteerd wordt? De Minister heeft tijdens de behandeling van het wetsvoorstel betreffende de herziening van de accreditatie dan ook gesteld dat «uitgesloten [is] dat een student-assistent die werkzaam is voor of een student die ingeschreven is bij de te beoordelen opleiding lid is van de commissie van deskundigen voor de accreditatie van die opleiding».
(WRR, 2012, Hoofdstuk 3, Fundamentele thema’s en spanningsvelden in toezicht op het hoger onderwijs, p. 31–32)
«De vervanging van het visitatiestelsel door het accreditatiestelsel heeft niet alleen zegeningen gebracht. Met het verdwijnen van het visitatiestelsel verdween een van de weinige vormen, zo niet de enige, waarin het hoger beroepsonderwijs zich in het openbaar en met rechtstreekse betrokkenheid van externen de maat liet nemen over onderwijskwaliteit en de ontwikkeling op de onderscheiden vakgebieden. Overigens wordt dit nu enigszins gecorrigeerd door een sterkere focus op de participatie van externen in bijvoorbeeld examencommissies».
(WRR, 2012, Hoofdstuk 5, Afsluiting: toezicht in context, p. 50)
«It is also evident to the Panel that NVAO has autonomous responsibility for its operations and its operational independence from higher education institutions and governments is guaranteed in official documents. The very detailed and legally binding assessment frameworks (as well as the
continuous monitoring of the level of adherence to them) ensure that the appointment of external experts and the determination of the outcomes of the quality assurance processes are undertaken autonomously and independently from governments, higher education institutions, and organs of political influence. They also ensure that the conclusions and recommendations made in the reports cannot be influenced by third parties such as higher education institutions, ministries or other stakeholders and that the final outcomes of the quality assurance processes (the accreditation decisions) remain the sole responsibility of NVAO.»
(ENQA, 2012, Hoofdstuk 4, p.35)
«In opdracht van de NVAO is ResearchNed via een enquête onder docenten in het hoger onderwijs nagegaan wat de eerste ervaringen zijn in het Nederlandse hoger onderwijs met de beperkte opleidingsbeoordeling (BOB). De kwaliteit en onafhankelijkheid van de commissies staat volgens de ondervraagde docenten buiten kijf. De herkenbaarheid, de bruikbaarheid en het kritisch karakter van de rapporten van de visitatiecommissies wordt door het overgrote merendeel van de ondervraagde docenten als (zeer) goed beoordeeld.»
(NVAO, 2013, Samenvatting, p. 5)
«Het onderzoek van de NVAO naar de samenstelling van de panels leidt tot de conclusie dat de onafhankelijkheid en deskundigheid van de panels in orde is. Na eventuele wijzigingen heeft de NVAO met alle voorgedragen panels ingestemd. Door de toetsing vooraf van de onafhankelijkheid en deskundigheid van visitatiepanels waarborgt de NVAO dat opleidingsbeoordeling op onafhankelijke en deskundige wijze worden uitgevoerd. De NVAO constateert dat de kwaliteit van de voorgedragen panels sinds de invoering van het nieuwe accreditatiestelsel is toegenomen. De NVAO signaleert evenwel ook dat de kwaliteit van de panels nog verder kan toenemen. Een deel van de evaluatiebureaus zet professionele auditors in. Dit leidt aantoonbaar tot minder domeindeskundigen in een panel, maar het inzetten van ervaren auditors heeft ook voordelen zoals in de inleiding bij deze paragraaf beschreven. De NVAO is van mening dat naast een verdere professionalisering ook de onderwijsdeskundigheid sterker kan worden ingevuld, met meer onderwijskundige expertise op met name het vlak van toetsing. De maatschappelijke roep daartoe neemt toe en dit is ook een van de aanbevelingen van de inspectie.14 Tot slot kan de werkvelddeskundigheid worden versterkt in de panels voor het beoordelen van wetenschappelijke opleidingen. De panels zijn goed op de hoogte van de eisen die het werkveld stelt aan afgestudeerden van de opleidingen, maar in deze panels ontbreken nog vaak echte rolmodellen uit de professionele praktijk.»
(NVAO, 2013, Conclusies, 56)
«De NVAO concludeert op basis van de hier gepresenteerde resultaten dat de externe beoordeling van de kwaliteit van het hoger onderwijs op onafhankelijke en deskundige wijze wordt uitgevoerd.»
(NVAO, 2013, Conclusies, 58)
«Onafhankelijkheid van de evaluatiebureaus
Het is denkbaar dat de evaluatiebureaus minder onafhankelijk zijn ten opzichte van de instellingen. Zo worden ze betaald door de instellingen, hetgeen een marktafhankelijkheid creëert die van invloed zou kunnen zijn op het beoordelingsbeleid. Hoewel kleinere bureaus significant gunstiger oordelen (zie hoofdstuk 4), kan het verschil ook verklaard worden doordat kleinere bureaus, al dan niet toevallig, betere opleidingen beoordeeld hebben. Belangrijk is dat de betrokkenen zelf de opstelling van de bureaus in hun geval professioneel en onafhankelijk vonden. Naar ons oordeel stellen de evaluatiebureaus zich bij de individuele oordeelsvorming voldoende onafhankelijk op. (7)
De NVAO is ten slotte van mening dat haar goedkeuringsbevoegdheid bijgedragen heeft aan meer attentie bij de instellingen voor de onafhankelijkheid. Dit wordt door de evaluatiebureaus waarmee wij spraken bevestigd. Uit een intern onderzoek van de NVAO blijkt weliswaar dat de NVAO in 2012 bij 26 procent van alle 246 panelvoordrachten nadere vragen stelde, doch dat dit slechts eenmaal de onafhankelijkheid betrof. Meestal betroffen de nadere vragen administratieve tekortkomingen, te geringe internationale deskundigheid of een onvoldoende onderbouwing van de voorgestelde samenstelling.»
(Inspectie van het Onderwijs, 2013, Hoofdstuk 3, Onafhankelijkheid en deskundigheid, p.16)
«Een belangrijke bevinding acht de NVAO de gevonden verschillen in de beoordeling tussen de evaluatiebureaus. De NVAO constateert echter tegelijkertijd dat uit het onderzoek naar de onderbouwing van de oordelen blijkt, dat er juist géén verschillen zijn gevonden tussen de verschillende bureaus als het gaat om de onderbouwing van de gegeven oordelen. De NVAO onderschrijft de gegeven oordelen, onafhankelijk van het evaluatiebureau. Dit zou kunnen betekenen dat de gevonden verschillen toe te schrijven zijn aan daadwerkelijke kwaliteitsverschillen tussen opleidingen.»
(NVAO, 2013, Conclusies, 56).
«Onafhankelijke beoordelingen door de NVAO
Ook de staf en bestuursleden van de NVAO stellen zich in de individuele besluitvormingen onafhankelijk op. Voor de beoordeling op basis van een panelrapport heeft het bestuur maatregelen genomen om te waarborgen dat ook voor de toewijzing van de voorbereiding van besluiten door bestuursleden dezelfde criteria van «geen binding» van toepassing zijn.
(Inspectie van het Onderwijs, 2013, Hoofdstuk 3, Onafhankelijkheid en deskundigheid, p.17)
Vooruitblik op wetsvoorstel – benoeming panel door NVAO
«Omdat het wetsvoorstel ook zal regelen dat de NVAO dan zelf de commissies samenstelt en de evaluatiebureaus contracteert wordt de verticale grip op het accreditatieproces versterkt, waardoor de NVAO een sterker sturende positie krijgt. Dat schept mogelijkheden voor een meer uniforme werkwijze van de evaluatiebureaus, maar draagt ook het risico in zich dat de eigen verantwoordelijkheid van de onderwijsinstellingen voor kwaliteitsbewaking vermindert.»
(Algemene Rekenkamer, 2013, Conclusies, p. 11–12)
«Door de directe financiële relatie tussen onderwijsinstelling en evaluatiebureau door te knippen, moet een grotere onafhankelijkheid ontstaan. De financiële gevolgen van een negatieve beoordeling door een visitatiecommissie blijven echter groot. Dat versterkt de verticale grip van de NVAO op het accreditatieproces, maar vermindert ook de eigen verantwoordelijkheid van de onderwijsinstellingen. De Algemene Rekenkamer geeft aan dat de NVAO nu ook al vetorecht heeft bij de benoeming van de deskundigencommissies, waarmee de deskundigheid en onafhankelijkheid van de leden van de commissie wordt beoordeeld. Ook zal de financiële afwikkeling door de NVAO van de benoeming, instelling en contractering van visitaties een extra omvangrijk onderdeel kan gaan worden van de activiteiten van de NVAO. Als de NVAO de evaluatiebureaus inhuurt, bepaalt zij wat de eisen voor de bureaus zijn. Dat kan bijdragen aan een uniformere werkwijze. Het inhuren van de visitatiebureaus kan – afhankelijk van de gebruikte criteria – echter ook gevolgen hebben voor de (markt)positie van evaluatiebureaus. De NVAO zal een sterker sturende positie hebben.»
(Algemene Rekenkamer, 2013, Opvolging van de aanbevelingen voor kwaliteitsbewaking, p.71)
«Based on the numerous references to the assessment frameworks in the SER and not least in many of the interviews during the site visit, the Panel is convinced that NVAO and the quality assurance agencies pay careful attention to the declared principles of the different forms of assessment and that NVAO does its utmost to ensure both that the requirements and processes are managed
professionally and that the conclusions and decisions are reached in a consistent manner.»
(ENQA, 2012, Hoofdstuk 4, p. 37)
«Having assessed various documents and oral evidence through a site visit, the Panel is convinced that NVAO acts in compliance with the ENQA membership regulations and is in substantial compliance with the Standards and Guidelines for Quality Assurance in the European Higher Education Area.»
(ENQA, 2012, Summary, p.3)
«It is the Panels impression from the SER as well as its general knowledge about the international activities of NVAO, that NVAO has been actively engaged in the European arena and in that work actively contributed to the aims of ENQA. Just to mention: at present NVAO has an ENQA Board member, previously NVAO was the initiator for ECA, NVAO has been hosting several international conferences and a driving force behind international joint-projects. In short: NVAO is holding a high international profile.»
(ENQA, 2012, Hoofdstuk 4, p. 41)
«De internationale erkenning van het stelsel blijkt onder meer uit het feit dat in december 2008 de NVAO als een van de eerste Europese kwaliteitszorgorganisaties werd opgenomen in het onafhankelijke Europese register van kwaliteitsagentschappen, het European Quality Assurance Register for Higher Education (EQAR). Opname in het EQAR-register toont aan dat NVAO instaat voor het toepassen van de Europese principes en uitgangspunten om de kwaliteit van het hoger onderwijs te verzekeren en dat het Nederlandse en het Vlaamse stelsel als geheel aan Europese eisen voldoet. Met het register wil EQAR de transparantie op het gebied van kwaliteitszorg in Europa vergroten en de ontwikkeling van de Europese hogeronderwijsruimte bevorderen. Studenten, instellingen voor hoger onderwijs en andere geïnteresseerden kunnen via het register nagaan welke organisaties voldoen aan de geldende eisen.
Op 5 december 2012 is de registratie van de NVAO vernieuwd. EQAR heeft de opname van de NVAO in het register gecontinueerd, omdat ook het nieuwe stelsel voldoet aan de European Standards and Guidelines (ESG) van de European Association for Quality Assurance in Higher Education (ENQA). Dit bleek onder meer na een positieve beoordeling door de onafhankelijke internationale visitatiecommissie die de NVAO in 2012 heeft bezocht in het kader van de vijfjaarlijkse externe review van de organisatie. Ook het nieuwe stelsel is dus erkend op Europees niveau.»
(NVAO, 2013, Samenvatting, p. 5–6)
«Onafhankelijke en externe beoordeling van de kwaliteit van het hoger onderwijs is het fundament van het accreditatiestelsel. Het vertrouwen van de samenleving in de kwaliteit van het onderwijs is mede gebaseerd op het feit dat onafhankelijke deskundigen, de peers, regelmatig de inhoud en uitkomsten van ons hoger onderwijs beoordelen. Deze peerreview wordt niet alleen in Nederland en Vlaanderen, maar ook in de rest van Europa en daarbuiten gezien als het meest effectieve instrument om de kwaliteit van het hoger onderwijs te borgen en te verbeteren.»
(NVAO, 2013, Conclusies, 55)
«Over het geheel genomen was het oude stelsel doeltreffend als het gaat om het «leggen van de bodem» (NVAO, Jaarverslag 2010). Dat wil zeggen dat er afkeuringen waren van opleidingen die werkelijk niet aan de basisnorm voldeden, maar zeker ook door de vele terugtrekkingen tijdens het proces. Er waren opleidingen waar een proefaudit of panelboordeling tot negatieve uitkomsten leidden, en waar de instelling geen heil in verbetering zag. De instelling trok dan de aanvraag voor een toets nieuwe opleiding of accreditatie in, waardoor een negatief besluit vermeden werd. Er was in het oude stelsel zeker sprake van een zuiverende werking.
Niettemin lag de lat toen niet erg hoog, er was een tendens naar een positieve uitkomst, wat afbreuk deed aan de doeltreffendheid: het had effectiever gekund.
In het nieuwe stelsel lijken door de wettelijke veranderingen, maar zeker ook door aanpassingen die de NVAO en de evaluatiebureaus doorvoerden, de beoordelingen scherper en de doeltreffendheid groter te worden. Wel is de effectiviteit sterk afhankelijk van de betrouwbaarheid en de validiteit: het moeten wel de juiste opleidingen zijn die afvallen, dan wel doorgelaten worden. Dit element van de doeltreffendheid verdient veel aandacht. Ook de stimulerende werking die betrokkenen zelf ervaren, mede door een zorgvuldige panelsamenstelling, duidt op een toenemende effectiviteit. De waarborg wordt krachtiger, en de kwaliteitsbevordering neemt toe. Daar hoort overigens ook toenemende weerstand vanuit de beoordeelden bij.»
(Inspectie van het Onderwijs, 2013, Hoofdstuk 13, Conclusies, aanbevelingen, beschouwing en vervolgtoezicht, p. 61)
«De kracht van het stelsel: beelden en perspectief
Het accreditatiestelsel heeft vanaf de start te maken met een kritische beeldvorming. De beelden van de slager die het eigen vlees keurt en van de vakbroeders die elkaar de hand boven het hoofd houden komen steeds weer terug. Dergelijke beelden kunnen gevoed worden door de wederzijdse betrokkenheid tussen stelsel en onderwijsveld en door de kwetsbaarheid van peerbeoordelingen. Ook het tot 2011 bestaande gebrek aan scherpte kan aan deze beeldvorming bijgedragen hebben.
Wij constateerden hier tegenover een zorgvuldige oordeels- en besluitvorming. De panels zijn over het geheel zeer deskundig en worden met een goede waarborg voor de onafhankelijkheid samengesteld. En de NVAO neemt haar verantwoordelijkheid voor de besluiten zeer serieus en weegt de paneloordelen steeds opnieuw. De beeldvorming is aan herziening toe.
Al met al concluderen we dat het accreditatiestelsel thans een deugdelijk en krachtig stelsel is met een goede stimulerende werking. De hier gesignaleerde knelpunten zijn goed oplosbaar. Het stelsel blijkt een heel behoorlijk leervermogen te hebben. Wij zien voldoende perspectief voor verdere versteviging. Het lastigste aan te pakken is waarschijnlijk de grote belasting voor de betrokkenen. Dat vereist een gezamenlijke aanpak van vele betrokkenen.»
(Inspectie van het Onderwijs, 2013, Hoofdstuk 13, Conclusies, aanbevelingen, beschouwing en vervolgtoezicht, p.63)
«Sterke kanten
De sterke kanten van het stelsel zijn:
• Het onmiskenbare draagvlak. Het stelsel is voortgekomen uit het visitatiestelsel van de koepels en die herkomst is nog altijd merkbaar: het is nog altijd deel van het hoger onderwijs. Dit maakt dat de beoordelingen doorgaans geaccepteerd worden en dat de grote lasten gedragen worden.
• Het stelsel is ondanks het grote aantal betrokkenen en mede dank zij de evaluatiebureaus een zorgvuldige, goed geoliede machine, met een groot aantal kwaliteitswaarborgen.
• Het stelsel heeft een behoorlijke verbetercapaciteit: het verbetert zichzelf langzaam maar zeker. Zo is recent de lat hoger komen te liggen, worden panels beter samengesteld, gaat het meer om de inhoud en zijn rapporten leesbaarder.
• Sterk is ook de grote vakinhoudelijke deskundigheid van de panels.
• Deze deskundigheid draagt in hoge mate bij aan de stimulans die de beoordeelden ervaren voor de kwaliteit van hun opleiding.
Knelpunten
Maar er doen zich ook knelpunten voor:
• De hoge administratieve lasten zijn in tegenstelling tot gewekte verwachtingen in het nieuwe stelsel niet minder geworden.
• Er is tot nu toe in het stelsel te weinig gedaan aan de evaluatie van de betrouwbaarheid van de beoordelingen. Voor ons was het nu niet mogelijk de betrouwbaarheid vast te stellen gezien het nog maar korte bestaan van het nieuwe stelsel.
• In de feitelijke oordelen blijven enkele voor belanghebbenden relevante kwaliteitsaspecten onderbelicht. De validiteit ten opzichte van de publiek verwachte kwaliteit kan verder verbeterd worden.
• De instellingstoets stelt sommige instellingen teleur: deze is veeleisender dan verwacht. Sommige instellingen hebben hiervoor meer tijd nodig.
• De transparantie van verschillen en profilering van vergelijkbare opleidingen laat nog te wensen over.»
(Inspectie van het Onderwijs, 2013, Samenvatting, p.7–8)
«De bewaking van goed onderwijs is allereerst een zaak van de onderwijsinstellingen zelf. Elke universiteit en hogeschool is zowel in Nederland als Vlaanderen verplicht een systeem voor interne kwaliteitszorg uit te werken. De interne kwaliteitszorg moet de kwaliteit van de opleidingen structureel en permanent bewaken en verbeteren. Daarnaast moet de kwaliteit ook periodiek extern worden beoordeeld en vervolgens geaccrediteerd. De externe kwaliteitsbewaking door de overheid vormt het sluitstuk van de gehele kwaliteitszorg.»
(Algemene Rekenkamer, 2013, Aanleiding, p.3)
«De verschillende onderzoeken naar de eerste ervaringen van stakeholders schetsen over het algemeen een positief beeld van het functioneren van het nieuwe accreditatiestelsel.Instellingen en docenten blijken (zeer) betrokken te zijn met, en tevreden over de instellingstoets kwaliteitszorg en de opleidingsbeoordelingen. Docenten blijken zelfs (zeer) tevreden te zijn over de inhoudelijke focus van de beperkte opleidingsbeoordeling. Zij vinden dat de aandacht voor toetsen en voor het eindniveau het meest pregnant is en dat de aandacht voor de andere aspecten ook op orde, maar wat minder intensief is.»
«Hoewel de beperkte opleidingsbeoordeling vooralsnog niet lijkt te leiden tot een vermindering van inspanning of administratieve lasten, is het draagvlak voor de nieuwe manier van beoordelen groot te noemen, wel signaleert de inspectie dat de toename in kritische oordelen vooral in het wo vragen oproept.15 Daarbij is er onder de directe betrokkenen geen discussie over de onafhankelijkheid en gezaghebbendheid van de oordelen.»
(NVAO, 2013, Conclusies, p. 52)
«Het nieuwe stelsel functioneert naar het oordeel van de NVAO op hoofdlijnen goed, maar er zijn zeker nog betekenisvolle verbeteringen mogelijk.»
(NVAO, 2013, Conclusies, p. 53)
«Het wetsvoorstel stelt voor om één van de drie standaarden uit te splitsen: Het gerealiseerde eindniveau en de wijze van examinering vormen niet langer samen één beoordelingscriterium, maar ze worden bij de accreditatie afzonderlijk beoordeeld. De Algemene Rekenkamer verwacht dat dit kan bijdragen aan de versterking van de kwaliteitsbewaking omdat bevindingen en oordelen nu duidelijker zichtbaar in de rapportages kunnen terugkeren.»
(Algemene Rekenkamer, 2013, Conclusies, p. 11)
«Als het wetsvoorstel onverkort wordt aangenomen, zal de aanbeveling voor geclusterd visiteren worden opgevolgd door de huidige Minister. Met geclusterd visiteren zijn de oordelen over de onderwijskwaliteit beter te vergelijken met oordelen bij andere opleidingen. Geclusterd visiteren wordt onderschreven door de Algemene Rekenkamer. De vraag is of dit niet ook op vrijwillige basis zou kunnen zoals in het wetenschappelijk onderwijs nu al gebeurt.»
(Algemene Rekenkamer, 2013, Conclusies, p. 11)
«In het wetsvoorstel was ook opgenomen dat het toezicht door de IVHO zou worden uitgebreid naar risicogericht toezicht. De Minister heeft begin 2013 aangegeven dat de huidige taakopdracht van de IVHO ongewijzigd zal blijven. Dit past gezien de al verder uitgebreide bevoegdheden van de NVAO zoals de mogelijkheid tot eigen herbeoordelingen en de mogelijkheid om tussentijds onderzoek te doen.
Het nieuwe wetsvoorstel zal de administratieve lasten van het stelsel voor kwaliteitsbewaking naar verwachting niet verminderen.»
(Algemene Rekenkamer, 2013, Conclusies, p. 12)
«In de memorie van toelichting bij het wetsvoorstel «versterking kwaliteitswaarborgen hoger onderwijs» is voorts opgenomen dat visitatiepanels verplicht «in de klas» gaan kijken. De NVAO zal de beoordelingskaders hier op aanpassen zodat de nu bestaande mogelijkheid wordt veranderd in een verplicht lesbezoek.»
(NVAO, 2013, Conclusies, p. 61)
Inspectie van het Onderwijs (2013). De kwaliteit van het Nederlandse accreditatiestelsel hoger onderwijs. Utrecht (p. 8)
«Aanbevelingen
De inspectie beveelt aan de volgende verbeteringen door te voeren. Deze zijn gericht op een verdere verbetering van het Nederlandse accreditatiestelsel. Wij richten ons daarbij op de actoren in het stelsel, te weten de overheid, NVAO, evaluatiebureaus, panels en instellingen. Daar waar de NVAO als hoofdactor genoemd wordt, zijn de aanbevelingen in formele zin gericht aan het Comité van Ministers (dat wil zegen de Ministers van onderwijs van Nederland en Vlaanderen) aangezien de NVAO als binationale organisatie onder het Comité valt.
De NVAO dient, in samenspraak met de evaluatiebureaus, meer onderzoek te doen naar de betrouwbaarheid van de beoordelingen in het nieuwe Nederlandse stelsel zodra voldoende gegevens beschikbaar zijn.
De validiteit van de beoordelingen in het Nederlandse stelsel dient door de NVAO verbeterd te worden. Dit kan door voor stakeholders relevante kwaliteitsaspecten meer te betrekken bij de beoordelingskaders en bij de feitelijke beoordeling. De wet biedt hier de ruimte voor.
Overheid, NVAO, evaluatiebureaus, panels, instellingen en de inspectie dienen samen actief de administratieve lasten van het stelsel te bestrijden. Dit kan onder andere door beperking in de handleidingen, discipline bij de panels en bij de instellingen. Ook biedt meer proportionaliteit wellicht verlichting.
Het is van belang dat instellingen zich beter bewust zijn van wat een daadwerkelijk functionerend kwaliteitszorgsysteem inhoudt. De NVAO kan, nu er inmiddels veel ervaring is opgedaan, instellingen hierbij steun en verduidelijking bieden. Voor sommige instellingen is meer tijd nodig de interne kwaliteitszorg op orde te krijgen.
De toegankelijkheid van uitkomsten van de beoordeling van vergelijkbare opleidingen voor het publiek kan verder vergroot worden door de al bestaande overzichten en publicaties aan te vullen met niet geanonimiseerde sectorbeelden.»
Algemene Rekenkamer/Rekenhof (2013). Vervolgonderzoek Kwaliteitsbewaking in het hoger onderwijs in Nederland en Vlaanderen. Den Haag (p.15–16)
«Gezamenlijke aanbevelingen
1. Nederland en Vlaanderen dienen uitdrukkelijker te overwegen of zij de organisatie van de externe kwaliteitsbewaking niet meer op elkaar kunnen of moeten afstemmen, onder meer in het licht van de voorziene wederzijdse erkenning van diploma’s.
2. In het bijzonder kunnen Nederland en Vlaanderen voor bijsturingen meer lering trekken uit elkaars ervaringen – en uit de evaluatie van de eerste ronde en de start van de tweede accreditatieronde – onder meer voor wat betreft geclusterd visiteren of aandacht voor de afstudeerwerken.
3. De NVAO moet de doorlooptijd voor de behandeling van de accreditatieaanvragen beter beheersen.
Nederland
De Minister van OCW en de NVAO hebben in de periode 2011–2012 maatregelen getroffen om de onderbouwing van de oordelen in het accreditatieproces te vergroten. De Algemene Rekenkamer acht van belang dat deze maatregelen de kans moeten krijgen om zich in de praktijk te bewijzen. In het licht van eerdere aanbevelingen en het huidige onderzoek heeft zij bezien of de aanvullende maatregelen van het wetsvoorstel kunnen bijdragen aan de versterking van de kwaliteitsbewaking. De externe oordeelsvorming zou kunnen worden verbeterd door:
1. het geclusterd visiteren ook voor het hbo in te voeren, eventueel verplicht te stellen;
2. het gerealiseerd eindniveau en wijze van examineren bij accreditatie afzonderlijk te beoordelen;
3. de NVAO meer gebruik te laten maken van bestaande bevoegdheden om aanvullende vragen te stellen of zelf herbeoordelingen van scripties uit te voeren.
Daarnaast acht de Algemene Rekenkamer het van belang dat de instellingen en opleidingen zelf meer inzicht bieden in geleverde onderwijskwaliteit en zich hierover openbaar verantwoorden. Het is immers de verantwoordelijkheid van de instellingen zelf om zich te verantwoorden over datgene wat zij bereikt hebben en bijgedragen aan de leeropbrengsten van hun studenten. De Algemene Rekenkamer wijst op haar eerdere onderzoek «Geldstromen in het HBO» waar werd aanbevolen de verantwoording over de inzet van middelen door hogescholen beter te richten op de geleverde onderwijskwaliteit18. Het gaat hier uitdrukkelijk niet om meer verantwoordingsinformatie, maar de juiste verantwoordingsinformatie.»
ENQA (2012). Report of the Panel of the external review of NVAO (p.42)
«In relation to its assessment of NVAO»» s compliance with the ESG, the Panel recommends that NVAO:
– makes the link between the NVAO standards and ESG Part 1 more explicit in the assessment frameworks;
– refines the descriptions of the aims and objectives, ensures that they are prominent in the frameworks and shows how the various elements of the frameworks contribute to the aims and objectives;
– formulates explicit and public criteria about how it reaches its accreditation decisions in relation to the programme assessments in all cases;
– establishes a clear procedure on how to handle cases where the conclusions in the assessment report are not be accepted by NVAO;
– strengthens the predictability of the timeframe and efficiency of its decisionmaking process;
– further strengthens the focus on quality improvement and enhancement of the HEI‟s;
– clarifies a) the purpose of every kind of report, b) the readership and c) the needs of the various kinds of readers in order to enhance the readability;
– gives a high priority to a)the identification of the interested parties for system-wide analyses and of their needs b) the definition of a realistic schedule of system-wide analyses and c) the production of system-wide analyses corresponding to the needs which were identified.»
Nederlands-Vlaamse Accreditatieorganisatie (2013). Evaluatie accreditatiestelsel 2011–2013 (p. 9–10)
«Aanbevelingen
Op basis van de uitkomsten van de door de NVAO en door externe partijen uitgevoerde onderzoeken naar het functioneren van het nieuwe accreditatiestelsel, komt de NVAO, naast de op verschillende plaatsen in het rapport genoemde verbetermogelijkheden, tot de volgende aanbevelingen aan de wetgever:
Onafhankelijkheid van visitatiepanel
– Behoud opdrachtgeverschap van commissies bij de instellingen: er is geen reden om te twijfelen aan de onafhankelijkheid van de oordelen van visitatiecommissie en het verplaatsen van het opdrachtgeverschap naar de NVAO brengt een aantal nadelen met zich mee. In de huidige situatie keurt de NVAO panelsamenstellingen goed op basis van duidelijke en adequate criteria t.a.v. deskundigheid en onafhankelijkheid van de commissie.
Consistentie in beoordelingen
– Benut clustergewijs visiteren van opleidingen ook voor meer spreiding in de accreditatiekalender. Het clustergewijs visiteren zal in de eerste plaats consistentie in beoordelingen van visitatiecommissies realiseren, maar kan, bij een herziening van de accreditatiekalender, piekbelastingen en daarmee accreditatielasten verminderen.
Flexibilisering van het instrumentarium
– Stel de duur van de voorwaardelijke goedkeuring bij een ITK en de herstelperiode bij accreditatie vast op een periode van maximaal 2 jaar, ook in geval van een oordeel onvoldoende op de standaard »gerealiseerd niveau». In sommige gevallen is een herstelperiode van één jaar te kort om het effect van genomen maatregelen te kunnen beoordelen (geen automatisme om naar 2 jaar over te gaan).
– Veranker de bestuurlijke afspraken als instrument in de wet. Hierdoor kan goede opvolging worden gegeven aan de gemaakte afspraken en krijgen deze een heldere positie in het accreditatiestelsel. De NVAO dient terughoudend te zijn bij het maken van bestuurlijke afspraken, zeker na een positieve instellingstoets.
– Verleen de NVAO de bevoegdheid tot het tussentijds intrekken van haar eigen besluit, in overeenstemming met het algemene principe dat de bevoegdheid tot het besluiten tot accreditatie bij de NVAO ligt.
– Verleen in ieder geval de NVAO de bevoegdheid tot het zelfstandig initiëren van onderzoek bij signalen ten aanzien van de kwaliteit van een opleiding of instelling.
– Verleen de NVAO de bevoegdheid om bij opleidingen die in afbouw zijn wegens kwaliteitsproblematiek aanvullende eisen te stellen en afspraken te maken. De WHW vergt dat een instelling in de eerste plaats zoekt naar herplaatsing van studenten bij een gelijke opleiding die kwalitatief wel aan de maat is, maar in die gevallen waar dit niet tot de mogelijkheden behoort, moet een instelling haar zorgplicht nakomen en studenten de opleiding laten afmaken. De NVAO wil hierbij eisen aan de kwaliteit van de opleiding kunnen blijven stellen. Opleidingen in afbouw moeten niet onttrokken worden aan externe kwaliteitsborging, zeker niet in geval van intrekking van accreditatie.
– Neem een extra criterium op voor de beoordeling van een bijzonder kenmerk, namelijk «relevantie». De NVAO vindt het wenselijk dat instellingen en opleidingen duidelijk kunnen aangeven welke bijdrage het bijzonder kenmerk levert aan de vergroting en verscherping van de keuzemogelijkheden voor studenten of de arbeidsmarkt, en waarom het kenmerk anders is dan wat in het regulier accreditatiekader bij de invulling van de verschillende standaarden wordt gevraagd.
Naast de bovengenoemde aanbevelingen, heeft de NVAO voor zichzelf de volgende voornemens geformuleerd:
Vermindering administratieve lasten
– De NVAO acht de vermindering van administratieve lasten zeer van belang en het staat daarom buiten kijf dat de NVAO actief betrokken zal zijn bij het streven deze lasten te verminderen.
Consistentie in beoordelingen
– De NVAO is voornemens de voorzitters en secretarissen van de visitatiecommissies van opleidingen waar nodig te trainen en een gezamenlijke kennisbasis te ontwikkelen. Dit zal de consistentie in oordelen tussen en binnen domeinen van opleidingen ten goede komen.
– Met betrekking tot de instellingstoets kwaliteitszorg is de NVAO voornemens een overzicht met «jurisprudentie» op te stellen waardoor duidelijk wordt welke type van argumenten en afwegingen tot welke conclusies kunnen leiden.
Daarnaast zal de NVAO in het kader van haar interne kwaliteitszorg nadrukkelijk aandacht aan consistente beoordeling blijven schenken.
Toegankelijkheid van besluiten
– De NVAO zal de toegankelijkheid van de besluiten op haar website (verder) verbeteren.
Kwaliteitsversterking
– In samenwerking met alle betrokkenen wil de NVAO de kwaliteitsverbetering en de kwaliteitscultuur stimuleren van systeembrede en thematische analyses, waarin samen de thema’s tot verbetering geformuleerd worden en de instellingen/opleidingen nog meer eigenaar worden van hun verbetermaatregelen.»
(NVAO, 2013, Samenvatting, p. 9–11)