Actueel

Nieuwsbrief

NVAO-VBI Nieuwsbrief maart 2007

Deze nieuwsbrief is een gezamenlijk initiatief van Certiked VBI bv (Certiked), Hobéon Certificering bv (Hobéon), Netherlands Quality Agency (NQA), Quality Assurance Netherlands Universities (QANU) en de Nederlands-Vlaamse Accreditatieorganisatie (NVAO).*

In deze nieuwsbrief staan drie thema’s centraal:

1. Wat is de mening van de VBI’s over clustergewijze beoordeling en hoe geven zij hier samen met de instellingen en opleidingen vorm aan?
2. Op welke manier hanteren de VBI’s het oordeel goed?
3. Hoe kunnen de VBI’s omgaan met de beoordeling van het facet duur?

1. Wat is de mening van de VBI’s over clustergewijze beoordeling en hoe geven zij hier samen met de instellingen en opleidingen vorm aan?

Certiked
Certiked voert in de praktijk bijna standaard visitaties geclusterd uit. Als een instelling (wo of hbo) meer dan één opleiding binnen een domein wil laten visiteren in een periode, analyseert Certiked wat de overlap is tussen de opleidingen én bekijkt Certiked of er in de teamsamenstelling overlappen te vinden zijn. Vrijwel altijd is het antwoord daarop 'ja'. In dat soort situaties is clustering mogelijk en doet Certiked het ook.
Beperkingen van de clustering doen zich ook voor: twee of drie opleidingen zijn geclusterd te visiteren, meer dan drie wordt fysiek/intellectueel heel lastig voor een visitatieteam. Bovendien dijen de teams door de clustering ook vaak uit, waardoor het organisatorisch steeds ingewikkelder wordt. En dan lijkt men te bezuinigen aan de uitvoerende kant, maar is de managerial tijd die er nodig is om het allemaal te regelen weer groot.

Tegelijkertijd ziet Certiked in ver doorgevoerde clustering ook beperkingen. Een instellingsbrede visitatie (waarbij een aantal algemene facetten instellingsbreed worden getoetst) laat immers onverlet dat op opleidingsniveau naar de uitvoering moet worden gekeken. Kwaliteitszorg, personeelsbeleid, faciliteiten en dergelijke zijn daarvan voorbeelden. De tijdwinst die men boekt door die onderwerpen centraal te bekijken, is beperkt omdat men toch per opleiding moet toetsen of het werkt. Verder zou een potentieel nadeel van de instellingsbrede aanpak kunnen zijn, dat er binnen die instelling een tendentie tot centralisatie ontstaat. Certiked is van mening dat schaalgrootte en centralisatie in het onderwijs niet in alle gevallen  positief correleren met goede kwaliteit. Ergo, de efficiencywinst van instellingsbrede clustering is er, maar niet tot in het oneindige; potentiële risico's zijn er ook. Een beoordeling van geval tot geval wat de meest opportune marsroute is, blijft uiteindelijk de meest rendabele benadering. 

Hobéon Certificering
In zijn benadering van de accreditatie streeft Hobéon Certificering ernaar zoveel mogelijk aspecten op een zo hoog mogelijk niveau te beoordelen. Op het hogeschoolniveau, op het niveau van een faculteit of cluster van opleidingen. Voorwaarde daarbij is, dat het beleid ook op dat niveau wordt vastgesteld en dat de kwaliteit van de beleidsuitvoering op dat niveau wordt gemonitord. Vaak gaat het hier om zaken als personeelsbeleid, interne kwaliteitszorg en (ruimtelijk en materiële) voorzieningen. De opleidingsoverstijgende beoordeling kan ook plaatsvinden bij nevenvestigingen (bijvoorbeeld de beoordeling van het voorzieningenniveau per nevenvestiging) of voor verschillende varianten voltijd, deeltijd en duaal.Na een audit op een hoger niveau kan worden volstaan met steekproeven op opleidingsniveau. Mochten die negatief uitvallen, dan zal het oordeel ten aanzien van het hogere niveau herzien moeten worden. 
Voorbeelden van dergelijke audits op clusterniveau zijn de audits die Hobéon eerder uitvoerde bij opleidingen Bouwkunde en Civiele techniek (Hogeschool van Amsterdam en Saxion Hogescholen) en gecombineerd met Geodesie en Ruimtelijke Ordening en Planologie bij de Hogeschool Utrecht.Momenteel worden voorbereidingen getroffen om bij Saxion Hogescholen op hogeschoolniveau een aantal facetten te beoordelen, waarna de daar aantoonbaar verankerde aspecten niet meer- anders dan per steekproef- behoeven te worden beoordeeld op het niveau van de opleiding. 

NQA
Twee manieren om de accreditatielast voor opleidingen te verminderen, zijn volgens NQA het visiteren van clusters en het beoordelen van de opleiding op verschillende organisatorische niveaus. Een goed voorbeeld van die combinatie is de visitatie door NQA in 2006 van de 12 opleidingen van de Academie voor Sociale Studies van Avans Hogeschool (sinds september 2006 opgesplitst in twee academies, een in Breda en een in ‘s-Hertogenbosch). De clustering daar is interessant, omdat die niet alleen met verschillende opleidingen, maar ook met twee locaties heeft te maken. Uitgangspunt voor een clustering is dat er overeenkomsten zijn in het curriculum en dat docenten bij meerdere opleidingen betrokken zijn. De inhoudelijke overeenkomst ligt er hier in dat de opleidingen deel uitmaken van de zogenoemde brede bachelor Social Work. Binnen Social Work blijven de verschillende croho-geregistreerde opleidingen zichtbaar (ze worden als major verzorgd). In de programma’s wordt 72 EC gemeenschappelijk aangeboden. Zo zijn er vier clusters gevisiteerd in plaats van de twaalf afzonderlijke opleidingen.
Daarnaast is er een zogenoemde "generieke audit" uitgevoerd. Deze had betrekking op het Academieniveau en betrof de onderwerpen materiële voorzieningen, personeelsbeleid en kwaliteitszorg. De resultaten van deze audit zijn neergelegd in een apart rapport dat als basis diende voor de verschillende panels en rapporten. Resultaat van deze aanpak is minder werk voor opleidingen en panels en een grotere consistentie in de rapporten. 

QANU
QANU heeft vanaf de start van het accreditatiestelsel opleidingen geclusterd om de beoordelingen efficiënt uit te voeren en de beoordelingslast voor de opleidingen te beperken. Clustering in landelijk vergelijkende visitaties geeft een aanzienlijk schaalvoordeel in de uitvoering (landelijke voorlichting, hoge mate van zelforganisatie binnen het domein, één commissie samenstellen en instrueren, vereenvoudiging van logistiek, communicatie en administratie, etc.). Bijkomend voordeel is dat verwante bachelor- en masteropleidingen die tot het cluster behoren binnen één instelling tegelijk in één keer worden beoordeeld. Hierdoor kan doelmatig worden omgegaan met die aspecten van kwaliteit die op een hoger niveau in de organisatie zijn belegd, bijvoorbeeld: personeelsbeleid, voorzieningen, kwaliteitszorg, maar ook bepaalde dimensies van studiebegeleiding en het onderwijsconcept. De opleidingen en commissies kunnen volstaan met één basisrapportage waarna vervolgens alleen aandacht behoeft te worden besteed aan de relevante verschillen per opleiding. 

Een verdergaande reductie van de beoordelingslast is gerealiseerd door het uitvoeren van facultaire vooronderzoeken ten behoeve van de acht letterenvisitaties. De commissies konden, voor die facetten waar facultair beleid de kwaliteit in belangrijke mate bepaalt, volstaan met het vaststellen dat de praktijk op het niveau van de opleiding in overeenstemming is met het facultair beleid of afwijkingen daarvan beschrijven. 

Nog een stap verder gaat QANU in het experiment dat in opdracht van de Universiteit Leiden wordt uitgevoerd bij de bètafaculteit. Hier zal een breed samengestelde commissie de gehele faculteit in een keer beoordelen. De faculteit kan zich op basis van deze aanpak beperken tot het opstellen van één zelfstudie. Natuurlijk zal ook in deze aanpak voldaan worden aan de eis van de NVAO dat de kwaliteit van de afzonderlijke opleidingen in voldoende mate zichtbaar wordt, echter zonder dat daarvoor zaken dubbel gedaan moeten worden.

2. Op welke manier hanteren de VBI’s het oordeel goed?

Certiked
Certiked hanteert de volgende tekst bij de oordelen per facet: 'Daarbij dient in ogenschouw genomen te worden, dat voldoende te interpreteren is als: voldoet aan de eisen. De waardering "goed" wordt gegeven op het moment dat er duidelijk sprake is van een beoordeling die daar bovenuit stijgt. De waardering "excellent" wil zeggen dat voor dat facet betreffende opleiding een voorbeeldfunctie in Nederland vervult.'

Hobéon Certificering
Hobéon Certificering heeft, na aanvankelijk een zekere terughoudendheid in acht genomen te hebben, op grond van zijn observatie, dat sommige opleidingen op enkele facetten aanzienlijk beter "presteren" dan andere, aan een beperkt aantal facetten de beoordeling "goed" gegeven en daarbij één of meer van de zes hieronder genoemde generieke kenmerken als referentiepunt gehanteerd:

• de opleiding heeft een helder geformuleerde en zeer eigen visie en handelt daarnaar;
• de opleiding heeft een hoog ambitieniveau en zij opereert ook op dat niveau;
• de opleiding is innovatief in opzet en uitvoering;
• de opleiding is extravert: relatie met werkveld is op alle niveaus systematisch geoperationaliseerd;
• de opleiding kent een sterke internationale oriëntatie: actieve participatie binnen internationale contexten;
• de opleiding (docenten én studenten) is actief op het gebied van toegepast onderzoek. 

NQA
NQA hanteert de volgende tekst bij de oordelen per facet: 'Als uitgangspunt wordt door NQA de waardering "goed" genomen. De waardering voor elk facet is "goed", tenzij het panel opmerkingen plaatst.' De volgende vuistregels voor waarderingen worden door NQA, met instemming van de NVAO, in acht genomen:

• onvoldoende: het facet is niet aan de maat;
• voldoende: het facet is aan de maat, maar het panel plaatst opmerkingen;
• goed: het facet is aan de maat, het panel plaatst geen opmerkingen;
• excellent: het facet is dermate aan de maat dat van een uitzonderlijk niveau gesproken kan worden. De uitwerking van het facet is een voorbeeld voor andere vergelijkbare opleidingen, al dan niet van dezelfde hogeschool.

QANU
Bij QANU-visitaties betekent de score "voldoende" dat het beoordeelde facet of onderwerp beantwoordt aan de basisnorm. Dat wil zeggen dat volgens de commissie een opleiding op dat punt over voldoende basiskwaliteit beschikt volgens de normen die gelden voor accreditatie door de NVAO. "Voldoende" betekent dus “voldoet aan de criteria voor basiskwaliteit”. Deze score markeert de grens met datgene dat niet aan de gestelde verwachting voldoet en waarvoor beleidsaandacht vereist is. 

QANU hanteert de redenering dat voor de score "goed" specifieke argumenten nodig zijn, de onderbouwing moet aangeven op welke gronden de opleiding op dit facet beter is dan andere. Een voldoende is geen mager zesje, maar geeft aan dat de opleiding voldoet aan datgene dat van een universiteit in Nederland mag worden verwacht. Pas als aangetoond kan worden dat het basisniveau wordt overstegen, kan sprake zijn van "goed" of "excellent".

3. Hoe kunnen de VBI’s omgaan met de beoordeling van het facet duur?

De NVAO is van mening dat het facet duur een formele eis is en dat het onwenselijk is dat sommige opleidingen daar als "goed" op worden beoordeeld en andere als "voldoende", ook al is dit consequent volgens de beoordelingssystematiek van de VBI in kwestie. Met de VBI’s is afgesproken dat bij dit facet gekozen wordt voor het oordeel "voldoet" of "voldoet niet".

Terug