Rapport NVAO-Commissie Onderzoek Inholland
De afstudeerresultaten van de reguliere opleidingen Commerciële Economie (CE), Bedrijfseconomie (BE), Media & Entertainment Management (MEM) en Vrijetijdsmanagement (VTM) van Hogeschool Inholland zijn van voldoende tot goede hbo-kwaliteit. Dit neemt niet weg dat het aantal onvoldoendes per opleiding in alle opleidingen beslist te hoog is, variërend van 4 tot 8 onvoldoendes op een totaal van 25 respectievelijk 34 beoordeelde (eind)werken. Alleen de MEM opleiding in Rotterdam onderscheidt zich positief. De afstudeerresultaten in de alternatieve afstudeertrajecten van de opleidingen CE, MEM en VTM zijn voor het merendeel van onvoldoende hbo-bachelor kwaliteit.
Dit blijkt uit het Rapport van Bevindingen NVAO-Commissie Onderzoek Hogeschool Inholland van de NVAO-commissie onder voorzitterschap van mevrouw drs. M. Dunnewijk-Budé die vanaf november 2010 tot april 2011 onderzoek heeft verricht naar de afstudeerwerken binnen de alternatieve afstudeertrajecten en de bijbehorende reguliere trajecten van bovengenoemde opleidingen van Hogeschool Inholland.
Aanleiding tot het onderzoek vormde onder meer de uitkomsten van het rapport van de commissie-Leers. Eén van de aanbevelingen van deze commissie betrof een inhoudelijk onderzoek door de NVAO naar de kwaliteit van alternatieve afstudeertrajecten bij Hogeschool Inholland. De commissie-Dunnewijk heeft hiertoe de afstudeerwerken beoordeeld.
Het onderzoek van de NVAO maakt deel uit van het landelijke onderzoek van de Inspectie van het Onderwijs naar (het bestaan van) onterechte alternatieve afstudeertrajecten bij hogescholen en de wijze waarop instellingen voldoen aan de regelgeving en praktijk rond examenregelingen en -commissies.
De NVAO beoordeelt de kwaliteit van opleidingen van hogescholen en universiteiten in Nederland en Vlaanderen. De Inspectie toetst of Nederlandse instellingen de Wet op het hoger onderwijs en wetenschappelijk onderzoek naleven en of zij voldoen aan de regels van 'behoorlijk bestuur'. Daarnaast houdt de Inspectie toezicht op het accreditatiestelsel.
Beide onderzoeken zijn naar de staatssecretaris van Onderwijs, Cultuur en Wetenschap gezonden. De staatssecretaris heeft de Tweede Kamer op donderdag 28 april 2011 geinformeerd.
Reactie en conclusies NVAO
De NVAO heeft met veel waardering kennis genomen van het rapport van de commissie-
Dunnewijk. Het rapport is op een consciëntieuze wijze tot stand gekomen. De commissie
heeft haar opdracht op een bewonderenswaardige manier uitgevoerd. De conclusies zijn
duidelijk. De aanbevelingen in de richting van de instellingen en het beoordelingsproces
zijn ter zake doende en uitvoerbaar.
De NVAO is uiteraard teleurgesteld over de uitkomsten van het rapport. De analyse van
de alternatieve afstudeertrajecten maakt duidelijk dat diploma’s ten onrechte zijn
verstrekt. Dat is onvergeeflijk en niet goed te praten. Hoezeer extra aandacht voor de
langstudeerders begrijpelijk en ook gewenst is, het lijdt geen twijfel dat daarbij de eisen van
rechtmatigheid en kwaliteit in volle omvang moeten worden nageleefd. Daar kunnen en
moeten ook alternatieve afstudeertrajecten aan voldoen. In de onderzochte gevallen blijkt
daar helaas niet aan te zijn voldaan.
Nog teleurstellender dan het resultaat van het onderzoek naar de alternatieve afstudeertrajecten zijn de uitkomsten van het onderzoek naar de afstudeerwerkstukken van de reguliere opleidingen Media en Entertainment Management (MEM, Haarlem en Rotterdam), Commerciële Economie (CE, Diemen), Vrijetijdsmanagement (VTM, Diemen) en Bedrijfseconomie (BE, Haarlem). De aantallen door de commissie-Dunnewijk als onvoldoende gekwalificeerde werkstukken zijn voor elk van de opleidingen te hoog, met uitzondering van de MEM-opleiding in Rotterdam. Natuurlijk heeft de commissie geen oordeel kunnen vellen over het totaal van de door de studenten geleverde studieprestaties, maar afstudeerwerkstukken zijn wel doorslaggevend om het
bachelorniveau aan te tonen.
De NVAO heeft uiteraard geanalyseerd welke oordelen over de vijf opleidingen in het
reguliere visitatie- en accreditatieproces zijn uitgebracht. Alle vijf opleidingen zijn immers
geaccrediteerd, waarmee uitgesproken is dat zij aan de vereiste basiskwaliteit voldoen,
c.q. voldeden. Vooraf zij aangetekend dat ten tijde van de visitaties bij géén van deze
opleidingen sprake was van “alternatieve afstudeertrajecten”:
- De opleiding Vrijetijdsmanagement is op 10 en 11 november 2005 gevisiteerd door een NQA-panel, bestaande uit prof. dr. P.M.J. De Groote, mevrouw mr.M.M.Ph. Poncia-van Dam en de heer M.D. Hoffer (student). Over het door hem geconstateerde gerealiseerde niveau van de afstudeeropdrachten meldt dit panel: “Het panel heeft twintig fstudeeropdrachten ingezien en concludeert dat deze van een goed niveau zijn. De onderwerpen van de scripties zijn relevant voor het vakgebied en er wordt in voldoende mate verwezen naar relevante, actuele literatuur.” “Uit beoordelingen, gesprekken en andere structurele contacten blijkt dat het werkveld in voldoende mate tevreden is over de gerealiseerde kwalificaties van afgestudeerden. Ook in het gesprek met het panel geven de werkveldvertegenwoordigers aan dat afgestudeerden goed passen in de vrijetijdsbranche qua kennis en niveau en dat zij goed weten wat zij willen”.
Het door het panel gegeven oordeel is “voldoende”. De NVAO heeft dat oordeel in het
accreditatiebesluit overgenomen. - De opleiding Media en Entertainment Management is op 25 april en 1 juni 2006
beoordeeld door een NQA-panel, bestaande uit de heer drs. E.M. van de Pol CMC, de
heer D.J. Stolk en de heer A. Verhaar (student). Dit panel meldt dat het alle beschikbare afstudeerwerkstukken van deze in 2002 verzelfstandigde opleiding heeft bekeken. De tekst luidt als volgt: “Het panel heeft de afstudeerverslagen bestudeerd van alle studenten van het eerste afstudeercohort (2005). De beoordelingsformulieren waren bijgevoegd”. “Het panel is van mening dat de verslagen die zij heeft bestudeerd een goed inzicht geven in de competenties van de studenten en dat het niveau voldoet. De verslagen laten onder meer zien dat de studenten in staat zijn een onderzoeksopdracht te formuleren, een inventariserend onderzoek uit te voeren en de uitkomsten te analyseren. Uit het gesprek van het panel met alumni en met vertegenwoordigers van het werkveld bleek dat afgestudeerden in de praktijk goed voldoen.”
Het door het panel gegeven oordeel is “goed”. De NVAO heeft dat oordeel in het
accreditatiebesluit overgenomen. - De opleiding Bedrijfseconomie is op 11 september 2007 beoordeeld door een NQA-panel, bestaande uit de heer prof. dr. H.F.D. Hassink RA, de heer drs. J. Maat, de heer J.Los AA/FB, de heer J.Schueler (student). Het panel meldde het volgende over de door hem beoordeelde afstudeerstukken: “Het panel heeft de afstudeerwerken die de opleidingen enkele weken voor het bezoek ter inzage hadden gegeven, bestudeerd. Deze werken zijn geschreven door studenten die de opleiding gediplomeerd hebben verlaten. Alle afstudeerwerken behandelen een concreet probleem en monden uit in een beroepsproduct.” “Het panel oordeelt gematigd positief over de kwaliteit van de afstudeerwerken. Positief is dat de afstudeerwerken het panel de indruk geven dat de afgestudeerden redelijk inzicht hebben in de gang van zaken in de beroepspraktijk. Daarnaast laten de afgestudeerden zien dat ze in staat zijn om een onderzoek voor te bereiden, het probleem te analyseren en aanbevelingen te doen voor de oplossing ervan. Er zijn echter ook kanttekeningen. Het panel miste in veel werken een verantwoording van de gekozen onderzoeksopzet. Verder vindt het panel dat in een aantal werken de vraagstelling te weinig is uitgewerkt, de vraagstelling niet is ingebed in een bredere context of de probleemanalyse niet of slechts beperkt door theorie is onderbouwd. Voorts is het panel van mening dat sommige werken te beschrijvend zijn en dat de diepgang voor verbetering vatbaar is, evenals de doordenking van verkregen resultaten. Het panel vindt dat de studenten door de opleidingen gestimuleerd moeten worden meer literatuur te gebruiken en in de werken literatuurverwijzingen op te nemen. Tot slot merkt het panel op dat in de afstudeerwerken zichtbaar is dat per locatie de beoordelingsprocedure uiteen loopt. De cijfers die de docenten aan de afstudeerwerken hebben toegekend vindt het panel te hoog. De indruk bestaat dat bij de beoordeling vooral is gekeken naar de praktijkcomponent. Het panel heeft echter geen afstudeerwerken aangetroffen die ten onrechte met een voldoende zijn beoordeeld.”
Voor de NVAO was doorslaggevend dat het panel constateerde, dat “(het) geen
afstudeerwerkstukken (had aangetroffen) die ten onrechte met een voldoende zijn
beoordeeld.” Het door het panel gegeven oordeel is “voldoende”. De NVAO heeft dat oordeel in het accreditatiebesluit overgenomen. - De opleiding Commerciële Economie is op 8 en 26 oktober en 6 november 2007
beoordeeld door een Hobéon-panel, bestaande uit de heer drs. W.G.van Raaijen, de
heer dr. F.W. Plat, de heer A. Meijer, de heer drs.G.J. Stoltenborg, de heer drs. G.W.M.C. Broers en mevrouw M. Kranendonk (student). Drie leden zijn werkzaam bij Hobéon. Dit panel vermeldde het volgende over zijn onderzoek van de afstudeerwerkstukken: “De afstudeerwerkstukken waar het auditteam zelf inzage in heeft gehad, zijn in hun probleemstelling in voldoende mate actueel en beroepsgeoriënteerd. Zij beantwoorden zowel wat inhoud als wat vormgeving betreft aan de professionele eisen die vanuit het beroepenveld worden gesteld. Bovendien zijn de door het auditteam bestudeerde afstudeerwerkstukken van voldoende diepgang en complexiteit. Uit de eindwerkstukken komt naar voren dat het gerealiseerde eindniveau als ‘goed’ kan worden gekwalificeerd. Studenten beheersen theorieën en modellen in de breedte en in de diepte, op een niveau dat zeker als HBO kan worden aangemerkt.”
Het door het panel gegeven oordeel is “goed”. De NVAO heeft dat oordeel in het
accreditatiebesluit overgenomen.
De NVAO heeft gepoogd verklaringen te vinden voor de verschillen in beoordelingen
tussen de panels en de commissie-Dunnewijk:
- de commissie-Dunnewijk heeft haar aandacht expliciet en exclusief op de toetsing en
de afstudeerwerkstukken kunnen leggen, en heeft hiertoe zelfs na intern beraad een
eigen toetsingkader vastgesteld, terwijl voor de visitatiepanels het gerealiseerde niveau in het toenmalige accreditatiestelsel slechts één van de zes te beoordelen
onderwerpen was. Het gerealiseerde niveau wordt bovendien niet louter door de
afstudeerwerkstukken bepaald. De aandacht voor het beoordelen van de
afstudeerwerkstukken was tijdens de visitatie dus - begrijpelijk – anders; - een “onvoldoende” op onderwerpniveau of voor de facetten 2.8. “beoordeling en
toetsing” en 6.1. “gerealiseerd niveau” zou in het “oude accreditatiestelsel” tot het
onthouden van accreditatie hebben geleid, en dus – door het ontbreken van een reële
herstelmogelijkheid – tot het beëindigen van de opleiding. Het is mogelijk dat panels
daardoor terugschrokken voor de consequenties van een negatief oordeel. De NVAO
heeft het ontbreken van een reële herstelmogelijkheid stelselmatig als een systeemfout bestempeld; - in het oude accreditatiestelsel heeft de NVAO géén dwingende voorschriften gegeven
voor de selectie van de te beoordelen werkstukken. Daarmee is de representativiteit
van de door de visitatiepanels bekeken werkstukken niet vanzelfsprekend gebleken.
Het is onmogelijk te duiden of en zo ja, welke van deze mogelijke verklaringen in de
casus Inholland een rol gespeeld heeft. Het is zelfs mogelijk dat alle drie verklaringen
(deels) geldig zijn.
De NVAO constateert dat in het op 1 januari 2011 in werking getreden nieuwe
accreditatiestelsel elementen zijn opgenomen, die zullen leiden tot aanzienlijk meer en
expliciete aandacht voor het gerealiseerde niveau in de opleiding:
- de panelleden moeten voortaan met instemming van de NVAO worden benoemd.
Bovendien zijn de regels voor de samenstelling van de panels aangescherpt. Concreet betekent dit dat de panels voor VTM en MEM met een (inhoudsdeskundig) panellid zouden zijn uitgebreid, terwijl het panel CE in elk geval minder Hobéon-medewerkers had geteld; - de nadruk in de beoordeling van de opleidingen ligt meer dan voorheen op het
gerealiseerde niveau, via de beoordeling van toetsen en van eindwerkstukken.
Bovendien moet een door het panel zelf gemaakte selectie van afstudeerwerkstukken
al vόόr het visitatiebezoek zijn beoordeeld; - in de instellingstoets kwaliteitszorg wordt in standaard 5 “organisatie- en
beslissingsstructuur” expliciet bekeken of de examen- en opleidingscommissies op de wettelijke wijze tot stand zijn gekomen en hoe zij functioneren; - het instrumentarium van de NVAO is uitgebreid door:
- het invoeren van een maximale hersteltermijn van twee jaar, opgenomen in de Wet
versterking besturing. Dat zou de panels minder terughoudend moeten maken om
negatieve oordelen uit te spreken;
- de NVAO krijgt de mogelijkheid om een advies aan de verantwoordelijke
bewindspersoon uit te brengen om de accreditatie van een opleiding tussentijds in te
trekken, indien die opleiding niet meer aan de voorwaarden voor accreditatie
voldoet.
Conclusies
Uit het rapport-Dunnewijk trekt de NVAO de volgende conclusies:
- de staatssecretaris wordt geadviseerd om, conform artikel 5a.12b van de WHW, een
onderzoek te laten doen naar het mogelijk intrekken van de accreditaties van de
opleidingen MEM te Haarlem, CE te Diemen, VTM te Diemen en BE te Haarlem. De
NVAO adviseert om dat onderzoek te laten plaatsvinden op het eerst mogelijke zinvolle
tijdstip, maar uiterlijk in het voorjaar van 2012 om kennis te kunnen nemen van de
effecten van de door de instelling inmiddels ingezette verander- en verbetertrajecten; - aangezien de primaire verantwoordelijkheid voor de onderwijskwaliteit bij de autonome instellingen ligt, zal de NVAO de instellingen en de beoordelingspanels aanspreken op de wijze waarop met die verantwoordelijkheid wordt omgegaan. Gezamenlijk zal gezocht moeten worden naar good practices en naar alle mogelijke vormen van het vergroten van interne verantwoordelijkheid en externe legitimatie, met name door de ontwikkeling en versterking van een kwaliteitscultuur bij alle bij een opleiding betrokkenen. Docenten spelen daarin een doorslaggevende rol;
- de regels rondom de steekproeftrekking en verantwoording van eindwerkstukken
worden aangescherpt: in de rapporten moet melding worden gemaakt van de wijze
waarop de steekproef van minimaal 15 werkstukken tot stand is gekomen, terwijl in de
bijlage een overzicht van de beoordeelde werkstukken moet zijn opgenomen. Dit
bevordert de transparantie van de beoordeling. In het geval van twijfel over het
gerealiseerde niveau in een aanzienlijk deel van deze werkstukken moet de steekproef
worden uitgebreid tot 25 eindwerkstukken; - de NVAO zal jaarlijks in het kader van haar interne kwaliteitszorgstelsel (de eindwerken
van) een steekproef van 10 beoordeelde opleidingen opnieuw laten beoordelen door
een eigen panel. Deze extra beoordeling moet ervoor zorgen dat de panels scherp
genoeg blijven oordelen. Er mag geen twijfel bestaan over de validiteit van de
beoordelingen. Deze extra check zal het vertrouwen in de kracht en objectiviteit van
het beoordelingsstelsel moeten versterken. Het is immers begrijpelijk dat het
vertrouwen in dit stelsel door de affaire-Inholland is aangetast; - de NVAO zal regelmatig overleg voeren met de evaluatieorganisaties over de
uitvoering van de visitaties en met de hogeronderwijsinstellingen door middel van een
klankbordgroep bestaande uit vertegenwoordigers van de instellingen en de
studentenorganisaties.
Overigens is de NVAO, op grond van haar ervaringen, de ernst waarmee vele honderden
panelleden meer dan 3000 opleidingen hebben beoordeeld, de bestuurlijke
verantwoordelijkheid en verantwoording van het overgrote deel van de instellingsbesturen
van universiteiten, hogescholen en particuliere instellingen, van oordeel dat het
Nederlandse hoger onderwijs wel degelijk aan de gangbare basiskwaliteit voldoet en in
vele gevallen daarboven uitstijgt. Excessen en incidenten zijn helaas in geen enkel stelsel
te voorkomen
