Gebruiken van kwaliteitscriteria

Traditionele literatuur over methoden en technieken van onderzoek staan vol met inhoudelijke kwaliteitscriteria voor wetenschappelijk onderzoek. Betrouwbaarheid en validiteit zijn daarvan de bekendste. Onderzoek aan het HBO moet van goede wetenschappelijke kwaliteit zijn. Daarnaast stelt het praktijkgerichte karakter van dit onderzoek nog aanvullende eisen aan de kwaliteit. Hier presenteren we drie visies daar op: vanuit het Brancheprotocol Kwaliteitszorg Onderzoek, zoals voorgesteld door de jury van Praktijkgericht Onderzoek van het jaar 2010, de jury van Praktijkgericht Onderzoek van het jaar 2010, zoals voorgesteld door Andriessen & Van Weert en tot slot ene bewerking van Andriessen & Van Weert door lector Daan Andriessen. Wij roepen iedereen op dit lijstje aan te vullen.

Brancheprotocol Kwaliteitszorg Onderzoek

1. Het onderzoek aan hogescholen is geworteld in de beroepspraktijk. De vraagstellingen van het onderzoek dat door hogescholen wordt verricht, worden ingegeven door de professionele praktijk ('real life'-situaties), in zowel profit- als non-profitsectoren. Het onderzoek genereert vervolgens kennis, inzichten en producten die bijdragen aan het oplossen van de problemen in de beroepspraktijk en/of aan de ontwikkeling van deze beroepspraktijk.
2. Het onderzoek aan hogescholen is praktijkgestuurd, en richt zich daarbij ook op strategische vragen en de langere termijn. Het onderzoeksobject of de onderzoeksvraag staat centraal zonder dat er op voorhand wordt gekozen voor een specifieke disciplinaire of methodologische benadering. De aanpak is vaak multi- en/of transdisciplinair.
3. Het onderzoek aan hogescholen wordt vormgegeven binnen een scala van organisatorische verbanden, waaronder lectoraten en onderzoekcentra. Deze delen kennis en inzichten met bedrijven en instellingen, voeren praktijkgericht onderzoek uit en ontwikkelen, meestal in coproductie met externe partijen, nieuwe kennis, inzichten en producten.
4. Het onderzoek aan de hogescholen is methodologisch verantwoord en daarnaast sterk gebonden aan de toepassingscontext. Dit betekent dat bij beoordeling van het onderzoek zowel wetenschappelijke criteria als ook criteria uit de context (beroepspraktijk) een rol spelen. De gegenereerde kennis en inzichten moeten niet alleen geldig en betrouwbaar zijn, maar ook maatschappelijk robuust.
5. Het onderzoek aan hogescholen kent een sterke verbinding met de andere activiteiten van het hoger beroepsonderwijs. Dit betreft allereerst de verbinding met het onderwijs. Docenten maken deel uit van de lectoraten en onderzoekcentra. Via stages, opdrachten en leeronderzoek zijn studenten actief betrokken bij het onderzoek. Het onderzoek heeft een vernieuwende werking op het curriculum en draagt bij tot verdere professionalisering van de staf. Daarnaast bestaat er een directe verbinding met consultancyactiviteiten van de instellingen.
6. Het onderzoek aan hogescholen, de kenniscreatie en de kenniscirculatie vinden plaats binnen (duurzame) netwerken met externe partijen. Kennis en inzichten worden via uiteenlopende kanalen aan de diverse doelgroepen overgebracht: via wetenschappelijke publicaties, via bijdragen aan professionele bladen, via voordrachten en presentaties en via uiteenlopende media zoals internet, kranten, radio en tv.
7. Het onderzoek aan hogescholen is gevarieerd. Het type praktijkgericht onderzoek dat wordt verricht, de wijze waarop kennis en inzichten worden gedocumenteerd en gedeeld, het soort producten dat dit oplevert, en de vormgeving van de netwerken zijn afgestemd op wat in de verschillende sectoren van de beroepspraktijk adequaat is.

Niet ieder van deze zeven kenmerken voor praktijkgericht onderzoek verwijst naar een inhoudelijk kwaliteitscriterium. De volgende lijken dat wel te doen:
1. stelt dat praktijkgericht onderzoek relevant moet zijn.
3. en 6. lijken te stellen dat de onderzoeksresultaten openbaar moeten zijn.
4. zegt dat het onderzoek methodologisch verantwoord moet zijn.
5. stelt dat het onderzoek verbonden moet zijn met het onderwijs.
7. stelt dat het onderzoek moet worden afgestemd op de verschillende sectoren in de beroepspraktijk.

Jury van Praktijkgericht Onderzoek van het jaar 2010 

De Expertisekring "Betekenis en Kwaliteit van Praktijkgericht Onderzoek" heeft in 2010 een prijs uitgereikt voor het beste praktijkgerichte onderzoek 2009 verricht aan een hogeschool. De Expertisekring is een samenwerkingsverband van lectoren en is onderdeel van het Forum voor Praktijkgericht Onderzoek (www.lectoren.nl).
De jury 2010 hanteerde als uitgangspunt dat praktijkgericht onderzoek zich tot verschillende fora verhoudt: praktijk, wetenschap en onderwijs. Dit is uiteengelegd in de volgende criteria:

Algemeen

1. Toegankelijk
Het onderzoek heeft een kennisproduct (rapport, video, of anderszins) opgeleverd dat toegankelijk is voor hbo-professionals: eindgebruikers in de beroepspraktijk, collega’s in het onderwijs en studenten.
2. Efficiënt
Het onderzoek is efficiënt opgezet en uitgevoerd, te meten naar de verhouding tussen de kwaliteit van het product versus de ingezette middelen.

Het praktijkforum

3. Vraaggericht
Het onderzoek ontwikkelt kennis vanuit een vraag in de praktijk. Het onderzoek toont aan dat ‘iets’ in een bepaalde situatie werkt (of niet) en voor wie. Het kan gaan om het effectief vermogen van een apparaat, een behandelwijze, een methode, een spiegel, een verhaal, et cetera.
4. Theorie/praktijk
De wisselwerking tussen theorie en praktijk is inventief en respectvol vormgegeven en beschreven. Een theorie is niet blind op de praktijk gelegd en de praktijk wordt niet blind gevolgd. Het onderzoek heeft de praktijk veranderd en de praktijk heeft het model veranderd. Beide klinken in elkaar door.
5. Overdraagbaar
Het onderzoek toetst de overdraagbaarheid van de ontwikkelde kennis door tijdens het project te werken aan kenniscirculatie naar andere situaties, andere mensen of andere middelen.
6. Evaluatie van het onderzoek
Het onderzoeksverslag geeft de ervaring en het oordeel weer dat de verschillende betrokkenen hebben over de bruikbaarheid van het onderzoeksresultaat voor hun handelen.

Het onderzoekforum

7. Ingebed
Het onderzoek bouwt voort op bestaande kennis. De probleemstelling, aanpak en bevindingen zijn ingebed in de (literatuur van de) discipline.
8. Verklarend
Het onderzoek verklaart binnen het theoretische veld van de discipline waarom het onderzochte (niet) werkt.
9. Accuraat
Het onderzoek is accuraat in waarnemingen en beschrijvingen.

Het onderwijsforum

10. Herkenbare praktijkmensen
In het onderzoeksverslag zijn praktijkmensen persoonlijk herkenbaar voor professionals in opleiding
11. Herkenbare onderzoeker
De persoon van de onderzoeker komt naar voren, inclusief zijn/haar leerervaring. Bij praktijkgericht onderzoek neemt de onderzoeker deel aan de praktijk. Deze ‘ik’ met zijn lol, frustratie en begeestering dient zichtbaar te zijn opdat de ontvanger het kan verdisconteren als context en als stukje van de waarheid. De onderzoeker beschrijft en reflecteert op het eigen aandeel in wat werkt en wat niet werkt.
12. Beweging
Het onderzoek brengt docenten en studenten in beweging.

Jury van Praktijkgericht Onderzoek van het jaar 2011

De jury van 2011 hanteerde bij de beoordeling van de inzendingen de volgende criteria:
1.Het onderzoek dat is ingezonden is algemeen toegankelijk. Hiermee wordt bedoeld dat iedereen het onderzoek moet kunnen inzien, ook al is het in het beheer van een ander.
2.Het onderzoek vindt haar aanleiding in een relevant praktijkprobleem, resp. een relevante vraag in de beroepspraktijk en levert een bijdrage aan de beroepspraktijk voor een expliciet aangegeven doelgroep/probleemeigenaar.
3.De onderzoeker besteedt bij de beschrijving van de methode en van het resultaat aandacht aan de wisselwerking tussen theorie en praktijk.
4.De probleemstelling, aanpak en bevindingen zijn gepositioneerd ten opzichte van de aanwezige kennis en inzichten in de discipline(s) en beroepspraktijk(en).
5.Het onderzoek is transparant, zorgvuldig en systematisch in waarnemingen en beschrijvingen.
6.Het onderzoek levert een inspirerende bijdrage aan het onderwijs.

Andriessen & Van Weert (2008)

In hun artikel voor het blad Onderzoek van Onderwijs (juni 2008) presenteren Andriessen en Van Weert een set inhoudelijke criteria voor praktijkgericht onderzoek dat is gebaseerd op het werk van Heinze Oost. Ze maken onderscheid tussen twee processen die in ieder praktijkgericht onderzoek tegelijkertijd lopen: de praktijkstroom en de kennisstroom. De praktijkstroom is het werk dat wordt uitgevoerd voor een concrete klant en waarin het probleem van die klant wordt opgelost. De kennisstroom verwijst naar de activiteiten die de onderzoeker uitvoert om breder toepasbare en valide kennis te ontwikkelen. Voor beide stromen gelden in principe dezelfde criteria, maar ze worden voor beide stromen verschillend geoperationaliseerd:

Kwaliteitscriteria praktijkgericht onderzoek

Lector Daan Andriessen heeft de criteria van Andriessen & Van Weert (2008) uitgewerkt per onderdeel van een onderzoek en van indicatoren voorzien. Zie:Bijlage 2 Kwaliteitscriteria praktijkgericht onderzoek.PDF