Nemen van kwaliteitsbevorderende maatregelen

Tijdens en vlak na het onderzoek kan de onderzoeker al heel veel doen om te borgen dat het eindresultaat voldoet aan de inhoudelijke kwaliteitscriteria. Hier gaan we in op vier activiteiten: gebruiken van beschikbare kennis, valideren door de klant, reviewen tijdens het onderzoek, en peer review van de onderzoekspublicatie. De eerste drie worden voorgesteld door Andriessen & Van Weert (2008). De laatste is gebruikelijk bij wetenschappelijke publicaties in toonaangevende bladen.

Gebruik van beschikbare kennis

Gebruik maken van beschikbare kennis betekent het raadplegen van experts en grondige literatuurstudie. Zie bijvoorbeeld (Tranfield, Denyer, & Smart, 2003) voor de aanpak van een systematische literatuurstudie.

Valideren door de klant

Onder valideren verstaan Andriessen & Van Weert een proces waarmee wordt nagegaan dat daadwerkelijk aan de behoefte van de specifieke omgeving tegemoet wordt gekomen: er wordt geverifieerd dat de probleemstelling en het beoogde resultaat haalbaar zijn en gewenst worden door de mensen in de praktijkcontext. Validiteit garandeert dat je niet alleen een "oplossing" hebt, maar ook één die werkt.

Reviewen tijdens het onderzoek

Maar ook al is een resultaat of oplossing valide, deugt het resultaat dan ook, heeft het kwaliteit? En hoe moet dat worden vastgesteld? Iets kan bijvoorbeeld prima werken in de praktijkcontext, maar ethisch niet toelaatbaar of niet duurzaam zijn. Geregelde reviews door experts tijdens het onderzoeksproces moeten die kwaliteit garanderen. Daarbij worden expliciete kwaliteitskenmerken gebruikt waartegen gereviewd kan worden. Deze criteria geven operationeel inhoud aan het begrip kwaliteit. Operationeel betekent dat ze zo zijn geformuleerd dat je weet waar verbeteringen mogelijk zijn als aan een kwaliteitscriterium niet wordt voldaan. Op dat moment worden verbeteracties ondernomen. Natuurlijke momenten voor een review zijn na het schrijven van het onderzoeksplan, halverwege het onderzoek en vlak voor het einde.

Peer review

In januari 2009 is er door Leo Waaijers een 'quick and dirty' onderzoek gedaan naar de stand van zaken m.b.t. kwaliteit en impact in wetenschappelijke communicatie met een nadruk op Open Access. Dit onderzoek is gedaan in opdracht van Knowledge Exchange, een samenwerkingsverband dat het gebruik en de ontwikkeling ondersteunt van ICT infrastructuur voor hoger onderwijs en onderzoek. De partners van Knowledge Exchange zijn:

• DEFF, Denmark's Electronic Research Library
• DFG, Deutsche Forschungs Gemeinschaft
• JISC, Joint Information Systems Committee (GB)
• SURFfoundation
  In dit onderzoek worden twee benaderingen besproken om  kwaliteit van artikelen te bepalen: meettechnieken (citatie index, journal impact factor) en peer review. Ook worden aanbevelingen gedaan. De nadruk ligt hierbij op Open Access. Onderstaande is een samenvatting van dit onderzoek met betrekking tot het onderwerp Peer Review.

Stand van zaken

Peer review is een na-oorlogs fenomeen en was aanvankelijk bedoeld als globale, ruwe selectiemethode om te zien of een artikel acceptabel was. Inmiddels is het uitgegroeid tot een methode waarmee uitgevers de kwaliteit van hun tijdschriften veilig stellen. Meestal betreft het onderzoeksartikelen en conferentiebijdragen, met name in de exacte wetenschappen. Peer review is minder gebruikelijk in de humaniora en sociale wetenschappen.

Het peer review proces ligt in de handen van de uitgevers. Reviewers zijn vrijwel altijd anoniem en worden niet betaald voor hun beoordeling. De uitgever ontvangt wel inkomsten voor het organiseren van de review, redigeren, opmaken en uitgeven van het artikel. Twee business modellen zijn te onderscheiden:

a. het 'tolhekmodel': het klassieke model, ontstaan in het papieren tijdperk. Hierbij wordt het auteursrecht exclusief overgedragen aan de uitgever in ruil voor het recht om te worden gepubliceerd. Lezers betalen abonnementgelden.

b. het 'Open Access model'' waarbij geen auteursrecht wordt overgedragen en publicatie direct via het internet plaats vindt. De uitgever wordt betaald voor de toegevoegde waarde die hij levert.

Het klassieke model is nog steeds dominant, hoewel het Open Access model gestaag groeit. Die groei wordt echter belemmerd door het feit dat de citatie indexen en Journal Impact Factors sterk verstengeld zijn met het klassieke publicatiemodel.

Kritiek

De anonimiteit van de reviewers wordt regelmatig bekritiseerd, niet in de laatste plaats omdat de auteur in het algemeen niet anoniem is. Reviewers kunnen derhalve concurrenten zijn die er belang bij hebben om een negatief oordeel te geven of het review proces te vertragen.

Reviewers zijn, in al hun anonimiteit, ook mede-verantwoordelijk voor de publicatie van een artikel. Niet alleen is hun oordeel van groot belang, ook zijn ze vaak nauw betrokken bij de revisies van het betreffende artikel.

Peer review is een arbeidsintensief, langdurig proces, wat vaak maanden in beslag neemt. Als een artikel wordt geweigerd wordt het vaak aangeboden aan een ander tijdschrift met een lagere impact factor en begint het hele review proces opnieuw.

Onduidelijk is of beoordelingen geijkt worden. Soms sturen auteurs een vrijwel ongewijzigde versie in. Of gebruiken luie auteurs het review proces als een manier om een inferieur artikel te verbeteren met commentaar van de reviewers.

Ontwikkelingen

Het centrale thema is: transparantie. Openheid van laboratoriumverslagen en ruwe data, van publicaties, reviews en social tagging. De term is Wetenschap 2.0 (Science 2.0)  en de belangrijkste tools zijn blogs, wiki's en ondersteunende tools. Ook wordt er geëxperimenteerd met verschillende varianten van open review:

• open peer review waarbij de namen van de reviewers bekend zijn
• lezers die de mogelijkheid krijgen om een gepubliceerd (en al gereviewd) artikel van commentaar te voorzien
• volledig open review

Naast succesvolle experimenten als CiteUlike waar inmiddels meer dan 2 miljoen publicaties op geplaatst zijn en voorzien van metadata, tags, beoordelingen en commentaren, zijn er ook experimenten waarbij slechts een minderheid van de auteurs wil participeren in open review processen. Tevens is er terughoudendheid aan de kant van wetenschappers om hun commentaar openlijk te geven.

Verbeteringen

Wetenschap heeft twee fundamenteel verschillende en complementaire benaderingen om kwalititeit te benaderen: meettechnieken en peer review. De citatie-indexbenadering verkeert in staat van crisis en wordt vooral overeind gehouden door grote financiële belangen. Peer review staat op zichzelf niet ter discussie, wel het gebrek aan transparantie ervan. In de aanbevelingen wordt Knowledge Exchange aangespoord om een rol te spelen als:

1. katalysator bij het ontwerpen van een repository infrastructuur die beoordeling en gebruik (meten van gebruik) bevordert
2. een partij die tenders organiseert voor peer review processen die eigenaaronafhankelijk zijn
3. coördinator voor een breed reeks van grassroot projecten voor open reviewing. Hierdoor krijgt deze methode de kans zich te ontwikkelen en te bewijzen.