Prestatiemeting en beoordeling

Het meten van de onderzoeksprestaties van onderzoekers, lectoren, lectoraten, kenniscentra en hogescholen is een manier om de kwaliteit van onderzoek in het HBO te monitoren. Er zijn verschillende methoden om de prestaties te meten. Hier gaan we in op de Citatie-index en Classificatie & Ranking. Daarnaast wordt in het HBO geëxperimenteerd met andere vormen van prestatiemeting. Een overzicht van een aantal pilots vindt u hier.

Citatie-index

Een vorm van prestatiemeting is de citatie-index. In januari 2009 is er door Leo Waaijers een 'quick and dirty' onderzoek gedaan naar de stand van zaken m.b.t. kwaliteit en impact in wetenschappelijke communicatie met een nadruk op Open Access. Dit onderzoek is gedaan in opdracht van Knowledge Exchange, een samenwerkingsverband dat het gebruik en de ontwikkeling ondersteunt van ICT infrastructuur voor hoger onderwijs en onderzoek. De partners van Knowledge Exchange zijn:

• DEFF, Denmark's Electronic Research Library
• DFG, Deutsche Forschungs Gemeinschaft
• JISC, Joint Information Systems Committee (GB)
• SURFfoundation
  In dit onderzoek worden twee benaderingen besproken om  kwaliteit van artikelen te bepalen: meettechnieken (citatie index, journal impact factor) en peer review. Ook worden aanbevelingen gedaan. De nadruk ligt hierbij op Open Access. Onderstaande is een samenvatting van dit onderzoek met betrekking tot het onderwerp Citatie-index.

Stand van zaken

In 1960 introduceerde het Institute for Scientific Information (ISI) de eerste citatie index voor artikelen in wetenschappelijke tijdschriften; de Science Citation Index. Later gevolgd door de Social Sciences Citation Index en de Arts and Humanities Citations Index.
In 1980 werden deze citatie indexen gebruikt om de Journal Impact Factor te bepalen van 7500 tijdschriften, voornamelijk in de exacte wetenschappen. Hier werden al snel de begrippen 'relevantie', 'prestige' en 'kwaliteit' aan gekoppeld. Rankingoverzichten van instituten en auteurs gingen een rol spelen in carrières en bij subsidiëring.
In 1992 werd ISI overgenomen door Thomson Scientific die de webversie van de citatie indexen uitbracht: Web of Science, die 10.000 tijdschriften omvat. Elsevier bracht in 2004 een vergelijkbaar product uit: Scopus. Dit omvat 15.000 tijdschriften, waarvan 1200 Open Access. Eveneens in 2004 kwam Google met Google Scholar op de markt. Daarna  zijn nog verschillende andere citatie databases verschenen.

Kritiek

Hoe vaker de artikelen uit een bepaald wetenschappelijk tijdschrift in andere tijdschriften worden geciteerd des te hoger de impactfactor. De factor wordt berekend door een breuk, waarvan in de teller staan: alle citaties van alle items van dat tijdschrift die in een bepaalde periode in een selecte groep tijdschriften gevonden worden. Dit getal wordt gedeeld door het aantal 'werkelijke' artikelen in het tijdschrift. Hoe vaak een artikel geciteerd wordt hangt af van veel factoren:

• kwaliteit van het artikel
• leeftijd van het artikel (hoe ouder, hoe vaker geciteerd)
• aantal auteurs (hoe meer auteurs, hoe meer citaties)
• taal (artikelen die niet in het Engels geschreven zijn worden relatief weinig geciteerd)
• type artikel (een breed opgezet review artikel wordt vaker geciteerd dan een uiterst specialistisch artikel)
• discipline (onderzoekers in de 'harde' wetenschappen citeren vaker dan die in de humaniora)
• bekende artikelen (soms ook door fraude!) worden frequent geciteerd
• 'decoratieve citaties' (bijvoorbeeld van Nobelprijs winnaars) is ook een bekend fenomeen
• 'citatie syndicaten' die vooral elkaar citeren, zorgen ook voor een behoorlijk groot deel van de citaties
• dit geldt ook voor zelfcitatie
• 'incestueuze citaties': een voorkeur om artikelen van het eigen tijdschrift te citeren om de Journal Impact Factor zo hoog mogelijk te krijgen.
• wijze van publiceren (Open Access artikelen worden sneller na verschijning geciteerd)

Ook het aantal 'werkelijke' artikelen (de noemer van de breuk) bepaalt in hoge mate de uitkomst: hoe minder artikelen, hoe hoger de Impact factor. Uitgevers onderhandelen hierover regelmatig met de indexerende partij.

Maar de meest fundamentele kritiek op de impact factor is dat het prestige van een auteur wordt afgeleid uit de citaties van alle artikelen in een tijdschrift. "It is as if one were judging a school pupil according to the average performance of his class".

Ontwikkelingen

Om aan deze kritiek tegemoet te komen worden op verschillende plaatsen initiatieven ontwikkeld om tot betere meetlatten te komen voor instituten en auteurs:

1. toepassing van weegfactoren voor citaties
2. verbreden van de kwantitatieve basis
3. contact adressen voor dubieuze citatie praktijken
4. toevoegen van kwalitatieve oordelen

Ad 1: weegfactoren

Dit betreft het meegeven van een verschillende zwaarte aan citaties, waardoor bijvoorbeeld een citatie door een Nobelprijswinnaar zwaarder weegt dan die van een student. Hierdoor verandert een Impactfactor van een graadmeter van populariteit in een graadmeter van prestige.

Ad 2: verbreden kwantitatieve basis

Het publiceren van artikelen in bepaalde tijdschriften is niet de enige manier van disseminatie van kennis. Ook dissertaties, rapporten, boeken en lezingen op conferenties dragen hier aan bij. Bovendien zijn citatie indexen minder geschikt voor de humaniora en de sociale wetenschappen en voor publicaties in andere talen dan het Engels. Verschillende methoden zijn ontwikkeld om de kwantitatieve basis voor het meten van kwaliteit en prestige te vergroten:

• het laten meetellen van alle artikelen van een auteur. De in 2005 ontwikkelde h-factor weerspiegelt zowel de breedte als de diepte van het werk van de auteur. Ondanks kritiek op vreemde resultaten die in extreme situaties verkregen kunnen worden, groeit de populariteit van deze factor. Ook schijnt de voorspellende waarde ervan groter te zijn dan van andere factoren.
• ook het aantal downloads is een belangrijke maatstaf, met name in sectoren waarin minder gepubliceerd wordt, zoals bijvoorbeeld educatie. Hierbij zijn Open Access artikelen uiteraard in het voordeel. Waar een citatie index iets zegt over het academische belang van een artikel, zegt het aantal downloads iets over de maatschappelijke relevantie.
• door het laten meetellen van citatities uit andere bronnen (boeken, conferentieverslagen etc.) wordt de kwantitatieve basis van de citatie indexen verbreed. Dit wordt met name aangeraden voor de humaniora en sociale wetenschappen.

Ad 3: contact adressen

Er is een voorstel gedaan voor het instellen voor contactadressen voor dubieuze citatie praktijken. Gevreesd wordt echter dat het middel erger kan zijn dan de kwaal.

Ad 4: toevoegen kwalitatieve oordelen

Hierbij is sprake van een methodologisch probleem: wat bepaalt kwaliteit? In de wereld van citatie indexen wordt het aantal citaties gezien als een maat voor kwaliteit. Maar ook hier speelt het verschil tussen populariteit enerzijds en prestige en kwaliteit anderzijds, een belangrijke rol. Een combinatie van  meetgegevens met peer review wordt gezien als de optimale combinatie, waarbij geavanceerde citatie-analyses het peer review proces transparant en objectief houden.

Verbeteringen

Wetenschap heeft twee fundamenteel verschillende en complementaire benaderingen om kwaliteit te benaderen: meettechnieken en peer review. De citatie-indexbenadering verkeert in staat van crisis en wordt vooral overeind gehouden door grote financiële belangen. Peer review staat op zichzelf niet ter discussie, wel het gebrek aan transparantie ervan. In de aanbevelingen wordt Knowledge Exchange aangespoord om een rol te spelen als

1. katalysator bij het ontwerpen van een repository infrastructuur die beoordeling en gebruik (meten van gebruik) bevordert
2. een partij die tenders organiseert voor peer review processen die eigenaaronafhankelijk zijn
3. coördinator voor een breed reeks van grassroot projecten voor open reviewing. Hierdoor krijgt deze methode de kans zich te ontwikkelen en te bewijzen.

Classificatie en ranking

In Europees perspectief wordt nagedacht over internationale classificatie en ranking. Inmiddels is hierbij ook aandacht voor toegepast onderzoek en worden indicatoren geformuleerd. Het denken hierover staat nog aan het begin. In dit kader is ook aandacht voor de waardering van de koppeling van onderzoek met de maatschappelijke context. In dit kader heeft een Europees consortium van kennisinstituten en wetenschappelijke instellingen, genaamd SIAMPI, van de Europese Commissie subsidie ontvangen om beoordelingsmethoden te ontwikkelen waarmee de maatschappelijke invloed van onderzoek kan worden gemeten, en de  invloed de maatschappij op de wetenschap.

Met de methode van SIAMPI zal de maatschappelijke impact van onderzoek kunnen worden gemeten via vier trajecten van productieve interacties:

-          directe persoonlijke contacten (uiteenlopend van gewoon overleg tot complexe vormen van onderzoekssamenwerking);

-          specifieke output (deskundigenrapporten, klinische richtlijnen, wetenschappelijk advies, enz.);

-          overdracht van zaken (producten, verandering in maatschappelijke praktijken, beleidsinstrumenten);

-          financierings- of andere ondersteuningsmechanismen (mensen, maatschappelijke praktijken, artefacten en ondersteuning).

Na deze analytische fase zal SIAMPI enkele casestudy's uitvoeren in uiteenlopende vakgebieden. Hier vindt u meer informatie over SIAMPI.