Over de beoordeling van onderzoek

Het kan allicht geen kwaad om het in het allereerste bericht op mijn blog over een ernstige kwestie te hebben. De minister van onderwijs, Frank Vandenbroucke, wil dat de kwaliteit van de zogenaamde humane wetenschappen, ook vaak menswetenschappen of geesteswetenschappen genoemd, in de nabije toekomst op een meer kwantitatieve manier wordt beoordeeld. In de zogenaamde exacte wetenschappen is dit reeds lang realiteit. Er is een heel systeem uitgewerkt waarbij men het belang en de invloed van de tijdschriften waarin men publiceert kan meten. Een tijdschrift dat 'zwaar doorweegt' kent een internationale verspreiding en wordt door de meeste experts van het vakgebied waarover het tijdschrift onderzoeksresultaten (van empirische of analytische aard) publiceert, gelezen. Bijgevolg citeert men vaak artikelen uit zo'n tijdschrift, wat een meetbare maatstaf biedt om de impact van het tijdschrift, en van de artikelen, vast te stellen. (Men spreekt over de 'impactfactor'.) Bovendien worden de artikelen die men naar zo'n tijdschrift opstuurt in de regel anoniem gelezen door experts. Dat gaat in principe als volgt: een onderzoeker stuurt een artikel op naar een tijdschrift. De hoofdredacteur van het tijdschrift stelt vast waarover het artikel gaat, en stuurt het door naar een bepaald aantal deskundigen. Die deskundigen zien evenwel enkel het artikel, niet de naam van de auteur. Vervolgens brengen ze advies uit over het artikel: is het goed genoeg om te worden opgenomen in het tijdschrift? Bevat het nieuwe resultaten en inzichten? Is het onderzoek methodologisch goed uitgevoerd?, enzoverder. De hoofdredacteur brengt de auteur op de hoogte van de opinie van de experts, zonder deze laatsten hun namen bekend te maken. In vele gevallen worden artikelen meteen afgewezen, zonder dat men het advies krijgt om het te herwerken en opnieuw in te dienen, bij hetzelfde tijdschrift. De auteur kan dan ofwel de moed laten zakken en op zoek gaan naar een andere carrière of onderzoeksinteresse, of hij kan het artikel zeer grondig herwerken en toch opnieuw indienen. Maar veelal wordt na een weigering het artikel, eventueel na wijzigingen aan te brengen op basis van het leesrapport van de deskundigen die het artikel afwezen, opgestuurd naar een tijdschrift met een lagere impactfactor. In de regel geldt immers: hoe hoger de impactfactor van een tijdschrift, hoe moeilijker om er in te publiceren; hoe lager de impactfactor, hoe makkelijker. In het algemeen werkt dit systeem vrij goed. Kenners kunnen bij wijze van spreken in één oogopslag uit de publicatielijst van een onderzoeker afleiden hoe bekwaam en productief hij of zij is. Het is dan ook niet verwonderlijk dat men op politiek niveau ervoor gekozen heeft om de financiering van het onderzoek te koppelen aan deze objectief-kwantitatieve benadering. Hiermee is vanzelfsprekend niet gezegd dat het systeem volmaakt is. Uiteraard kunnen vele dingen fout gaan. Onderzoekers kunnen fraude plegen; artikelen kunnen niet anoniem gelezen worden; een artikel kan vaak geciteerd worden, niet omdat het goed is, maar omdat het een blunder bevat, enzovoort. Maar vóór men de kwantitatieve parameters invoerde, kon dat ook allemaal en zorgde de subjectieve inschatting van de kwaliteit van onderzoek, artikelen en tijdschriften, voortdurend voor frustratie en discussie. Kortom, ondanks de nadelen, biedt het systeem ook vele voordelen. Het is dan ook niet onlogisch dat men de kwantitatieve aanpak ook naar de cultuur- en gedragswetenschappen (een meer correcte benaming dan de 'humane' of 'geestes'-wetenschappen) wil uitbreiden. Nu komt dit niet bepaald uit de lucht gevallen. Reeds in de eerste helft van de jaren negentig van de vorige eeuw was ik betrokken bij een onderzoek hierover, op verzoek van de Vlaamse Raad voor Wetenschapsbeleid (VRWB). Het rapport van ons onderzoek (Wetenschap als Cultuur, 1994) behandelt vrij uitvoerig de discussie over de specificiteit en het 'eigen karakter' van de cultuur- en gedragwetenschappen. Ook toen al merkte men op dat men de kwaliteit van het onderzoek in de cultuur- en gedragwetenschappen niet op dezelfde manier kan meten als die van het onderzoek in de natuur- en toegepaste wetenschappen (een meer correcte benaming dan de 'exacte' of 'positieve' wetenschappen). De opiniestukken en brieven in de kranten van de laatste dagen over de hele kwestie herhalen in essentie dezelfde argumenten. Het lijkt alsof we in pakweg vijftien jaar geen meter opgeschoven zijn. De realiteit is echter anders. Ook in de cultuur- en gedragwetenschappen, zij het zeker niet in alle disciplines, heeft de 'A1-cultuur' volgelingen. Onder 'A1-cultuur' versta ik de druk om in internationale tijdschriften met een hoge impactfactor (de zogenaamde A1-tijdschriften) te publiceren, met alles wat daarbij hoort, goeie en minder goeie aspecten: grotere publicatie-competitie tussen onderzoekers; veel meer nadruk op het belang van internationale weerklank; de relevantie van te worden geciteerd; het kleinere belang van publicaties in boekvorm; het vrijwel onbestaande belang van publicaties in het Nederlands, enz. Of men dit nu wil of niet, de invloed van de A1-cultuur in de cultuur-en gedragswetenschappen neemt toe. Hij neemt zelfs sterk toe: in mijn eigen vakgebied bijvoorbeeld, de wijsbegeerte, bestaan vrijwel alle afgelegde doctoraten de laatste jaren uit een bundeling van artikelen die ofwel reeds zijn gepubliceerd, ofwel - wat als evenwaardig wordt beschouwd - "accepted" zijn, ofwel "under review" zijn. Een 'klassiek' doctoraat, dat wil zeggen een Nederlandstalig, doorwrocht boek van enkele honderden pagina's, betekent stilaan academische zelfdoding. Na het behalen van de doctorstitel moet men immers kandideren voor een volgende job ("een postdoc"). Als men daarbij geen publicatielijst kan voorleggen waarop minstens enkele artikelen voorkomen, gepubliceerd in internationale tijdschriften, is de kans op de job een stuk kleiner. (En vanzelfsprekend zijn dergelijke publicaties absoluut geen garantie op het wél bekomen van een job; andere factoren spelen ook een rol.) In mijn ervaring is deze evolutie over het algemeen niet slecht. Maar dat betekent niet dat het wenselijk is dat het beoordelingssysteem zoals gangbaar in de natuur- en toegepaste wetenschappen zo snel mogelijk en onveranderd ook wordt ingevoerd in de cultuur- en gedragswetenschappen. Uiteraard zijn er verschillen tussen de twee culturen waar men rekening moet mee houden(betreurenswaardige, waarop Snow al lang geleden wees, maar ook verschillen die eigen zijn aan de respectievelijke onderzoeksdomeinen). Zo bijvoorbeeld zou het erg jammer zijn mocht de cultuur- en gedragswetenschappelijke traditie om onderzoek in boekvorm te presenteren, vaak na vele jaren van intens lezen en schrijven, verloren gaan. Nu reeds kan men vaststellen bij onderzoekers jonger dan dertig dat ze niet van plan zijn om een boek te publiceren. Waarom zouden ze ook? Enkele korte artikelen, gepubliceerd in A1 tijdschriften, zijn vanuit het perspectief van loopbaanplanning veel belangrijker dan een boek. Toch hoeft dit niet te betekenen dat een kwantitatieve benadering hierdoor nooit geschikt kan zijn voor de cultuur- en gedragwetenschappen. Zo kan men relatief makkelijk een lijst maken van uitgeverijen (zo'n lijst is overigens al geruime tijd 'in de maak') die, net zoals de A1 tijdschriften, aan zogenaamde anonieme 'peer review' doen. Men biedt een manuscript aan bij een uitgever, die het vervolgens anoniem laat lezen door enkele experts, die zelf ook weer een anoniem rapport opstellen. Een boek gepubliceerd bij een uitgeverij die hoge kwaliteitseisen stelt en de manuscripten door experts laat beoordelen kan dan evenveel 'wegen' als bijvoorbeeld drie A1-artikelen, of vijf A2 artikelen, enzovoort. Een dergelijk systeem uitwerken, bruikbaar in de cultuur- en gedragswetenschappen, is evident geen sinecure, verre van. Maar het is ook niet onmogelijk en kan op termijn de kwaliteit en het belang van het cultuur- en gedragswetenschappelijke onderzoek doen toenemen.
Tenslotte nog deze bedenking. Men voert veel goeie argumenten aan om verzet aan te tekenen tegen de oprukkende A1-cultuur in de cultuur- en gedragswetenschappen, maar ook veel minder goeie. Zo bijvoorbeeld leest en hoort men vaak dat sommige invloedrijke academische intellectuelen vandaag de dag nooit benoemd zouden kunnen worden, in acht genomen de geringe lengte of 'zwaarte' van hun publicatielijst ten tijde van hun benoeming aan de universiteit. Naar analogie wordt in sportkringen vaak opgemerkt dat Björn Borg heden te dage na enkele minuten van het tennisveld gemept zou worden, of dat een kampioen hardlopen van enkele generaties terug minuten achterstand zou hebben, enzovoort. Maar de vergelijking gaat uiteraard niet op. Een nederlandstalig onderzoeker in de jaren zestig, zeventig of tachtig zag zich, in elk geval wat betreft de cultuur- en gedragswetenschappen, niet geroepen om in het Engels te schrijven en zijn teksten aan te bieden aan internationale toptijdschriften. Waarom zou hij ook? Maar iemand die toen goed was, op basis van de toen geldende criteria, zou dat nu wellicht ook zijn, op basis van de criteria die nu gelden. Ik ken heel wat academici die de voorbije decennia zeer belangrijk werk leverden en veel invloed hadden en nog hebben. En inderdaad, ze zijn benoemd geraakt op basis van een publicatielijst die nu tekort zou schieten. Maar hadden diezelfde mensen toentertijd moeten werken onder andere criteria, dan had hun publicatielijst er wellicht ook anders uitgezien. Maar belangrijker is iets wat veel minder vaak wordt opgemerkt: er zijn ook academici die hun hele loopbaan geen interessant werk afleveren, en geen of weinig invloed hebben. Had men toentertijd andere criteria gehad, dan waren deze mensen nooit benoemd geraakt. En dat ware positief geweest.