Dezer dagen hoor je in Washington de termen “goede wetenschap”, “bewijs” en “gegevens” veelvuldig. Een van de meest gebruikte uitdrukkingen in beleidsvormingskringen is “evidence-based”, toegepast op een groot aantal gebieden, waaronder onderwijs, beleid, praktijk, geneeskunde en zelfs architectuur. Je zou denken dat dit ons allemaal heel gelukkig zou maken – althans degenen die ervoor pleiten dat beslissingen over beleid, sociale interventies en toekomstige richtingen worden gebaseerd op gegevens. Maar ironisch genoeg is de nieuwe nadruk op evidence-based dit en dat tegelijkertijd verwelkomd en begroet met verhoogde angstniveaus en rode vlaggen van bezorgdheid.
Waarom?
Een van de redenen is dat soms de definitie van de “goede” wetenschap die het beleid moet informeren, gekleurd lijkt met politieke boventonen. Zo klagen sommige wetenschappers erover dat, hoewel het Congres en de regering regelmatig oproepen om zich op de beste wetenschap te baseren, zij die wetenschap manipuleren – zij kiezen de wetenschap die hun aanstaat, geven die weer op een manier die geen enkele wetenschapper zou begrijpen, of leggen de lat zo hoog dat geen enkele wetenschappelijke studie eraan kan voldoen. De beste voorbeelden zijn waarschijnlijk klimaatverandering, evolutie en milieu-onderwerpen – hoewel deugdelijke wetenschap (een definitie van “goede wetenschap”) consensus heeft bereikt over gegevens en beleidsimplicaties, geeft het bestaan van enkelen die anders beweren aanleiding tot beleid dat lijkt te zeggen dat de feiten nog steeds twijfelachtig zijn.
Laat ik het nu hebben over de gedrags- en sociale wetenschappen. Hoewel er zeker politieke boventonen zijn aan sommige van de kwesties die door de gedrags- en sociale wetenschappen worden behandeld (getuige de recente reeks vragen over de wetenschap van seksueel gedrag, of gezondheidsverschillen), zijn er andere zorgen over de “evidence-based” beweging buiten de politieke arena. De kwesties variëren van zorgen over de manier waarop bewijs wordt gedefinieerd, tot zorgen dat experimentele ontwerpen ten onrechte worden gereïficeerd als de methodologie die automatisch het “beste” bewijs oplevert.
Enige ongerustheid over de huidige evidence-based beweging kan voortkomen uit een begrijpelijke herbezinning naarmate veranderingen in het financierings- en beleidslandschap duidelijker worden (een goed voorbeeld is de nieuwe onderzoeksportefeuille van het Institute of Education Sciences). Maar veel van het onbehagen lijkt gebaseerd op meer fundamentele kwesties die betrekking hebben op wat we begrijpen wat onderzoek is, wat de wereld is en wat wetenschap is.
Laat me een paar van deze fundamentele kwesties bespreken.
In sommige discussies over wat het betekent om “evidence based” te zijn, worden willekeurige toewijzing en experimentele controle (a.k.a. random controlled trials) als de gouden standaard beschouwd. Dit roept rode vlaggen op voor velen die onderzoek doen dat niet van dit soort is. Kaartdragende wetenschappers die kwalitatief, quasi-experimenteel of historisch onderzoek doen, hebben begrijpelijkerwijs moeite met de suggestie dat alleen experimenten in aanmerking komen als echte wetenschap. Een veelgehoord argument tegen de reïficatie van experimenten is dat veel van het bewijsmateriaal dat wij als onweerlegbaar beschouwen, niet experimenteel is – bewijsmateriaal uit disciplines als epidemiologie of astronomie, bijvoorbeeld. En veel degelijk beleid is gebaseerd op correlationele, niet op experimentele gegevens, zoals gegevens over het verband tussen tabaksgebruik en kanker. Hoewel de wetenschap waarnaar deze argumenten tegen de reïficatie van willekeurige controle verwijzen deugdelijk is, geloof ik toch dat deze argumenten de plank misslaan. Mijn opvatting is altijd geweest dat wanneer experimentele opzet (met inbegrip van aselecte toewijzing) als gouden standaard wordt aangehouden, dit niet voor alle wetenschap is, maar voor interventiestudies – wanneer het doel, in het eenvoudigste geval, is “alles constant te houden” behalve één variabele, om duidelijke causale gevolgtrekkingen mogelijk te maken. In het geval van veel gedrags-sociale wetenschapsvragen kan de variabele veel complexer zijn – een programma, een sociale interventie, enzovoort. Dat deze gouden standaard duidelijke causale gevolgtrekkingen mogelijk maakt (en de enige standaard is voor eenduidige causale gevolgtrekkingen) betekent niet dat andere methoden niet ook belangrijke kennis kunnen opleveren, met name systematische beschrijving, categorisering of correlatie.
Een ander punt van zorg is dat, zelfs als men zo’n standaard zou willen toepassen, experimentele ontwerpen ongeschikt of onmogelijk kunnen zijn in veel van de complexe, multidimensionale contexten waarin men antwoorden nodig heeft, omdat dergelijke methoden onmogelijk, onpraktisch, of onethisch zouden zijn om te vervullen. In veel contexten is bijvoorbeeld de willekeurige toewijzing van individuen aan programma’s, klaslokalen, buurten, gezinnen of behandelingen vaak niet mogelijk en is de willekeurige toewijzing van programma’s aan groepen zoals scholen of teams of behandelingssettings misschien niet haalbaar. Is dit een reden tot bezorgdheid? Het is natuurlijk een voorbeeld van het klassieke verschil tussen doeltreffendheid en doelmatigheid – tussen uitzoeken of iets werkt in het laboratorium of onder goed gecontroleerde omstandigheden en of het werkt in de praktijk in de rommelige, alledaagse wereld. In de gezondheidszorg, een van de gebieden waar de problemen in verband met de bewijsvoering het grondigst zijn besproken, luidt de conclusie dat beide noodzakelijk zijn en dat men zorgvuldig moet zijn bij het afstemmen van de conclusie op het ontwerp. En in de geneeskunde, net als in de psychologie, moet de toepassing van kennis op de praktijk altijd een dans zijn van de beste beschikbare informatie en het oordeel van deskundigen.
Als men zich buiten de psychologie begeeft, zijn er bredere zorgen – de standaardmethoden van zuster disciplines in de sociale wetenschappen zijn gewoonlijk niet experimenteel. Neem antropologie, economie of enquête-onderzoek. De gegevens die door economen of antropologen of sociologen worden verzameld, vormen vaak de basis voor beleidsbeslissingen. Toch zijn deze gegevens zelden experimenteel. De les die we kunnen trekken uit de verschillende disciplines, vragen en contexten, is dat verschillende ontwerpen geschikt kunnen zijn voor verschillende vragen, gedragingen of situaties. Wat natuurlijk belangrijk is, is dat we streven naar het gebruik van de meest rigoureuze opzet die geschikt en mogelijk is voor de vraagstukken die aan de orde zijn, en dat we het belang van die rigoureusheid overbrengen aan beleidsmakers.
Omdat de evidence-based vraagstukken zo actueel zijn en zo belangrijk voor alle psychologen, van onderzoekers tot praktijkmensen, is het bijzonder verheugend om te zien dat de National Academy of Sciences een initiatief start om te helpen bij het definiëren van evidentienormen voor alle gedrags- en sociale wetenschappen, om te helpen bij de vraag hoe bewijs kan worden gekoppeld aan vraag en context, en om te helpen bij het verbeteren van de vertaling van onderzoek naar beleid. Dit initiatief begint deze maand met een “Workshop over beleidsvorming: hoe gedrags- en cognitiewetenschappers kunnen bijdragen…” en zal worden voortgezet met vragen waarin wordt gekeken naar de bewijsgrondslagen van de gedrags- en sociale wetenschappen en de mate waarin discussies over bewijs in andere disciplines (bijv,
Het is duidelijk dat discussies over definities van bewijs, onderscheid tussen soorten bewijs (waaronder wetenschappelijke gegevens, het oordeel van deskundigen, observatie en theorie), en consensus over wanneer wat gebruikt moet worden, ons nog wel enige tijd bezig zullen houden. De psychologie moet een actieve deelnemer aan de discussie zijn. Zij moet haar unieke inzichten bijdragen als een discipline die haar basiswetenschap heeft gebouwd op solide experimentele methoden, die voortdurend worstelt met de overgang van fundamentele laboratoriumwetenschap naar toegepaste wetenschap, die probeert de vertaalslag te maken van wetenschap naar toepassing en naar praktijk, en die het belang van een basiswetenschappelijke basis die relevant is voor de toepassing, propageert.