In 2010 publiceerden twee bekende economen, Carmen Reinhart en Kenneth Rogoff, een artikel waarin werd bevestigd wat veel fiscaal conservatieve politici al lang hadden vermoed: dat de economische groei van een land afneemt als de staatsschuld boven een bepaald percentage van het bbp uitkomt. De krant trok de aandacht van de toekomstige kanselier van Groot-Brittannië, George Osborne, die het herhaaldelijk citeerde in een toespraak waarin werd uiteengezet wat het politieke draaiboek van het bezuinigingstijdperk zou worden: bezuinigen op de openbare diensten om de staatsschuld af te betalen.
Er was slechts één probleem met het werk van Reinhart en Rogoff. Ze hebben onbedoeld vijf landen buiten hun analyse gelaten: ze lieten cijfers zien voor slechts vijftien landen in plaats van de twintig die ze dachten in hun tabel te hebben geselecteerd. Toen enkele minder bekende economen deze fout en diverse andere onregelmatigheden corrigeerden, verdween het deel van het resultaat dat de meeste aandacht trok. De relatie tussen schulden en het bbp bestond nog steeds, maar de gevolgen van hoge schulden waren subtieler dan de drastische afgrond waarop in de toespraak van Osborne werd gezinspeeld.
Wetenschappers zijn – net als wij allemaal – niet immuun voor fouten. “Het is duidelijk dat fouten overal voorkomen, en een klein deel van die fouten zal de conclusies van de artikelen veranderen”, zegt Malte Elson, professor aan de Universiteit van Bern in Zwitserland, die onder meer onderzoeksmethoden bestudeert. Het probleem is dat er niet veel mensen zijn die naar deze bugs zoeken. De fouten van Reinhart en Rogoff werden pas in 2013 ontdekt door een economiestudent wiens professoren zijn klas vroegen om te proberen de bevindingen te repliceren in vooraanstaande economische artikelen.
Samen met zijn collega-metawetenschappers Ruben Arsland en Ian Hussey heeft Elson een manier bedacht om systematisch fouten in wetenschappelijk onderzoek te vinden. Het project – genaamd ERROR – is gemodelleerd naar bugbounts in de software-industrie, waarbij hackers worden beloond voor het vinden van bugs in code. In het project van Elson worden onderzoekers betaald om de ingetrokken artikelen te doorzoeken op mogelijke fouten en krijgen ze bonussen voor elke bevestigde fout die ze vinden.
Het idee kwam voort uit een discussie tussen Elson en Arsland, die wetenschappers aanmoedigt om fouten in hun werk te vinden door hen een biertje aan te bieden als ze een typfout ontdekken (beperkt tot drie per artikel) en 400 euro ($430) voor een fout die verandert. de belangrijkste conclusie van het werk. “We waren ons allebei bewust van papieren in ons vakgebied die volledig gebrekkig waren vanwege aantoonbare fouten, maar het was uiterst moeilijk om de gegevens te corrigeren”, zegt Elson. Al deze publieke fouten kunnen volgens Elson een groot probleem zijn. Als een promovendus zijn of haar studie zou besteden aan het zoeken naar een resultaat dat een vergissing bleek te zijn, zou dat kunnen neerkomen op tienduizenden verspilde dollars.
Foutcontrole is geen standaard onderdeel van het publiceren van wetenschappelijke artikelen, zegt Hussey, een metawetenschappelijk onderzoeker in het laboratorium van Elson in Bern. Wanneer een wetenschappelijk tijdschrift een artikel accepteert – zoals Natuur of Wetenschap– het wordt verzonden naar meerdere experts in het veld die hun mening geven over de vraag of het werk van hoge kwaliteit is, logisch klopt en of het een waardevolle bijdrage levert aan het veld. Deze reviewers controleren echter doorgaans niet op bugs en hebben in de meeste gevallen geen toegang tot de onbewerkte gegevens of code die ze nodig hebben om bugs uit te roeien.