Vertalingen: "English" |

Een hoognodige les statistiek (Corona blog deel 1)

De afgelopen 9 maanden heb ik met enige verbazing en soms ook verontwaardiging gekeken naar de 'wetenschappelijke onderbouwing' die wordt gehanteerd bij de maatregelen rondom het SARS-COV-2 virus. Niet dat het RIVM zijn werk niet doet. Dat doet ze wel. Het probleem is dat zowel politici als media geen benul lijken te hebben hoe op een effectieve manier om te gaan met de getallen die door het RIVM worden geproduceerd.

Zelfs het OMT, waarvan je toch mag hopen dat er een brede expertise aanwezig is, lijkt te bestaan uit vrijwel uitsluitend artsen/virologen die niet in staat zijn de getallen goed te interpreteren en er een verstandige beslissing over te nemen. De zaak is volledig uit zijn verband gehaald en de samenstelling van het OMT is hieraan overduidelijk debet.

Wie ben ik om hier zo'n boude uitspraak over te doen? Als ontwerper van anti-spam systemen ben ik op dagelijkse basis professioneel bezig met statistiek. Als universitair opgeleid ingenieur heb ik jaren gewerkt met zowel productiestatistiek als levensduurstatistiek in de automobielsector. Ik ben expert op het gebied van meetsystemen en de geautomatiseerde verwerking van data. Ik heb meerdere meetsystemen -en methoden ontworpen die vandaag de dag na meer dan 15 jaar nog steeds vrijwel ongewijzigd in fabrieken worden gebruikt bij massa productie. Je kunt wel zeggen dat ik iets weet van statistiek. Je kunt ook zeggen dat de verkrachting van getallen zoals ik de afgelopen maanden heb mogen waarnemen mij persoonlijk raakt. Ik sta hierin niet alleen: iedereen die ik ken met een solide statistische achtergrond loopt de rillingen over de rug bij het zien van de manier waarop het debat met verwrongen statistiek steeds verder gepolariseerd raakt.

Ik heb me de afgelopen maanden in het openbaar over het onderwerp vrijwel niet laten horen maar het is nu onderhand wel welletjes en hoog tijd om een duit in het zakje te doen. Al is het alleen maar om het gevoel te hebben dat ik de moeite heb genomen om de mensen om mij heen te voorzien van de broodnodige context rondom het woud van termen, getallen en schijnbaar halfslachtige maatregelen die de afgelopen maanden over ons zijn uitgestort. Ik ben van plan een serie van blogs te schrijven waarin ik deze context ga geven, waarvan dit de eerste is. Hopelijk brengt het relativering in een volledig overspannnen situatie en brengt het rust in een omgeving van onnodige angst.

De betrekkelijkheid van absolute getallen

Meetdata staat nooit op zichzelf. Zonder referentie is het waardeloos. Wanneer een wetenschapper een getal ziet dan vraagt hij zich als het goed is af hoe dat getal tot stand is gekomen. Wat was de meet methode? Hoe betrouwbaar is het meetinstrument? Hoe is het experiment opgezet? Wat waren de aannames rondom het experiment? Welke invloeden van buitenaf hebben een rol gespeeld? Kijk ik naar de ruwe data of is de data bewerkt en zo ja hoe? Hoe kan de gemeten data worden vergeleken met eerdere metingen en metingen die nog komen gaan? Al deze vragen horen gesteld te worden bij meetdata en een goed wetenschappelijk werk beantwoordt ook al deze vragen.

Recentelijk is het in de COVID-19 crisis gebruikelijk geworden dat met meetdata naar buiten wordt getreden. Op zich is dat een mooie ontwikkeling maar als deze data zonder de gebruikelijke referentie door de media worden opgepikt ontstaat er een basis voor verwarring en misinformatie omdat de data uit context is gehaald.

Een goed voorbeeld is het dagelijks publiceren van het aantal positieve PCR tests (vaak niet geheel terecht benoemd als 'nieuwe besmettingen') als een absoluut getal. Dat getal zegt op zichzelf helemaal niets als het niet vergezeld gaat van het aantal uitgevoerde tests; Als ik vandaag twee keer zo veel tests uitvoer als gisteren dan is het te verwachten dat ik in een stabiele situatie vandaag twee keer zo veel positieve testuitslagen ga vinden. Als ik daarentegen de helft van de tests uitvoer is te verwachten dat het aantal positieve tests halveert. Het aantal positieve PCR tests als absolute waarde is dus direct afhankelijk van het aantal uitgevoerde tests.

Om aan te geven hoe vertekenend dit kan zijn gaan we eens kijken naar de volgende grafiek: Bovenstaande grafiek laat duidelijk zien wat er aan de hand is: Sinds week 44 (eerste week van november) laat het relatief aantal besmettingen een gestaag dalende lijn zien. Er is geen sprake van een afvlakking, het geroemde effect van de herfstvakantie is nergens zichtbaar en er is al helemaal geen 'stagnatie van de daling in besmettingen' zoals door zowel de media als sommige leden van het OMT wordt beweerd. Met andere woorden, de ontwikkeling is precies zoals je zou verwachten van een besmettingsgolf die over zijn hoogtepunt heen is en iedereen die anders beweert op basis van de absolute cijfers zet zichzelf in mijn optiek wetenschappelijk gezien compleet voor gek. Dat een man als Kuipers zich verbaast over 'de hoge coronacijfers' zegt dus meer over zijn gebrek aan statistisch inzicht dan over het gedrag van het virus! Onze media zijn diep gezonken dat deze man met dit verhaal een podium krijgt zonder dat hem het vuur aan de schenen wordt gelegd. En op deze manier gaat mogelijk op basis van volledig betekenisloze cijfers de kerst aan veel mensen voorbij.

De boodschap is duidelijk: Zonder de referentie van het aantal uitgevoerde tests wordt het vergelijken van de huidige meetdata met die uit het verleden een onmogelijke zaak. Toch blijven onze media steevast het publiek bombarderen met absolute getallen. Dit is een vorm van bewuste of onbewuste misleiding en werkt angstverhogend.

Het gevaar van percentages

Jammer genoeg zijn we er nog niet met relatieve getallen. Aangezien het percentage positieve tests gedefineerd is als het aantal positieve tests gedeeld door het aantal uitgevoerde tests lijkt dit een eerlijkere representatie van de situatie. En hoewel een percentage in plaats van een absoluut getal al een grote verbetering is kun je ook bij zo'n percentage ernstige vraagtekens zetten.

De reden hiervoor is dat de groep waarop de tests worden uitgevoerd niet willekeurig is gekozen; Alleen mensen met klachten mogen zich melden voor een test. En van die groep, die dus in principe al verdacht is, kan ook nog eens een deel niet terecht vanwege het feit dat er te weinig test capaciteit voorhanden is. In de statistiek noemen we dit een 'biased sample' oftewel een 'bevooroordeelde bemonstering'. Het is bijna een doodzonde in de statistiek om op deze manier te werk te gaan en iedere statisticus kan je de gevaren hiervan vertellen.

Als je zicht wil hebben over hoe het virus zich verspreidt dien je de geteste groep willekeurig te kiezen. Je zult mensen moeten kiezen met en zonder klachten uit verschillende postcodegebieden en uit zowel dicht en dun bevolkte gebieden. Onder de huidige test condities kun je hooguit zeggen welk percentage van de mensen met verkoudheidsklachten een positieve PCR test hebben.

Resumerend kan de PCR test, zoals deze momenteel wordt uitgevoerd, op geen enkele manier worden terug geleid naar de verspreiding van het virus binnen de maatschappij. Het is mogelijk een nuttig tool om geïnfecteerde mensen vroegtijdig te detecteren en te isoleren en zelfs dat is de vraag zoals ik in mijn volgende blog uiteen zal zetten.

De PCR uitslagen zeggen weinig over de daadwerkelijke verspreiding van het virus. Het is dan ook vrij zinloos om dit dagelijks via de media aan het Nederlandse volk te melden, behalve als het de bedoeling is de angst er bij de bevolking goed in te houden. Voor dat laatste is het natuurlijk een uitstekend middel.

Bepaling van reproductiegetal vindt plaats op statistisch drijfzand

Bovengenoemde mankementen in het testbeleid is dan ook de reden dat het RIVM het aantal positieve PCR tests (terecht) niet gebruikt om het beruchte 'R-getal' te bepalen. Er is namelijk nog een manier om de verspreiding van het virus te meten en dat is middels het aantal ziekenhuis -of IC opnamen.

De aanname daarbij is dat het aantal ziekenhuis opnamen ongeacht het aantal beschikbare tests en de symptomen een stabiel percentage is van de totale besmette populatie. Het is daarmee een getal wat je van week tot week kunt vergelijken en waarmee je de groei van het virus kunt volgen. Het RIVM gebruikt het aantal ziekenhuis opnamen bij de bepaling van het reproductiegetal R.

Helaas is ook dat niet helemaal correct: Niet iedereen met COVID-19 wordt daadwerkelijk in het ziekenhuis opgenomen. Juist de ergste gevallen (die in de verpleegtehuizen) blijven bevoorbeeld compleet buiten beeld. Deze komen niet in het ziekenhuis of op de IC terecht en overlijden meestal in het verpleegtehuis. Ook hanteren ziekenhuizen een ander opname beleid afhankelijk van de drukte en de voorziene capaciteit. Daarmee heb je alweer een 'biased sample' gecreëerd en op deze manier heb je alweer geen goed beeld van de situatie. Ook het aantal ziekenhuis opnamen of IC opnamen is daarmee statistisch gezien geen bruikbaar getal.

De dood is het enige betrouwbare cijfer

Om verantwoorde statistische analyses uit te voeren blijft er dan ook maar 1 mogelijkheid over en dat is gebruik maken van de CBS 'oversterfte' data. Uiteraard zitten daar ook overledenen in die geen COVID-19 hebben gehad maar bij voldoende COVID-19 gerelateerde sterfgevallen zijn deze statistisch gezien verwaarloosbaar en deze data heeft geen last van veranderend testbeleid, drukte in ziekenhuizen, leeftijdsgerelateerde uitsluiting en andere 'bias' van je test sample.

Hoe wrang ook: De dood maakt geen verschil en laat zich niet beïnvloeden door politiek en media en daarmee is deze data de meest betrouwbare die ons ter beschikking staat voor een statistische analyse. Daarom zal ik in in de komende blogs in mijn analyses altijd uitgaan van de sterftedata om de analyses uit te voeren.

Het RIVM weet dit ook wel en zal ongetwijfeld ook deze data gebruiken. Helaas zit er een groot nadeel aan de data: veranderingen in het verloop van het virus zie je pas het laatste in deze data terug en als instrument om vroegtijdig in te spelen op verspreiding van het virus is het dus van beperkt nut.

Lastige keuze

Daarmee zit onze regering in een lastige spagaat: Uitgaan van data die vroeg beschikbaar is maar aan alle kanten statistisch rammelt of uitgaan van data die een nauwkeurig beeld geeft maar die eigenlijk te laat komt om de zaak nog bij te sturen. Het lijkt logisch om het grootste probleem van de PCR test op te lossen en de tests niet langer los te laten op alleen de groep met klachten. Zoals gezegd zou een keuze van willekeurige testkandidaten over verschillende postcodegebieden de 'bias' van de testsample wegnemen en vroegtijdig statistisch bruikbare resultaten kunnen opleveren. Er is echter een hele goede reden waarom dat niet wordt gedaan. In mijn volgende blog zal ik daar verder op ingaan.

De rol van de media

Ik wil me hier graag ook even richten tot onze media: Het is uw taak juiste en geverifieerde berichtgeving te verzorgen naar de Nederlandse maatschappij. U faalt daar jammelijk in. U dient voldoende te fact-checken en, indien u daar niet toe in staat bent, de benodigde kennis hiervoor te halen van onafhankelijke experts. Overduidelijk bent u niet in staat de situatie op een evenwichtige wijze in beeld te brengen en u bent verantwoordelijk voor het verspreiden van angst en onzekerheid in onze maatschappij. U gedraagt zich onverantwoordelijk en bent op dit onderwerp vergelijkbaar met de eerste de beste amateurblog en roddelkrant waar u zich zo graag tegen af zet! Ik adviseer u om geen absolute cijfers meer te publiceren en zelfs voorzichtig om te gaan met relatieve getallen. Verdiep u in de materie voordat u komt met het volgende onzin-artikel!

Conclusie

Tekenend is dat er niet eens 1 statisticus in het OMT zit terwijl dat naar mijn idee juist een vast lid zou moeten zijn. Als ik een advies zou mogen geven aan onze overheid dan is dat dit: Verwijder 3 artsen uit het vaste OMT team en vervang deze door een statisticus, een wiskundige en een psycholoog om een beter gebalanceerde aanpak te krijgen!