Net als bij snelheidscontroles wordt er een marge aangehouden om te bepalen of die verhoogde waarde wel betrouwbaar is. Immers, net als bij snelheidsmeters, kunnen er onnauwkeurigheden zijn in de meetapparatuur of in de manier van kijken naar het probleem, c.q. snelheid. In de epidemiologie kan dit bijvoorbeeld betekenen dat, hoewel er een verhoogd risico is aangetoond, dit te wijten kan zijn aan het feit dat er andere factoren meespelen. Denk aan het bekende voorbeeld “waar veel ooievaars zijn worden veel baby’s geboren”. Als je niet gemeten hebt of er op de plaats waar veel ooievaars zijn er relatief erg veel jonge gezinnen zijn, dan ontgaat je het eigenlijke verband.
Vandaar dat diverse organisaties die actief zijn op het gebied van epidemiologisch onderzoek een aantal vuistregels hebben opgesteld om te bepalen of een bepaald gevonden verband wel betrouwbaar is.
Algemeen wordt door deze geleerden aangenomen dat slechts een RR met een waarde groter dan 2 betrouwbaar is.
- Wat was het betrouwbaarheidsinterval van die waarde?
In de statistiek bestaan exacte getallen niet. Het is altijd een waarschijnlijkheid. Dat geldt ook voor de RR. Voor een RR kan alleen met een bepaalde zekerheid vastgesteld worden dat deze waarde ergens tussen een onder- en bovengrens ligt, het Confidence Interval (CI). Meestal wordt daarvoor een 95% zekerheid genomen. De CI geeft dus het gebied aan waarvan met 95% zekerheid gezegd kan worden dat de werkelijke waarde daarin ligt.
In de nevenstaande grafiek zijn een drietal soorten onderzoeken grafisch weergegeven. CI 1, welke zowel in zijn geheel onder de RR van 2 ligt en een ondergrens heeft die onder de 1 ligt is zowel onbetrouwbaar als statistisch significant. CI 2 is onbetrouwbaar maar statistisch significant en alleen CI 3 geeft een valide onderzoek aan.
In de statistiek geldt dat een CI waarvan de ondergrens onder de 1 ligt, statistisch niet significant is.
- Steekproefgrootte
Pas als we iedere Nederlander in een onderzoek zouden betrekken zouden we de exacte RR (voor dat tijdstip) kunnen bepalen. Dat is uiteraard ondoenlijk. Vandaar dat een onderzoek altijd maar op een gering aantal personen, de steekproef, wordt uitgevoerd.
Hoe groter de steekproef, hoe betrouwbaarder de resultaten.
- Objectiviteit
Wie financierde het onderzoek? Het grootste gedeelte van de onderzoeken op het gebied van roken en meeroken werd/wordt gefinancierd door belanghebbenden (producenten van nicotine ontwenningsmiddelen en onderzoekers die erg afhankelijk zijn van de beschikbare fondsen uit tabaksgelden). De onderzoeken en initiatieven van de tabaksindustrie worden om deze zelfde reden ook niet meer vertrouwd.
N.B. Vanaf 1992 is door farmaceutische industrie meer dan een miljard dollar uitgetrokken voor anti-roken research.
- Traceerbaarheid
De oorspronkelijke gegevens, eindresultaten en gebruikte technieken (programmatuur) moeten voor iedere belangstellende toegankelijk zijn.
- Co-factoren
Welke van de duizenden mogelijke co-factoren werden in het onderzoek betrokken? Minimaal zouden de factoren uit Bijlage 1 als controlerende factoren meegenomen moeten zijn.
- Aangetoonde Dosis-respons relatie
Hoe meer blootstelling, hoe groter de relatieve kans op een oorzaak gerelateerde ziekte. Als dit niet aan te tonen is, kan het effect ook door andere, onbekende factoren veroorzaakt zijn. Deze relatie valt af te leiden uit de verstrekte P-waarde.
- Toxicologische bevestiging
Wanneer een verband tussen oorzaak en gevolg volgens eigen zeggen van de onderzoekers causaal aanwezig is, moet dit uit toxicologisch onderzoek blijken. Er is slechts weinig onderzoek naar de toxicologische effecten van omgevingsrook gedaan (o.a. Oak Ridge National Laboratory, 1998) en de uitslagen van deze onderzoeken lijken de gevonden epidemiologische conclusies niet te ondersteunen.
- Meta-analyses
Deze analysevorm, waarbij oude onderzoeken worden gecombineerd, zijn erg discutabel omdat de samenstellende onderzoeken qua uitgangspunten en meegenomen co-factoren zeer divers kunnen zijn. Bovendien biedt het de mogelijkheid te ‘cherry-picken’, de krenten uit de pap halen. Dit is wat volgens een rechter ook bij het eerste grootscheepse meeroken-onderzoek door de Amerikaanse EPA is gebeurd. De resultaten zijn dan ‘opgekrikt’ in de gewenste richting.
Op Internet zijn de meeste van de met betrekking tot de relatie tussen meeroken en longkanker uitgevoerde onderzoeken met haar kenmerken te vinden. Ter gelegenheid van Wereld Rokersdag verzamelde Forces al die resultaten in een eenvoudige grafiek en legde daar de bovenstaande drie criteria langs. Nog geen 10% van de onderzoeken met daarin nog geen 2% van het totale aantal onderzochte personen kan daarbij als overtuigend worden aangemerkt.
| Percentage van onderzoeken |
Percentage onderzochte personen |
|
|---|---|---|
 |
3.8% | 17.1% |
| 67.9% | 74.8% | |
| 18.9% | 6.3% | |
| 9.4% | 1.8% | |
Opmerkingen:
- De relevante blauwe gevallen zijn uit het WHO/IARC onderzoek van 1998, waarbij de RR het verband tussen levenslang meeroken en longkanker aangeeft, een situatie die tegenwoordig nauwelijks meer voorkomt.
- De rode gevallen gebruikten een CI van 90%. Dit levert per definitie een kleiner interval op tussen de ondergrens en bovengrens. De kans is erg groot dat bij een 95% keuze ook deze gevallen een ondergrens beneden de 1 zouden opleveren en dus in het bovenste, niet significante deel van de grafiek terecht zouden komen.
