Bijlage 3: Criteria voor de beoordeling van validiteit
Om de waarde van de uitslag van een bepaald onderzoek te
kunnen bepalen is er een meetlat nodig. Daarvoor zijn een aantal numerieke
waarden van de bevindingen nodig:
-
Wat was
de exacte waarde van het gevonden verband?
In de
epidemiologie wordt gezocht naar het Relatief Risico (RR) dat een bepaald gedrag
met zich meebrengt. Simpel gezegd betekent dit dat gekeken wordt naar de
verhouding tussen mensen die ziek worden in de groep mét het gedrag en in de
groep zónder dat gedrag. Ligt die verhouding boven een waarde van 1 dan is er
een verhoogd risico, ligt die verhouding onder de 1 dan spreken we van een
verlaagd risico
Net als bij
snelheidscontroles wordt er een marge aangehouden om te bepalen of die verhoogde
waarde wel betrouwbaar is. Immers, net als bij snelheidsmeters, kunnen er
onnauwkeurigheden zijn in de meetapparatuur of in de manier van kijken naar het
probleem, c.q. snelheid. In de epidemiologie kan dit bijvoorbeeld betekenen dat,
hoewel er een verhoogd risico is aangetoond, dit te wijten kan zijn aan het feit
dat er andere factoren meespelen. Denk aan het bekende voorbeeld "waar veel
ooievaars zijn worden veel baby's geboren". Als je niet gemeten hebt of er op de
plaats waar veel ooievaars zijn er relatief erg veel jonge gezinnen zijn, dan
ontgaat je het eigenlijke verband.
Vandaar dat
diverse organisaties die actief zijn op het gebied van epidemiologisch onderzoek
een aantal
vuistregels hebben opgesteld om te bepalen of een bepaald gevonden verband wel
betrouwbaar is.
Algemeen
wordt door deze geleerden aangenomen dat slechts een RR met een waarde groter
dan 2 betrouwbaar is.
-
Wat was
het betrouwbaarheidsinterval van die waarde?
 In de
statistiek bestaan exacte getallen niet. Het is altijd een waarschijnlijkheid.
Dat geldt ook voor de RR. Voor een RR kan alleen met een bepaalde zekerheid
vastgesteld worden dat deze waarde ergens tussen een onder- en bovengrens ligt,
het Confidence Interval (CI). Meestal wordt daarvoor een 95% zekerheid
genomen. De CI geeft dus het gebied aan waarvan met 95% zekerheid gezegd kan
worden dat de werkelijke waarde daarin ligt.
In de nevenstaande grafiek zijn een drietal soorten
onderzoeken grafisch weergegeven. CI 1, welke zowel in zijn geheel onder de RR
van 2 ligt en een ondergrens heeft die onder de 1 ligt is zowel onbetrouwbaar
als statistisch significant. CI 2 is onbetrouwbaar maar statistisch significant
en alleen CI 3 geeft een valide onderzoek aan.
In de
statistiek geldt dat een CI waarvan de ondergrens onder de 1 ligt, statistisch
niet significant is.
Pas als we
iedere Nederlander in een onderzoek zouden betrekken zouden we de exacte RR
(voor dat tijdstip) kunnen bepalen. Dat is uiteraard ondoenlijk. Vandaar dat een
onderzoek altijd maar op een gering aantal personen, de steekproef, wordt
uitgevoerd.
Hoe
groter de steekproef, hoe betrouwbaarder de resultaten.
Wie
financierde het onderzoek? Het grootste gedeelte van de onderzoeken op het
gebied van roken en meeroken werd/wordt gefinancierd door belanghebbenden
(producenten van nicotine ontwenningsmiddelen en onderzoekers die erg
afhankelijk zijn van de beschikbare fondsen uit tabaksgelden). De onderzoeken en
initiatieven van de tabaksindustrie worden om deze zelfde reden ook niet meer
vertrouwd.
N.B.
Vanaf 1992 is door de farmaceutische industrie meer dan een miljard dollar
uitgetrokken voor anti-roken research.
De
oorspronkelijke gegevens, eindresultaten en gebruikte technieken (programmatuur)
moeten voor iedere belangstellende toegankelijk zijn.
Welke van
de duizenden mogelijke co-factoren werden in het onderzoek betrokken? Minimaal
zouden de factoren uit Bijlage 1 als controlerende factoren meegenomen moeten
zijn.
-
Aangetoonde Dosis-respons relatie
Hoe meer
blootstelling, hoe groter de relatieve kans op een oorzaak gerelateerde ziekte.
Als dit niet aan te tonen is, kan het effect ook door andere, onbekende factoren
veroorzaakt zijn. Deze relatie valt af te leiden uit de verstrekte P-waarde.
-
Toxicologische bevestiging
Wanneer een
verband tussen oorzaak en gevolg volgens eigen zeggen van de onderzoekers
causaal aanwezig is, moet dit uit toxicologisch onderzoek blijken. Er is slechts
weinig onderzoek naar de toxicologische effecten van omgevingsrook gedaan (o.a.
Oak Ridge National Laboratory, 1998) en de uitslagen van deze onderzoeken lijken
de gevonden epidemiologische conclusies niet te ondersteunen.
Deze
analysevorm, waarbij oude onderzoeken worden gecombineerd, zijn erg discutabel
omdat de samenstellende onderzoeken qua uitgangspunten en meegenomen co-factoren
zeer divers zijn. Bovendien biedt het de mogelijkheid te ‘cherry-picken’, de
krenten uit de pap halen. Dit is wat volgens een rechter ook bij het eerste
grootscheepse meeroken-onderzoek door de Amerikaanse EPA is gebeurd. De
resultaten zijn dan ‘opgekrikt’ in de gewenste richting.
Op Internet zijn de meeste van de met betrekking tot de
relatie tussen meeroken en longkanker uitgevoerde onderzoeken met haar kenmerken
te vinden. Ter gelegenheid van Wereld Rokersdag verzamelde Forces al die
resultaten in een eenvoudige grafiek en legde daar de bovenstaande drie criteria
langs. Nog geen 10% van de onderzoeken met daarin nog geen 2% van het totale
aantal onderzochte personen kan daarbij als overtuigend worden aangemerkt.
Opmerkingen:
- De relevante
blauwe gevallen zijn uit het WHO/IARC onderzoek van 1998, waarbij de RR het
verband tussen levenslang meeroken en longkanker aangeeft, een situatie
die tegenwoordig nauwelijks meer voorkomt.
- De rode
gevallen gebruikten een CI van 90%. Dit levert per definitie een kleiner
interval op tussen de ondergrens en bovengrens. De kans is erg groot dat bij een
95% keuze ook deze gevallen een ondergrens beneden de 1 zouden opleveren en dus
in het bovenste, niet significante deel van de grafiek terecht zouden komen.
| 
Zend
deze pagina naar een vriend