Onderzoek: Evaluatie van de meta-analyse van Shang (2005) door Hahn (2013) en Lüdtke (2008)
Onderzoek: Evaluatie van de meta-analyse van Shang (2005) door Hahn (2013) en Lüdtke (2008)
We bespreken hier de meta-analyse van Shang (2005), die concludeerde dat ‘de klinische effecten van homeopathie placebo-effecten zijn’. Uit de evaluatie van Lüdtke (2008) en Hahn (2013) blijkt dat de meta-analyse van Shang kritiekpunten kent. Hahnh concludeert dat ‘klinische onderzoeken aantonen dat homeopathische middelen vaak superieur zijn aan placebo’. Niveau van bewijs: I.
Shang (2005): placebo-effecten homeopathie
De systematische review en meta-analyse van Shang (2005) omvat een statistische vergelijking tussen een uitgekiende selectie van 6 respectievelijk 8 uit 110 gerandomiseerde klinische studies (RCT’s) van regulier en homeopathisch onderzoek. De onderzoekers vonden: ‘Er was zwak bewijs voor een specifiek effect van homeopathische middelen, maar sterk bewijs voor specifieke effecten van conventionele interventies. (…) Deze bevinding is verenigbaar met het idee dat de klinische effecten van homeopathie placebo-effecten zijn.’
Lüdtke en Rutten (2008) bekritiseren onderzoek Shang
De selectie van studies waarop deze uitspraak was gebaseerd, werden bij publicatie niet nader gespecificeerd. Dit is in strijd met de regels voor het publiceren van reviews en meta-analyses (QUORUM). Toen na vier maanden de informatie alsnog werd vrijgegeven, bleek dat de selecties van homeopathische en reguliere onderzoeken niet vergelijkbaar waren. De conclusies waren sterk afhankelijk van de gekozen selectie. De uitkomst bleek lang niet zo stellig als de auteurs deden voorkomen, zo kwamen onderzoekers, Lüdtke, Rutten en Hahn in twee verschillende, onafhankelijk van elkaar uitgevoerde meta-analyses tot de conclusie (Lüdtke 2008) (Hahn 2013). Lüdtke en Rutten concludeerden dat de negatieve uitkomst van Shangs analyse gebaseerd was op het toekennen van expliciet veel waarde aan een enkele studie (van de 110). Als die studie een andere weging zou krijgen in de analyse dan zouden de uitkomsten anders zijn.
Hahn (2013): ‘homeopathie vaak superieur aan placebo’
De invloed van strenge, vergaande selectie, die het merendeel van het onderzoek uitsluit (een vaak gevolgde procedure bij meta-analyses, zoals bij Shang 2005), werd becommentarieerd door de Zweedse onafhankelijke onderzoeker Robert Hahn. Hij zag dat onderzoekers steeds verschillende criteria gebruikten om onderzoeken in- of uit te sluiten bij een meta-analyse. Daardoor kon de uitkomst over (oorspronkelijk) dezelfde set studies steeds verschillend uitpakken. De ‘overall’ conclusies over homeopathie waren soms gebaseerd op slechts enkele (heterogene) studies. Over de meta-analyse van Shang schreef hij: ‘To conclude that homeopathy lacks clinical effect, more than 90% of the available clinical trials had to be disregarded.’ Hahn concludeerde zelf: ‘Clinical trials of homeopathic remedies show that they are most often superior to placebo.’
Bronnen
Niveau van bewijs: I
Een meta-analyse is een optelsom van uitkomsten van een aantal te beoordelen onderzoeken, waarbij de uitkomsten gezamenlijk, als totaliteit worden geanalyseerd. Een systematische review is een systematisch overzicht van onderzoeken over een bepaald onderwerp. In de hiërarchie van Evidence Based Medicine is een positieve uitkomst bij een systematische review of meta-analyse van placebo-gecontroleerde trials de hoogste vorm van ‘bewijs’. De uitkomst hiervan levert robuust wetenschappelijk bewijs voor een bepaalde behandeling. Het effect van homeopathische middelen bij allerlei indicaties is onderzocht met diverse meta-analyses en systematische reviews. De meeste meta-analyses van placebo-gecontroleerde homeopathische studies toonden aan dat het klinisch effect van homeopathische middelen niet uitsluitend was toe te schrijven aan het placebo-effect.