Kombinatorisk metaanalys
Kombinatorisk metaanalys (CMA) är studiet av beteendet hos statistiska egenskaper hos kombinationer av studier från en metaanalytisk datauppsättning (vanligtvis inom samhällsvetenskaplig forskning). I en artikel som utvecklar begreppet "gravitation" i samband med metaanalys, föreslog Dr. Travis Gee att jackknife-metoderna som tillämpas på metaanalys i den artikeln skulle kunna utvidgas till att undersöka alla möjliga kombinationer av studier (där det är praktiskt) eller slumpmässiga undergrupper av studier (där situationens kombinatorik gjorde det beräkningsmässigt omöjligt).
Begrepp
I den ursprungliga artikeln kombineras k objekt (studier) k -1 åt gången ( jackknife estimation ), vilket resulterar i k uppskattningar. Det observeras att detta är ett specialfall av den mer generella metoden för CMA som beräknar resultat för k studier tagna 1, 2, 3 ... k − 1, k åt gången.
Där det är beräkningsmässigt möjligt att erhålla alla möjliga kombinationer, kallas den resulterande fördelningen av statistik "exakt CMA". Där antalet möjliga kombinationer är oöverkomligt stort, kallas det "ungefärlig CMA".
CMA gör det möjligt att studera det relativa beteendet hos olika statistik under kombinatoriska förhållanden. Detta skiljer sig från standardmetoden i metaanalys att använda en enda metod och beräkna ett enda resultat, och tillåter betydande triangulering att ske genom att beräkna olika index för varje kombination och undersöka om de alla berättar samma historia.
Implikationer
En implikation av detta är att där flera slumpmässiga intercepts existerar, kommer heterogeniteten inom vissa kombinationer att minimeras. CMA kan alltså användas som en datautvinningsmetod för att identifiera antalet intercepts som kan finnas i datasetet genom att titta på vilka studier som ingår i de lokala minima som kan erhållas genom rekombination.
En ytterligare implikation av detta är att argument om inkludering eller uteslutning av studier kan vara omtvistade när fördelningen av alla möjliga resultat beaktas. Ett användbart verktyg utvecklat av Dr. Gee (referens kommer när det publiceras) är "PPES"-plotten (står för "Probability of Positive Effect Size", förutsatt att skillnaderna skalas så att större i positiv riktning önskas). För varje delmängd av kombinationer, där studier tas j = 1, 2, ... k − 1, k åt gången, tas andelen resultat som visar en positiv effektstorlek (antingen WMD eller SMD kommer att fungera), och detta är plottat mot j . Detta kan anpassas till en "PMES"-plot (som står för "Probability of Minimal Effect Size"), där andelen studier som överskrider någon minimal effektstorlek (t.ex. SMD = 0,10) tas för varje värde på j = 1 , 2 , ... k − 1, k . Där en tydlig effekt är närvarande, bör detta diagram asymptote till nära 1,0 ganska snabbt. Med detta är det då möjligt att till exempel tvister om inkludering eller uteslutning av två eller tre studier av ett dussin eller fler kan ramas in i sammanhanget av en plot som visar en tydlig effekt för vilken kombination av 7 eller fler som helst . studier.
Det är också möjligt att genom CMA undersöka sambandet mellan kovariater och effektstorlekar. Till exempel, om industrifinansiering misstänks vara en källa till partiskhet, kan andelen studier i en given delmängd som finansierades av industrin beräknas och plottas direkt mot uppskattningen av effektstorleken. Om medelåldern i de olika studierna i sig var ganska varierande, så kan medelvärdet av dessa medelvärden över studier i en given kombination erhållas och på liknande sätt plottas.
Genomföranden
Dr Gees originalprogramvara för att utföra jackknife och kombinatorisk metaanalys baserades på äldre metaanalytiska makron skrivna i SAS programmeringsspråk. Det var grunden för en rapport inom området artritbehandling. Även om denna programvara delades med kollegor informellt, publicerades den inte. En senare metaanalys tillämpade konceptet i samband med behandlingen av diarré.
En jackknife-metod tillämpades på metaanalytisk data några år senare, men det verkar inte som om specialiserad programvara utvecklats för uppgiften. Andra kommentatorer har också efterlyst relaterade metoder, uppenbarligen omedvetna om originalverket. Nyare arbete av ett mjukvaruporteringsteam vid Brown University har implementerat konceptet i STATA.
Begränsningar
CMA löser inte metaanalysens problem med "skräp in, skräp ut." Men när en klass av studier anses vara skräp av en kritiker, erbjuder den ett sätt att undersöka i vilken utsträckning dessa studier kan ha förändrat ett resultat. På samma sätt erbjuder den ingen direkt lösning på problemet med vilken metod man ska välja för kombination eller viktning. Vad den erbjuder, som nämnts ovan, är triangulering, där överensstämmelse mellan metoder kan uppnås, och oenighet mellan metoder som förstås över hela spektrumet av möjliga kombinationer av studier.