Abstract
Background
Decision analyses of drug treatments in chronic diseases require modeling the progression of disease and treatment response beyond the time horizon of clinical or epidemiological studies. In many such models, progression and drug effect have been applied uniformly to all patients; heterogeneity in progression, including pharmacogenomic effects, has been ignored.
Objective
We sought to systematically evaluate the existence, direction and relative magnitude of a pharmacogenomics bias (PGX-Bias) resulting from failure to adjust for genetic heterogeneity in both treatment response (HT) and heterogeneity in progression of disease (HP) in decision-analytic studies based on clinical study data.
Methods
We performed a systematic literature search in electronic databases for studies regarding the effect of genetic heterogeneity on the validity of study results. Included studies have been summarized in evidence tables.
In the case of lacking evidence from published studies we sought to perform our own simulation considering both HT and HP. We constructed two simple Markov models with three basic health states (early-stage disease, late-stage disease, dead), one adjusting and the other not adjusting for genetic heterogeneity. Adjustment was done by creating different disease states for presence (G+) and absence (G-) of a dichotomous genetic factor. We compared the life expectancy gains attributable to treatment resulting from both models and defined pharmacogenomics bias as percent deviation of treatment-related life expectancy gains in the unadjusted model from those in the adjusted model. We calculated the bias as a function of underlying model parameters to create generic results.
We then applied our model to lipid-lowering therapy with pravastatin in patients with coronary atherosclerosis, incorporating the influence of two TaqIB polymorphism variants (B1 and B2) on progression and drug efficacy as reported in the DNA substudy of the REGRESS trial.
Results
We found four studies that systematically evaluated heterogeneity bias. All of them indicated that there is a potential of heterogeneity bias. However, none of these studies explicitly investigated the effect of genetic heterogeneity. Therefore, we performed our own simulation study.
Our generic simulation showed that a purely HT-related bias is negative (conservative) and a purely HP-related bias is positive (liberal). For many typical scenarios, the absolute bias is smaller than 10%. In case of joint HP and HT, the overall bias is likely triggered by the HP component and reaches positive values >100% if fractions of „fast progressors" and „strong treatment responders" are low.
In the clinical example with pravastatin therapy, the unadjusted model overestimated the true life-years gained (LYG) by 5.5% (1.07 LYG vs. 0.99 LYG for 56-year-old men).
Conclusions
We have been able to predict the pharmacogenomics bias jointly caused by heterogeneity in progression of disease and heterogeneity in treatment response as a function of characteristics of patients, chronic disease, and treatment. In the case of joint presence of both types of heterogeneity, models ignoring this heterogeneity may generate results that overestimate the treatment benefit.
Abstract
Hintergrund
Pharmakogenomik ist die Wissenschaft, die sich mit germinalen genetischen Variationen und mit deren Einfluss auf das Antwortverhalten auf pharmakologische Substanzen beschäftigt.
In Entscheidungsanalysen zu Arzneimitteltherapien chronischer Erkrankungen müssen die Krankheitsprogression und Behandlungsresponse über den Zeithorizont klinischer oder epidemiologischer Studien hinaus modelliert werden. In vielen dieser Modelle wurde die Progression und Arzneimitteleffekt uniform für alle Patienten angesetzt und eine Heterogenität in der Progression und pharmakogenomische Effekte wurden häufig nicht berücksichtigt.
Ziel
Ziel dieses HTA-Berichts ist eine systematische Evaluation des Pharmacogenomics-Bias (PGX-Bias). Insbesondere sollen Existenz, Richtung und Größe einer Verzerrung in entscheidungsanalytischen Modellierungen basierend auf klinischen Studien bewertet werden.
Methoden
Es wurde eine systematische Literaturrecherche in den einschlägigen Datenbanken zum Einfluss genetischer Heterogenität auf die Validität von Studienergebnissen bzw. das Vorliegen eines PGX-Bias durchgeführt. Die eingeschlossenen Studien wurden in systematischen Kurzbeschreibungen und Evidenztabellen zusammengefasst.
Zur validen Untersuchung eines PGX-Bias sollte bei Mangel an publizierten Studienergebnissen eine eigene entscheidungsanalytische Simulation durchgeführt werden, die sowohl die genetisch bedingte Heterogenität in der natürlichen Krankheitsprogression (HP) als auch die genetische bedingte Heterogenität in der Behandlungswirksamkeit (HW) untersucht. Es wurden zwei einfache Markov-Modelle entwickelt, von denen eines für die genetische Heterogenität adjustiert und das andere nicht. Der PGX-Bias wurde als prozentuale Abweichung der behandlungsbedingten zusätzlichen Lebensjahre (LYG) im nicht-adjustierten Modell vom adjustierten Modell definiert.
In einem klinischen Beispiel wurde der PGX-Bias für die lipidsenkende Therapie mit Pravastin bei Patienten mit koronarer Atherosklerose ermittelt und dazu der Einfluss des TaqIB-Polymorphismus auf die Progression und Behandlungswahrscheinlichkeit basierend auf den Ergebnissen der REGRESS-DNA-Substudie ins Modell integriert.
Ergebnisse
Es wurden vier publizierte Studien identifiziert, die sich systematisch mit einem Heterogenitätsbias beschäftigen. Alle vier Studien deuten übereinstimmend auf das Potenzial eines Heterogenitätsbias hin, jedoch untersuchte keine dieser Studien explizit den Effekt von genetischer Heterogenität. Aus diesem Grund erfolgte eine eigene Simulationsstudie für diese Fragestellung.
Die im Rahmen dieses HTA-Berichts eigens durchgeführte Simulation zeigt, dass ein rein HW-basierter Bias negativ (konservativ) ist und ein rein HP-basierter Bias positiv (liberal) ist. Für viele typische Szenarien ist der PGX-Bias kleiner als 10%. Im Fall einer kombinierten Heterogenität (HP und HW), ist es wahrscheinlich, dass der Gesamtbias durch die HP-Komponente bestimmt wird. Der PGX-Bias erreicht positive Werte von über 100%, wenn der Anteil der schnell progredierenden Patienten und starken Behandlungsrespondern niedrig ist.
Im klinischen KHK-Beispiel (KHK=Koronare Herzkrankheit) mit Pravastinbehandlung überschätzte das nicht-adjustierte Modell den wahren Effekt der Pravastatinbehandlung in gewonnenen Lebensjahren um + 5,5% (1,07 LYG vs. 0,99 LYG für 56 Jahre alte Männer).
Schlussfolgerungen
In diesem HTA-Bericht konnte der PGX-Bias, der durch die Heterogenität in der Behandlungswahrscheinlichkeit und die Heterogenität in der Progression verursacht ist, als Funktion der Charakteristika von Patienten, chronischer Krankheit und Therapie dargestellt werden. Liegen beide Heterogenitätskomponenten vor, was in den meisten realistischen Situationen der Fall sein wird, so führt die Nichtberücksichtigung dieser Heterogenität zur Überschätzung des Behandlungseffekts.
Executive Summary
1. Background
Decision analyses of drug treatments in chronic diseases require modeling the progression of disease and treatment response beyond the time horizon of clinical or epidemiological studies. In many such models, progression and drug effect have been applied uniformly to all patients; heterogeneity in progression, including pharmacogenomic effects, has been ignored.
2. Objective
We sought to systematically evaluate the existence, direction and relative magnitude of a pharmacogenomics bias (PGX-Bias) resulting from failure to adjust for genetic heterogeneity in both treatment response (HT) and heterogeneity in progression of disease (HP) in decision-analytic studies based on clinical study data.
3. Methods
We performed a systematic literature search in electronic databases for studies regarding the effect of genetic heterogeneity on the validity of study results. Included studies have been summarized in evidence tables.
In the case of lacking evidence from published studies we sought to perform our own simulation considering both HT and HP. We constructed two simple Markov models with three basic health states (early-stage disease, late-stage disease, dead), one adjusting and the other not adjusting for genetic heterogeneity. Adjustment was done by creating different disease states for presence (G+) and absence (G-) of a dichotomous genetic factor. We compared the life expectancy gains attributable to treatment resulting from both models and defined pharmacogenomics bias as percent deviation of treatment-related life expectancy gains in the unadjusted model from those in the adjusted model. We calculated the bias as a function of underlying model parameters to create generic results.
We then applied our model to lipid-lowering therapy with pravastatin in patients with coronary atherosclerosis, incorporating the influence of two TaqIB polymorphism variants (B1 and B2) on progression and drug efficacy as reported in the DNA substudy of the REGRESS trial.
4. Results
We found four studies that systematically evaluated heterogeneity bias. All of them indicated that there is a potential of heterogeneity bias. However, none of these studies explicitly investigated the effect of genetic heterogeneity. Therefore we performed our own simulation study.
Our generic simulation showed that a purely HT-related bias is negative (conservative) and a purely HP-related bias is positive (liberal). For many typical scenarios, the absolute bias is smaller than 10%. In case of joint HP and HT, the overall bias is likely triggered by the HP component and reaches positive values >100% if fractions of „fast progressors" and „strong treatment responders" are low.
In the clinical example with pravastatin therapy, the unadjusted model overestimated the true life-years gained (LYG) by 5.5% (1.07 LYG vs. 0.99 LYG for 56-year-old men).
5. Conclusions
We have been able to predict the pharmacogenomics bias jointly caused by heterogeneity in progression of disease and heterogeneity in treatment response as a function of characteristics of patients, chronic disease, and treatment. In the case of joint presence of both types of heterogeneity, models ignoring this heterogeneity may generate results that overestimate the treatment benefit.
References
- 1. Kuntz KM, Goldie SJ. Assessing the sensitivity of decision-analytic results to unobserved markers of risk: defining the effects of heterogeneity bias. Medical Decision Making. 2002;22(3):218–227. doi: 10.1177/0272989X0202200310. [DOI] [PubMed] [Google Scholar]
- 2. Goldie SJ, Kuntz KM. A potential error in evaluating cancer screening: a comparison of 2 approaches for modeling underlying disease progression. Medical Decision Making. 2003;23(3):232–241. doi: 10.1177/0272989X03023003005. [DOI] [PubMed] [Google Scholar]
- 3. Zaric GS. The impact of ignoring population heterogeneity when Markov models are used in cost-effectiveness analysis. Medical Decision Making. 2003;23(5):379–396. doi: 10.1177/0272989X03256883. [DOI] [PubMed] [Google Scholar]
- 4. Steyerberg EW, Eijkemans MJ. Heterogeneity bias: the difference between adjusted and unadjusted effects [comment] Medical Decision Making. 2004;24(1):102–104. doi: 10.1177/0272989X03262285. [DOI] [PubMed] [Google Scholar]