Table 3.
Study Quality Appraisal: Mixed Methods Appraisal Tool
| Qualitative design (n = 33) | ||||||||
|---|---|---|---|---|---|---|---|---|
| Study | Clear research questions | Enough data allow to address the research questions | Appropriate qualitative approach | Adequate qualitative data collection methods | Findings adequately derived from the data | Interpretation of results sufficiently substantiated by data | Coherence between data sources, collection, analysis, and interpretation | Percentage of items meeting the criteria |
| Ferrell et al (1991)31 | Y | Y | Y | Y | Y | Y | Y | 100% |
| Ferrell et al (1991)58 | Y | Y | Y | Y | Y | Y | Y | 100% |
| Mazanec and Bartel (2002)35 | N | NA | NA | NA | Y | Y | Y | 43% |
| Schumacher et al (2002)53 | Y | Y | Y | Y | Y | Y | Y | 100% |
| Murray et al (2003)62 | N | NA | NA | NA | Y | Y | Y | 43% |
| Kimberlin et al (2004)39 | Y | Y | Y | Y | Y | Y | Y | 100% |
| Oldham and Kristjanson (2004)54 | Y | Y | Y | Y | Y | Y | Y | 100% |
| Terry et al (2006)65 | Y | Y | Y | Y | Y | Y | Y | 100% |
| Lau et al (2009)22 | Y | Y | Y | Y | Y | Y | Y | 100% |
| Mehta et al (2010)16 | Y | Y | Y | Y | Y | Y | Y | 100% |
| Mehta et al (2010)66 | Y | Y | Y | Y | Y | Y | Y | 100% |
| Mehta et al (2011)41 | Y | Y | Y | Y | Y | Y | Y | 100% |
| Richards et al (2011)79 | N | NA | NA | NA | Y | Y | Y | 43% |
| Burton and Zeppetella (2011)52 | Y | Y | Y | Y | Y | Y | Y | 100% |
| Baldwin (2013)42 | N | NA | NA | NA | Y | Y | Y | 43% |
| Parker Oliver et al (2013)24 | Y | Y | Y | Y | Y | Y | Y | 100% |
| Reddy et al (2013)67 | Y | Y | Y | N | Y | Y | Y | 86% |
| Kelley et al (2013)7 | Y | Y | Y | Y | Y | Y | Y | 100% |
| McPherson et al (2013)17 | Y | Y | Y | Y | Y | Y | Y | 100% |
| McPherson et al (2014)50 | Y | Y | Y | Y | Y | Y | Y | 100% |
| Mehta et al (2014)18 | Y | Y | Y | N | Y | Y | Y | 86% |
| García-Toyos et al (2014)43 | Y | Y | Y | Y | Y | Y | Y | 100% |
| Chi et al (2018)25 | Y | Y | Y | Y | Y | Y | Y | 100% |
| Han et al (2018)26 | Y | Y | Y | Y | Y | Y | Y | 100% |
| Payne et al (2015)44 | Y | Y | Y | Y | Y | Y | Y | 100% |
| Tjia et al (2015)64 | Y | Y | Y | N | Y | Y | Y | 86% |
| Shanmugasundaram (2015)69 | Y | Y | Y | Y | Y | Y | Y | 100% |
| Kirby et al (2018) | Y | Y | Y | Y | Y | Y | Y | 100% |
| Ho et al (2020)49 | Y | Y | Y | Y | Y | Y | Y | 100% |
| McFarlane and Liu (2020)48 | Y | Y | Y | Y | Y | Y | Y | 100% |
| Eritz and Hadjistavropoulos (2011)23 | Y | Y | Y | Y | Y | Y | Y | 100% |
| Tarter et al (2016)30 | Y | Y | Y | Y | Y | Y | Y | 100% |
| Dellon et al (2010)40 | Y | Y | Y | Y | Y | Y | Y | 100% |
| Quantitative descriptive (n = 20) | ||||||||
|---|---|---|---|---|---|---|---|---|
| Clear research questions | Enough data allow to address the research questions | Relevant sampling strategy | Representative of the target population | Appropriate measurements | Low risk of nonresponse bias | Appropriate statistical analysis | Percentage of items meeting the criteria | |
| Ferrell et al (1993)36 |
Y |
Y |
Y |
Y |
Y |
Y |
Y |
100% |
| Berry and Ward (1995)32 |
Y |
Y |
Y |
Y |
Y |
Y |
Y |
100% |
| Ward et al (1996)37 |
Y |
Y |
Y |
Y |
Y |
Y |
Y |
100% |
| Fine and Busch (1998)59 |
Y |
Y |
Y |
Y |
Y |
Y |
Y |
100% |
| Bucher et al (1999)68 |
Y |
Y |
Y |
Y |
Y |
NI |
Y |
86% |
| Lin et al (2000)33 |
Y |
Y |
Y |
Y |
Y |
N |
Y |
86% |
| Lin et al (2001)34 |
Y |
Y |
Y |
Y |
Y |
Y |
Y |
100% |
| Demmer and Sauer (2002)80 |
Y |
Y |
Y |
Y |
Y |
N |
Y |
86% |
| Allen et al (2002)61 |
Y |
Y |
Y |
Y |
Y |
Y |
Y |
100% |
| Keefe et al (2003)55 |
Y |
Y |
Y |
Y |
Y |
NI |
Y |
86% |
| Letizia et al (2004)38 |
Y |
Y |
Y |
Y |
Y |
NI |
Y |
86% |
| Tu and Chiou (2007)60 |
Y |
Y |
Y |
Y |
Y |
Y |
Y |
100% |
| Wittenberg-Lyles et al (2013)51 |
Y |
Y |
Y |
Y |
Y |
NI |
Y |
86% |
| Oechsle et al (2013)57 |
Y |
Y |
Y |
N |
Y |
Y |
Y |
86% |
| Mayahara et al (2015)45 |
Y |
Y |
Y |
Y |
Y |
NI |
Y |
86% |
| Wilkie et al (2017)46 |
Y |
Y |
Y |
Y |
Y |
Y |
Y |
100% |
| Valeberg et al (2016)47 |
Y |
Y |
Y |
Y |
Y |
N |
Y |
86% |
| Mayahara et al (2014)10 |
Y |
Y |
Y |
Y |
Y |
NI |
Y |
86% |
| Lee et al (2018)11 |
Y |
Y |
Y |
Y |
Y |
Y |
Y |
100% |
| Washington et al (2019)63 | Y | Y | Y | Y | Y | NI | Y | 86% |
| Mixed methods (n = 2) | ||||||||
|---|---|---|---|---|---|---|---|---|
| Clear research questions | Enough data allow to address the research questions | Adequate reasons for conducting a mixed methods study | Integrated different components effectively | Interpreted the outputs adequately | Addressed divergences adequately | Adhere to the quality criteria | Percentage of items meeting the criteria | |
| Parker Oliver (2008)9 |
Y |
Y |
N |
Y |
Y |
Y |
Y |
86% |
| Nayak et al (2018)56 | Y | Y | N | Y | Y | Y | Y | 86%a |
N, no; NA, not applicable; NI, no information; Y, yes.