Table 1.
D&B quality assessment scores (in chronological order)
| Study | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | Total D&B score | High/low quality |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Mozes et al15 | − | − | + | + | − | + | − | + | + | − | + | + | − | − | − | − | − | − | + | + | + | + | − | − | − | + | − | 12 | Low |
| Smedberg et al16 | + | − | + | − | − | + | − | − | + | − | − | − | + | − | − | − | − | − | − | − | − | + | − | − | − | + | − | 7 | Low |
| Martens et al17 | + | − | + | − | − | + | − | + | + | − | − | − | + | − | − | − | − | − | − | + | − | − | − | − | − | + | − | 8 | Low |
| Fricker et al18 | + | + | + | − | − | − | − | − | − | − | − | − | + | − | − | − | − | − | − | − | − | + | − | − | − | − | − | 5 | Low |
| Polglase et al19 | + | − | − | + | − | − | − | − | + | − | − | − | − | − | − | − | − | − | + | − | − | + | − | − | − | + | − | 6 | Low |
| Shaker et al20 | + | − | + | − | − | + | − | − | + | − | − | − | + | − | − | − | − | − | − | + | + | + | − | − | − | + | − | 9 | Low |
| Akermark and Johansson21 | + | + | + | + | − | + | − | + | − | − | − | − | − | − | − | − | − | − | + | + | − | − | − | − | − | + | − | 9 | Low |
| Malycha and Lovell22 | − | + | + | + | − | + | + | − | − | + | − | − | − | − | − | + | + | + | + | + | − | + | − | − | − | + | − | 13 | Low |
| Holt et al23 | + | − | + | + | − | + | − | − | + | - | + | + | + | − | − | − | − | − | + | + | + | + | − | − | − | − | − | 12 | Low |
| Simonet et al24 | − | − | + | + | − | − | − | − | − | − | − | − | + | − | − | − | − | − | + | − | + | − | − | − | − | − | − | 5 | Low |
| Urquhart et al25 | + | − | − | − | − | + | − | − | − | − | − | − | − | − | − | − | − | − | + | − | + | + | − | − | − | − | − | 5 | Low |
| Ingoldby26 | + | − | − | + | − | − | − | + | − | − | + | − | + | − | − | − | − | − | + | − | + | + | − | − | − | + | − | 9 | Low |
| Micheli and Solomon27 | − | + | − | + | − | + | − | + | − | − | − | − | − | − | − | − | − | − | + | − | − | + | − | − | − | − | − | 6 | Low |
| Evans28 | − | − | − | + | − | − | − | − | + | − | + | − | + | − | − | − | − | − | + | − | + | + | − | − | − | + | − | 8 | Low |
| Lacroix et al29 | − | − | + | + | − | − | − | − | − | − | − | − | + | − | − | − | − | − | + | − | + | + | − | − | − | + | − | 7 | Low |
| Holmich et al6 | + | + | + | + | + | + | − | − | + | + | + | + | − | − | + | + | + | + | + | + | + | + | + | + | + | + | + | 23 | High |
| Brannigan et al30 | + | − | + | + | − | − | − | − | + | − | + | + | + | − | − | − | − | − | + | − | + | + | − | − | − | + | − | 11 | Low |
| Meyers et al31 | + | + | − | + | − | + | − | − | − | − | − | − | + | − | − | + | − | − | + | + | + | − | − | − | − | − | − | 9 | Low |
| McKim and Taunton32 | + | + | + | + | − | + | + | + | − | + | − | − | + | − | − | + | + | + | + | + | + | − | + | − | − | − | − | 16 | Low |
| Ekstrand and Ringborg33 | + | + | + | − | − | + | + | − | − | − | − | − | − | − | − | + | + | + | − | − | − | − | + | − | − | − | − | 9 | Low |
| Irshad et al34 | + | − | + | + | − | + | − | + | + | − | − | − | + | − | − | − | − | − | + | + | + | − | − | − | − | + | − | 11 | Low |
| Kumar et al35 | − | + | − | + | − | + | − | − | − | + | + | − | + | − | − | − | + | + | + | + | + | + | − | − | − | − | − | 12 | Low |
| O'Connell et al36 | − | − | − | + | − | − | − | + | − | − | − | − | − | − | − | − | + | − | + | − | − | + | − | − | − | + | − | 6 | Low |
| Srinivasan and Schuricht37 | − | + | + | + | − | + | − | + | − | − | − | − | + | − | − | − | − | − | + | − | + | + | − | − | − | − | − | 9 | Low |
| Biedert et al38 | + | + | + | + | − | + | + | − | − | − | − | − | + | − | − | − | − | − | + | + | − | + | − | − | − | + | − | 11 | Low |
| Van Der Donckt et al39 | + | − | + | + | + | + | − | − | − | − | − | − | − | − | − | + | − | − | + | − | − | − | − | − | − | − | − | 7 | Low |
| Genitsaris et al40 | + | − | + | + | − | − | − | + | − | − | − | − | + | − | − | − | − | − | + | − | + | + | − | − | − | − | − | 8 | Low |
| Kluin et al41 | + | − | + | + | − | + | − | − | − | − | + | − | + | − | − | + | + | − | + | − | + | + | − | − | − | + | − | 12 | Low |
| Paajanen et al42 | − | + | + | + | − | − | − | + | − | − | + | − | + | − | − | − | − | − | + | − | + | + | − | − | − | + | − | 10 | Low |
| Steele et al43 | + | − | − | + | − | − | − | − | + | − | − | − | − | − | − | − | − | − | + | − | − | + | − | − | − | + | − | 6 | Low |
| Susmallian et al44 | + | − | − | + | − | − | − | − | − | − | − | − | − | − | − | − | − | − | + | − | + | + | − | − | − | − | − | 5 | Low |
| Ahumada et al45 | + | − | + | + | − | − | − | − | − | − | − | − | + | − | − | − | − | − | + | − | − | + | − | − | − | − | − | 6 | Low |
| Diaco et al25 | − | + | − | − | − | + | − | − | − | − | − | − | + | − | − | − | − | − | + | + | − | + | − | − | − | − | − | 6 | Low |
| Topol et al47 | + | + | + | + | − | + | + | − | + | + | + | + | + | − | − | − | − | + | + | + | + | − | − | − | − | + | − | 16 | Low |
| Edelman and Selesnick49 | + | − | − | + | − | − | − | − | + | − | − | − | + | − | − | − | + | − | + | − | − | + | − | − | − | + | − | 8 | Low |
| Canonico et al48 | + | + | + | + | − | + | − | + | + | − | − | − | + | − | − | + | + | − | + | + | − | + | − | − | − | + | − | 14 | Low |
| Schilders et al50 | + | − | + | + | − | + | − | + | + | − | + | − | + | − | − | + | + | − | + | + | − | + | − | − | − | + | − | 14 | Low |
| Van Veen et al51 | + | − | + | + | − | + | − | − | − | − | + | − | + | − | − | + | + | − | + | + | + | + | − | − | − | − | − | 12 | Low |
| Verrall et al52 | + | + | + | + | − | + | − | − | + | + | − | − | − | − | − | + | + | + | − | + | − | + | − | − | − | + | − | 13 | Low |
| Brown et al53 | − | − | + | + | − | − | − | + | − | − | − | − | − | − | − | − | − | − | + | − | − | − | − | − | − | − | − | 4 | Low |
| Lloyd et al54 | + | + | + | + | − | + | − | + | − | − | − | − | + | − | − | − | − | − | + | − | + | + | − | − | − | − | − | 10 | Low |
| Meyers et al55 | − | − | − | − | − | − | − | + | − | − | − | − | − | − | − | − | − | − | + | − | − | − | − | − | − | − | − | 2 | Low |
| Radic and Annear56 | + | + | + | + | − | + | − | − | − | − | − | − | + | − | − | − | − | − | + | + | + | + | − | − | − | − | − | 10 | Low |
| Topol and Reeves57 | + | − | − | + | − | + | + | + | + | + | − | − | − | − | − | − | − | + | + | + | − | − | − | − | − | + | − | 11 | Low |
| Ziprin et al58 | − | + | + | + | − | + | − | − | − | − | − | − | − | − | − | − | − | − | + | + | − | − | − | − | − | + | − | 7 | Low |
| Atkinson et al59 | − | + | − | + | − | + | + | + | + | + | − | − | − | − | − | − | − | + | + | + | + | + | − | − | − | + | − | 13 | Low |
| Jansen et al60 | + | + | + | + | − | + | − | − | + | − | + | − | + | − | − | + | + | + | − | − | + | − | − | − | − | + | + | 14 | Low |
| Mann et al61 | + | + | + | + | + | + | − | + | − | + | + | − | + | − | − | + | − | + | + | + | + | + | − | − | − | − | − | 16 | Low |
| Schilders et al62 | + | − | − | + | + | + | − | − | + | − | − | − | + | − | − | + | + | − | + | + | + | + | − | − | + | + | − | 14 | Low |
| Schlegel et al63 | + | − | + | − | + | + | + | + | − | + | − | − | − | − | − | − | − | − | − | + | − | − | − | − | + | + | − | 10 | Low |
| Weir et al64 | + | + | + | + | + | + | + | + | + | − | + | − | − | − | − | − | − | + | + | + | + | + | − | − | − | + | − | 16 | Low |
| Muschaweck and Berger67 | + | + | + | + | − | + | + | − | + | + | − | − | + | − | − | + | + | + | + | + | − | + | − | − | − | + | − | 16 | Low |
| Weir et al64 | + | − | + | + | + | + | + | − | + | + | − | − | + | − | − | − | − | − | − | + | + | − | − | − | + | + | − | 13 | Low |
| Chernyavsky et al68 | − | − | − | + | − | − | − | − | − | − | − | − | + | − | − | − | − | − | + | − | + | − | − | − | − | − | − | 4 | Low |
| Paajanen et al42 | + | + | + | + | + | + | + | + | + | + | + | − | + | − | − | + | + | + | − | + | − | + | + | − | + | + | + | 21 | High |
| Preskitt70 | − | − | − | + | − | − | − | − | − | − | − | − | + | − | − | − | − | − | + | − | + | − | − | − | − | − | − | 4 | Low |
| Robertson et al71 | + | + | − | + | − | + | − | + | + | − | − | − | − | − | − | − | − | − | + | + | + | + | − | − | − | + | − | 11 | Low |
| Weir et al64 | + | + | + | + | + | + | + | + | + | + | + | + | − | − | + | + | + | + | + | + | + | − | + | + | + | + | + | 24 | High |
| Dojcinovic et al72 | − | − | + | + | − | + | − | − | − | − | − | − | − | − | − | + | − | − | + | − | − | + | − | − | − | + | − | 7 | Low |
| Jans et al73 | + | − | − | + | + | + | − | + | − | − | − | − | + | − | − | − | − | − | + | − | + | + | − | − | − | − | − | 9 | Low |
| Maffulli et al74 | + | + | + | + | + | + | + | + | + | + | − | − | − | − | − | + | − | + | + | + | − | + | − | − | + | + | − | 17 | Low |
| Messaoudi et al75 | + | − | − | + | − | + | − | − | − | − | − | − | + | − | − | − | − | − | + | − | + | + | − | − | − | − | − | 7 | Low |
| Comin et al76 | + | + | + | + | − | + | + | + | + | + | + | + | − | − | − | + | + | + | + | − | − | + | + | − | − | + | − | 18 | Low |
| Economopoulos et al77 | + | + | + | + | + | + | − | + | + | + | − | − | + | − | − | − | − | + | + | − | + | − | − | − | − | + | − | 14 | Low |
| Garvey and Hazard78 | − | − | − | − | − | − | − | + | − | − | − | − | − | − | − | − | − | − | − | − | − | + | − | − | − | − | − | 2 | Low |
| Jakoi et al79 | + | + | − | − | − | + | − | − | − | + | − | − | − | − | − | − | + | + | + | − | − | + | − | − | − | − | − | 8 | Low |
| Mei-Dan et al80 | + | + | − | + | − | + | + | + | + | + | − | − | − | − | − | − | − | + | + | − | − | + | − | − | − | + | − | 12 | Low |
| Schilders et al81 | + | + | − | + | + | + | + | + | + | + | − | + | + | − | − | + | − | + | + | + | + | + | − | − | + | + | − | 19 | High |
| Bernhardt et al82 | + | + | + | + | − | + | + | − | − | − | − | − | + | − | − | − | − | − | + | − | − | + | − | − | − | − | − | 9 | Low |
| Cavalli et al83 | + | − | − | + | − | − | − | − | − | − | − | − | + | − | − | − | − | − | + | − | + | + | − | − | − | − | − | 6 | Low |
| de Queiroz et al84 | + | + | + | + | − | − | − | + | − | − | − | − | + | − | − | − | + | − | + | − | − | + | − | − | − | − | − | 9 | Low |
| Sansone et al85 | + | + | + | + | − | + | + | − | − | + | − | − | + | − | − | − | − | + | + | + | − | − | − | − | − | − | − | 11 | Low |
| Percentage of agreement/item | 94 | 81 | 82 | 97 | 86 | 81 | 94 | 94 | 74 | 96 | 79 | 82 | 79 | 100 | 100 | 92 | 93 | 85 | 96 | 74 | 85 | 94 | 99 | 99 | 99 | 82 | 100 |
D&B, Downs and Black.