Table 3.
Type I error rates (m = 0) and statistical powers (m > 0) in percentage (%) of various publication bias tests for simulated meta-analyses of log odds ratios. Each simulated meta-analysis originally contained N = 20 studies before suppressing m “unfavorable” studies under scenario i, ii, or iii.
| Test | θ = 0 | θ = 1 | ||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| m = 0 | m = 4 | m = 8 | m = 0 | m = 4 | m = 8 | |||||||||
| i | ii | iii | i | ii | iii | i | ii | iii | i | ii | iii | |||
| pi0 ~ U(0.3, 0.7) and τ = 0: | ||||||||||||||
| Trank | 11 (10) | 25 (23) | 17 (16) | 30 (28) | 29 (30) | 24 (26) | 50 (51) | 13 (12) | 30 (30) | 41 (41) | 42 (41) | 33 (35) | 52 (56) | 56 (59) |
| Treg | 12 (9) | 14 (12) | 9 (8) | 22 (20) | 10 (8) | 7 (6) | 41 (39) | 12 (13) | 19 (17) | 40 (40) | 42 (41) | 14 (12) | 49 (47) | 55 (53) |
| Treg-het | 12 (8) | 15 (12) | 10 (8) | 23 (20) | 11 (8) | 9 (6) | 43 (37) | 14 (12) | 21 (17) | 42 (38) | 44 (40) | 16 (12) | 52 (47) | 57 (52) |
| Tskew | 10 (4) | 17 (8) | 18 (7) | 14 (6) | 19 (6) | 19 (5) | 13 (5) | 8 (4) | 14 (7) | 9 (5) | 9 (5) | 18 (8) | 14 (5) | 14 (6) |
| Tskew-het | 10 (4) | 17 (7) | 18 (7) | 14 (6) | 19 (6) | 19 (5) | 13 (5) | 8 (5) | 14 (7) | 8 (5) | 9 (5) | 18 (8) | 13 (5) | 14 (6) |
| Tinv-sqrt-n | 12 (10) | 24 (23) | 15 (15) | 29 (28) | 26 (26) | 23 (23) | 51 (50) | 11 (12) | 21 (23) | 33 (37) | 35 (37) | 24 (28) | 42 (43) | 44 (45) |
| Ttrim-fill | 8 (12) | 30 (36) | 18 (22) | 18 (23) | 31 (32) | 27 (28) | 13 (14) | 9 (12) | 37 (41) | 25 (27) | 25 (26) | 40 (40) | 24 (18) | 21 (14) |
| Tn | 10 (9) | 25 (26) | 14 (16) | 36 (36) | 25 (25) | 21 (21) | 63 (62) | 10 (12) | 19 (20) | 25 (27) | 26 (27) | 21 (25) | 34 (38) | 38 (42) |
| Tinv-n | 11 (11) | 22 (22) | 16 (16) | 24 (25) | 25 (25) | 23 (22) | 44 (43) | 11 (12) | 21 (22) | 34 (37) | 35 (37) | 22 (27) | 42 (44) | 43 (46) |
| TAS-rank | 13 (11) | 23 (23) | 15 (14) | 30 (27) | 27 (25) | 23 (21) | 54 (50) | 11 (11) | 22 (22) | 35 (34) | 36 (34) | 25 (24) | 43 (43) | 46 (48) |
| TAS-reg | 10 (9) | 13 (12) | 9 (8) | 21 (19) | 9 (8) | 7 (6) | 40 (38) | 9 (12) | 11 (16) | 29 (34) | 32 (36) | 7 (10) | 39 (44) | 44 (50) |
| TAS-reg-het | 11 (8) | 14 (12) | 9 (8) | 22 (19) | 10 (8) | 8 (6) | 43 (37) | 9 (11) | 12 (15) | 32 (33) | 34 (35) | 10 (10) | 43 (43) | 49 (48) |
| Tsmoothed | 12 (11) | 14 (13) | 10 (8) | 21 (21) | 9 (9) | 8 (6) | 42 (40) | 11 (15) | 15 (18) | 31 (34) | 33 (36) | 11 (13) | 35 (37) | 41 (43) |
| Tsmoothed-het | 12 (8) | 16 (13) | 10 (8) | 23 (20) | 12 (9) | 10 (6) | 43 (39) | 11 (13) | 16 (17) | 31 (33) | 33 (34) | 13 (12) | 37 (36) | 43 (42) |
| Tscore | 12 (10) | 24 (23) | 15 (15) | 29 (28) | 26 (26) | 22 (23) | 51 (50) | 8 (10) | 18 (20) | 29 (34) | 29 (34) | 21 (25) | 39 (46) | 40 (46) |
| Tcount | 12 (9) | 23 (22) | 16 (14) | 28 (27) | 26 (27) | 21 (23) | 48 (51) | 6 (11) | 13 (20) | 21 (28) | 21 (28) | 18 (26) | 30 (42) | 29 (43) |
| Thybrid | 11 (11) | 29 (31) | 20 (19) | 33 (32) | 29 (29) | 24 (27) | 48 (50) | 9 (10) | 28 (27) | 35 (33) | 34 (32) | 33 (29) | 44 (41) | 45 (45) |
| pi0 ~ U (0.3, 0.7) and τ = 0.3: | ||||||||||||||
| Trank | 11 (9) | 15 (13) | 10 (9) | 22 (18) | 18 (19) | 15 (15) | 38 (36) | 17 (13) | 21 (19) | 40 (37) | 45 (41) | 22 (24) | 51 (52) | 59 (61) |
| Treg | 16 (27) | 18 (22) | 13 (16) | 27 (32) | 14 (16) | 12 (13) | 48 (55) | 22 (34) | 22 (30) | 50 (60) | 54 (67) | 18 (21) | 60 (67) | 70 (80) |
| Treg-het | 13 (13) | 17 (16) | 12 (12) | 21 (20) | 14 (12) | 12 (10) | 38 (38) | 19 (21) | 22 (22) | 46 (46) | 49 (52) | 20 (18) | 59 (58) | 67 (67) |
| Tskew | 10 (4) | 18 (8) | 17 (7) | 18 (8) | 19 (6) | 19 (6) | 20 (7) | 8 (3) | 17 (9) | 12 (4) | 11 (5) | 20 (5) | 17 (4) | 15 (3) |
| Tskew-het | 9 (4) | 18 (7) | 18 (6) | 17 (6) | 18 (6) | 19 (6) | 18 (6) | 9 (4) | 18 (9) | 13 (5) | 12 (5) | 20 (6) | 16 (4) | 14 (4) |
| Tinv-sqrt-n | 11 (7) | 12 (10) | 8 (8) | 18 (16) | 10 (11) | 10 (9) | 33 (28) | 10 (10) | 12 (14) | 22 (22) | 25 (26) | 10 (14) | 30 (31) | 37 (37) |
| Ttrim-fill | 8 (10) | 24 (28) | 15 (19) | 14 (17) | 27 (27) | 24 (24) | 9 (9) | 11 (14) | 33 (36) | 27 (28) | 22 (23) | 32 (31) | 27 (20) | 16 (12) |
| Tn | 9 (10) | 12 (11) | 9 (9) | 23 (24) | 12 (13) | 9 (11) | 43 (43) | 8 (11) | 9 (12) | 17 (20) | 24 (25) | 11 (13) | 27 (30) | 35 (36) |
| Tinv-n | 9 (6) | 12 (10) | 10 (8) | 17 (13) | 11 (12) | 9 (10) | 28 (23) | 10 (9) | 11 (12) | 24 (22) | 26 (25) | 10 (12) | 31 (30) | 37 (35) |
| TAS-rank | 11 (8) | 13 (11) | 8 (7) | 18 (17) | 12 (12) | 11 (10) | 38 (30) | 8 (8) | 13 (12) | 23 (22) | 26 (25) | 13 (14) | 33 (32) | 41 (40) |
| TAS-reg | 16 (27) | 15 (20) | 11 (16) | 24 (31) | 12 (14) | 10 (10) | 44 (53) | 8 (26) | 10 (17) | 23 (37) | 28 (44) | 8 (14) | 34 (46) | 44 (61) |
| TAS-reg-het | 14 (13) | 15 (13) | 11 (10) | 19 (18) | 13 (11) | 11 (8) | 35 (35) | 11 (13) | 10 (13) | 25 (28) | 28 (32) | 9 (12) | 36 (39) | 44 (48) |
| Tsmoothed | 18 (29) | 17 (21) | 13 (19) | 25 (32) | 14 (15) | 12 (12) | 46 (54) | 13 (30) | 14 (22) | 27 (40) | 31 (45) | 12 (17) | 34 (42) | 43 (55) |
| Tsmoothed-het | 15 (13) | 15 (14) | 11 (11) | 18 (18) | 13 (12) | 12 (9) | 36 (35) | 12 (14) | 14 (15) | 27 (29) | 28 (31) | 12 (13) | 33 (35) | 40 (42) |
| Tscore | 10 (8) | 13 (10) | 9 (8) | 19 (16) | 12 (12) | 11 (10) | 35 (31) | 9 (9) | 9 (11) | 22 (23) | 26 (27) | 10 (13) | 31 (34) | 38 (42) |
| Tcount | 10 (8) | 13 (12) | 10 (8) | 19 (17) | 13 (16) | 11 (14) | 36 (36) | 5 (8) | 8 (10) | 16 (21) | 19 (24) | 10 (14) | 25 (35) | 31 (42) |
| Thybrid | 10 (16) | 19 (21) | 13 (15) | 23 (26) | 19 (17) | 18 (16) | 38 (44) | 12 (18) | 25 (24) | 32 (36) | 36 (42) | 23 (16) | 40 (45) | 48 (57) |
| pi0 ~ U (0.05, 0.1) and τ = 0: | ||||||||||||||
| Trank | 11 (10) | 27 (24) | 16 (16) | 23 (22) | 32 (35) | 28 (29) | 35 (38) | 22 (19) | 44 (42) | 63 (63) | 64 (64) | 42 (45) | 70 (75) | 73 (77) |
| Treg | 10 (12) | 16 (16) | 8 (8) | 15 (15) | 12 (12) | 9 (9) | 22 (25) | 21 (23) | 28 (30) | 55 (58) | 57 (60) | 16 (17) | 57 (56) | 62 (64) |
| Treg-het | 11 (11) | 17 (16) | 9 (8) | 16 (15) | 13 (12) | 10 (9) | 25 (24) | 22 (22) | 31 (29) | 58 (57) | 59 (59) | 17 (17) | 61 (56) | 65 (64) |
| Tskew | 9 (3) | 15 (6) | 16 (5) | 14 (6) | 17 (6) | 19 (5) | 20 (6) | 8 (3) | 13 (5) | 9 (3) | 8 (3) | 18 (6) | 15 (5) | 13 (4) |
| Tskew-het | 9 (3) | 15 (6) | 16 (5) | 14 (6) | 17 (6) | 19 (5) | 19 (6) | 8 (3) | 14 (5) | 9 (3) | 8 (3) | 18 (6) | 15 (5) | 13 (4) |
| Tinv-sqrt-n | 13 (16) | 20 (23) | 13 (16) | 24 (27) | 21 (25) | 19 (22) | 44 (47) | 11 (13) | 19 (24) | 30 (36) | 31 (38) | 23 (28) | 34 (38) | 43 (44) |
| Ttrim-fill | 9 (12) | 31 (41) | 19 (25) | 16 (21) | 34 (39) | 31 (36) | 15 (17) | 10 (17) | 46 (54) | 43 (49) | 38 (46) | 44 (51) | 38 (39) | 27 (27) |
| Tn | 8 (9) | 13 (17) | 9 (13) | 23 (28) | 16 (20) | 14 (18) | 49 (54) | 8 (9) | 14 (19) | 20 (25) | 25 (29) | 17 (21) | 26 (29) | 36 (40) |
| Tinv-n | 9 (13) | 13 (20) | 8 (14) | 14 (23) | 17 (21) | 14 (18) | 30 (38) | 8 (11) | 15 (23) | 26 (33) | 27 (35) | 17 (25) | 34 (38) | 38 (42) |
| TAS-rank | 13 (12) | 20 (19) | 13 (13) | 24 (24) | 22 (21) | 22 (20) | 47 (47) | 9 (9) | 15 (17) | 29 (29) | 32 (33) | 18 (19) | 37 (39) | 48 (48) |
| TAS-reg | 9 (13) | 6 (12) | 3 (7) | 11 (17) | 4 (6) | 3 (5) | 22 (33) | 3 (10) | 2 (11) | 9 (26) | 12 (32) | 1 (6) | 12 (33) | 22 (47) |
| TAS-reg-het | 9 (11) | 9 (12) | 4 (7) | 13 (16) | 5 (6) | 4 (5) | 28 (31) | 5 (9) | 5 (10) | 16 (25) | 19 (30) | 2 (6) | 20 (32) | 35 (45) |
| Tsmoothed | 12 (19) | 9 (18) | 5 (12) | 15 (23) | 6 (11) | 5 (10) | 29 (42) | 8 (16) | 11 (21) | 23 (37) | 26 (40) | 5 (15) | 23 (33) | 34 (42) |
| Tsmoothed-het | 12 (16) | 11 (17) | 6 (11) | 17 (21) | 7 (11) | 6 (9) | 33 (39) | 9 (14) | 12 (19) | 25 (34) | 29 (37) | 9 (14) | 26 (32) | 36 (41) |
| Tscore | 14 (11) | 25 (23) | 16 (15) | 22 (20) | 28 (26) | 22 (22) | 35 (33) | 4 (10) | 7 (16) | 16 (30) | 17 (31) | 11 (21) | 23 (40) | 21 (39) |
| Tcount | 11 (9) | 23 (21) | 15 (15) | 20 (20) | 24 (27) | 21 (22) | 32 (36) | 3 (8) | 6 (18) | 11 (26) | 10 (26) | 8 (22) | 10 (38) | 9 (36) |
| Thybrid | 10 (10) | 22 (23) | 14 (14) | 21 (21) | 28 (22) | 24 (19) | 40 (36) | 12 (5) | 30 (24) | 43 (28) | 43 (30) | 31 (15) | 51 (30) | 54 (35) |
| pi0 ~ U (0.05, 0.1) and τ = 0.3: | ||||||||||||||
| Trank | 14 (12) | 15 (12) | 13 (10) | 12 (11) | 22 (23) | 19 (21) | 17 (19) | 12 (8) | 24 (21) | 38 (33) | 39 (34) | 26 (26) | 44 (46) | 43 (44) |
| Treg | 15 (20) | 11 (12) | 8 (9) | 9 (11) | 9 (11) | 8 (9) | 14 (18) | 10 (18) | 19 (24) | 37 (44) | 40 (48) | 14 (15) | 45 (49) | 50 (60) |
| Treg-het | 15 (16) | 12 (11) | 10 (9) | 10 (9) | 11 (10) | 9 (8) | 17 (17) | 12 (14) | 21 (22) | 40 (40) | 42 (43) | 15 (15) | 47 (47) | 53 (54) |
| Tskew | 7 (3) | 13 (8) | 14 (7) | 16 (8) | 18 (5) | 17 (5) | 26 (7) | 9 (3) | 17 (8) | 16 (6) | 17 (7) | 22 (6) | 16 (4) | 16 (5) |
| Tskew-het | 7 (3) | 13 (7) | 15 (7) | 16 (8) | 18 (5) | 17 (5) | 26 (8) | 9 (3) | 17 (7) | 17 (6) | 17 (6) | 20 (6) | 16 (4) | 16 (5) |
| Tinv-sqrt-n | 9 (11) | 13 (14) | 11 (13) | 20 (22) | 16 (19) | 14 (17) | 37 (40) | 9 (9) | 15 (17) | 22 (27) | 28 (32) | 16 (20) | 29 (34) | 41 (42) |
| Ttrim-fill | 8 (14) | 23 (29) | 16 (20) | 10 (13) | 31 (34) | 25 (30) | 8 (9) | 9 (14) | 34 (44) | 32 (40) | 26 (33) | 32 (39) | 32 (31) | 17 (18) |
| Tn | 7 (10) | 9 (13) | 9 (11) | 20 (25) | 12 (15) | 11 (14) | 41 (48) | 7 (10) | 13 (17) | 18 (22) | 22 (26) | 13 (16) | 22 (26) | 37 (39) |
| Tinv-n | 5 (10) | 8 (11) | 7 (11) | 11 (15) | 11 (16) | 8 (13) | 21 (28) | 6 (9) | 10 (17) | 16 (24) | 20 (27) | 12 (19) | 24 (30) | 33 (36) |
| TAS-rank | 8 (8) | 14 (13) | 11 (10) | 20 (18) | 15 (15) | 13 (11) | 39 (35) | 7 (6) | 10 (11) | 20 (19) | 25 (25) | 11 (12) | 30 (31) | 45 (45) |
| TAS-reg | 7 (18) | 7 (13) | 6 (11) | 15 (25) | 5 (9) | 3 (7) | 30 (44) | 6 (21) | 4 (15) | 12 (27) | 18 (37) | 1 (11) | 13 (38) | 33 (64) |
| TAS-reg-het | 9 (12) | 9 (11) | 8 (9) | 16 (20) | 7 (8) | 5 (6) | 31 (35) | 7 (10) | 5 (11) | 14 (21) | 20 (27) | 3 (9) | 21 (31) | 36 (50) |
| Tsmoothed | 12 (25) | 11 (18) | 9 (16) | 21 (33) | 7 (18) | 5 (15) | 38 (51) | 11 (23) | 11 (20) | 20 (37) | 29 (44) | 9 (17) | 25 (40) | 43 (58) |
| Tsmoothed-het | 10 (16) | 12 (14) | 10 (13) | 20 (26) | 9 (15) | 8 (12) | 35 (42) | 10 (14) | 12 (17) | 23 (31) | 27 (37) | 11 (16) | 29 (34) | 40 (47) |
| Tscore | 15 (13) | 11 (9) | 12 (11) | 10 (10) | 14 (14) | 13 (13) | 12 (11) | 5 (15) | 3 (6) | 4 (11) | 4 (10) | 6 (11) | 10 (17) | 6 (13) |
| Tcount | 16 (13) | 10 (9) | 11 (11) | 11 (11) | 14 (15) | 12 (14) | 14 (15) | 4 (13) | 2 (6) | 3 (9) | 2 (9) | 3 (11) | 6 (18) | 3 (14) |
| Thybrid | 11 (9) | 16 (13) | 15 (11) | 19 (17) | 18 (13) | 15 (11) | 29 (29) | 8 (7) | 20 (15) | 26 (18) | 29 (22) | 22 (9) | 32 (18) | 38 (30) |
Note: θ, the true overall log odds ratio; τ, the true between-study standard deviation; pi0, the true event rate in the control group. The results inside parentheses (except the hybrid test) were based on the tests’ theoretical p-values, and those outside parentheses were based on the resampling method.