Skip to main content
. 2023 Dec 6;25(4):1122–1139. doi: 10.1093/biostatistics/kxad033

Table 1.

Simulation results across varying sample size, number of features, covariate effect, and correlation structure.

Exchangeable, low correlation
Exchangeable, high correlation
AR(1) correlation
PC N M Q MMR MCM KMR SiMMR-D SiMMR-PC(3) MMR MCM KMR SiMMR-D SiMMR-PC(3) MMR MCM KMR SiMMR-D SiMMR-PC(3)
5 0.054 0.045 0.043 0.047 0.049 0.054 0.032 0.051 0.048 0.049 0.054 0.042 0.048 0.048 0.051
2 100 0.017 0.039 0.032 0.034 0.017 0.032 0.032 0.035 0.036 0.037 0.037 0.042
5 0.034 0.062 0.053 0.042 0.014 0.058 0.051 0.05 0.032 0.05 0.048 0.033
25 10 100 0.007 0.051 0.044 0.052 0.005 0.047 0.041 0.054 0.05 0.042 0.041 0.04
5 0.051 0.054 0.053 0.055 0.048 0.051 0.038 0.057 0.058 0.046 0.051 0.052 0.057 0.055 0.05
2 100 0.033 0.052 0.043 0.054 0.028 0.048 0.045 0.052 0.044 0.047 0.046 0.038
5 0.04 0.039 0.05 0.045 0.052 0.04 0.013 0.053 0.052 0.046 0.04 0.029 0.05 0.05 0.06
None 100 10 100 0.011 0.05 0.044 0.046 0.006 0.042 0.045 0.047 0.051 0.055 0.055 0.045
5 0.54 0.948 0.968 0.964 0.89 0.215 0.664 0.732 0.732 0.512 0.233 0.671 0.714 0.714 0.521
2 100 0.104 0.151 0.138 0.097 0.041 0.064 0.065 0.053 0.157 0.182 0.182 0.18
5 0.328 0.498 0.475 0.32 0.086 0.195 0.194 0.131 0.21 0.347 0.349 0.237
25 10 100 0.019 0.074 0.061 0.06 0.005 0.052 0.053 0.051 0.084 0.083 0.084 0.092
5 1 1 1 1 1 0.953 1 1 1 0.997 0.976 1 1 1 0.999
2 100 0.459 0.554 0.524 0.326 0.171 0.23 0.223 0.154 0.689 0.764 0.755 0.743
5 0.253 0.946 0.982 0.98 0.928 0.092 0.448 0.652 0.646 0.476 0.185 0.81 0.929 0.928 0.871
1 100 10 100 0.052 0.161 0.145 0.095 0.018 0.084 0.084 0.057 0.248 0.418 0.411 0.311
5 0.103 0.125 0.127 0.132 0.138 0.196 0.066 0.083 0.086 0.25 0.078 0.081 0.065 0.068 0.125
2 100 0.083 0.129 0.113 0.889 0.025 0.048 0.044 1 0.151 0.23 0.23 0.154
5 0.169 0.168 0.155 0.363 0.048 0.078 0.074 0.951 0.09 0.114 0.115 0.106
25 10 100 0.048 0.183 0.145 1 0.009 0.065 0.065 1 0.227 0.787 0.796 0.517
5 0.488 0.407 0.465 0.458 0.416 0.931 0.177 0.2 0.201 0.809 0.241 0.291 0.231 0.231 0.418
2 100 0.987 1 0.997 1 0.127 0.196 0.188 1 0.951 1 1 0.304
5 0.984 0.892 0.916 0.898 0.939 1 0.43 0.181 0.183 1 0.9 0.409 0.576 0.568 0.222
25% 100 10 100 0.795 1 0.999 1 0.044 0.188 0.191 1 1 1 1 0.92
5 0.272 0.303 0.264 0.279 0.339 0.749 0.124 0.118 0.123 0.838 0.616 0.125 0.117 0.117 0.574
2 100 0.318 0.503 0.436 0.999 0.042 0.071 0.069 1 0.393 0.635 0.632 0.317
5 0.37 0.44 0.414 0.818 0.084 0.116 0.11 1 0.136 0.238 0.233 0.187
25 10 100 0.194 0.577 0.492 1 0.013 0.091 0.084 1 0.554 1 1 0.954
5 0.989 0.947 0.957 0.957 0.917 1 0.655 0.652 0.64 1 1 0.583 0.651 0.651 0.987
2 100 1 1 1 1 0.475 0.863 0.836 1 1 1 1 0.542
5 1 1 1 1 1 1 0.788 0.81 0.772 1 1 0.959 1 1 0.322
50% 100 10 100 1 1 1 1 0.174 0.882 0.857 1 1 1 1 1

Rejection rates are shown across varying number of subjects (N), number of modalities (M), number of features per modality (Q), and number of principal components included in the binary covariate effect (PC). The highest power among tests within each simulation setting is bolded. MMR, multivariate multiple regression using Pillai’s trace; MCM, multiple MDMR statistics after Bonferroni correction; KMR, kernel machine regression.

HHS Vulnerability Disclosure