Table 1.

Simulation results across varying sample size, number of features, covariate effect, and correlation structure.

				Exchangeable, low correlation					Exchangeable, high correlation					AR(1) correlation
PC	N	M	Q	MMR	MCM	KMR	SiMMR-D	SiMMR-PC(3)	MMR	MCM	KMR	SiMMR-D	SiMMR-PC(3)	MMR	MCM	KMR	SiMMR-D	SiMMR-PC(3)
			5	0.054	0.045	0.043	0.047	0.049	0.054	0.032	0.051	0.048	0.049	0.054	0.042	0.048	0.048	0.051
		2	100		0.017	0.039	0.032	0.034		0.017	0.032	0.032	0.035		0.036	0.037	0.037	0.042
			5		0.034	0.062	0.053	0.042		0.014	0.058	0.051	0.05		0.032	0.05	0.048	0.033
	25	10	100		0.007	0.051	0.044	0.052		0.005	0.047	0.041	0.054		0.05	0.042	0.041	0.04
			5	0.051	0.054	0.053	0.055	0.048	0.051	0.038	0.057	0.058	0.046	0.051	0.052	0.057	0.055	0.05
		2	100		0.033	0.052	0.043	0.054		0.028	0.048	0.045	0.052		0.044	0.047	0.046	0.038
			5	0.04	0.039	0.05	0.045	0.052	0.04	0.013	0.053	0.052	0.046	0.04	0.029	0.05	0.05	0.06
None	100	10	100		0.011	0.05	0.044	0.046		0.006	0.042	0.045	0.047		0.051	0.055	0.055	0.045
			5	0.54	0.948	0.968	0.964	0.89	0.215	0.664	0.732	0.732	0.512	0.233	0.671	0.714	0.714	0.521
		2	100		0.104	0.151	0.138	0.097		0.041	0.064	0.065	0.053		0.157	0.182	0.182	0.18
			5		0.328	0.498	0.475	0.32		0.086	0.195	0.194	0.131		0.21	0.347	0.349	0.237
	25	10	100		0.019	0.074	0.061	0.06		0.005	0.052	0.053	0.051		0.084	0.083	0.084	0.092
			5	1	1	1	1	1	0.953	1	1	1	0.997	0.976	1	1	1	0.999
		2	100		0.459	0.554	0.524	0.326		0.171	0.23	0.223	0.154		0.689	0.764	0.755	0.743
			5	0.253	0.946	0.982	0.98	0.928	0.092	0.448	0.652	0.646	0.476	0.185	0.81	0.929	0.928	0.871
1	100	10	100		0.052	0.161	0.145	0.095		0.018	0.084	0.084	0.057		0.248	0.418	0.411	0.311
			5	0.103	0.125	0.127	0.132	0.138	0.196	0.066	0.083	0.086	0.25	0.078	0.081	0.065	0.068	0.125
		2	100		0.083	0.129	0.113	0.889		0.025	0.048	0.044	1		0.151	0.23	0.23	0.154
			5		0.169	0.168	0.155	0.363		0.048	0.078	0.074	0.951		0.09	0.114	0.115	0.106
	25	10	100		0.048	0.183	0.145	1		0.009	0.065	0.065	1		0.227	0.787	0.796	0.517
			5	0.488	0.407	0.465	0.458	0.416	0.931	0.177	0.2	0.201	0.809	0.241	0.291	0.231	0.231	0.418
		2	100		0.987	1	0.997	1		0.127	0.196	0.188	1		0.951	1	1	0.304
			5	0.984	0.892	0.916	0.898	0.939	1	0.43	0.181	0.183	1	0.9	0.409	0.576	0.568	0.222
25%	100	10	100		0.795	1	0.999	1		0.044	0.188	0.191	1		1	1	1	0.92
			5	0.272	0.303	0.264	0.279	0.339	0.749	0.124	0.118	0.123	0.838	0.616	0.125	0.117	0.117	0.574
		2	100		0.318	0.503	0.436	0.999		0.042	0.071	0.069	1		0.393	0.635	0.632	0.317
			5		0.37	0.44	0.414	0.818		0.084	0.116	0.11	1		0.136	0.238	0.233	0.187
	25	10	100		0.194	0.577	0.492	1		0.013	0.091	0.084	1		0.554	1	1	0.954
			5	0.989	0.947	0.957	0.957	0.917	1	0.655	0.652	0.64	1	1	0.583	0.651	0.651	0.987
		2	100		1	1	1	1		0.475	0.863	0.836	1		1	1	1	0.542
			5	1	1	1	1	1	1	0.788	0.81	0.772	1	1	0.959	1	1	0.322
50%	100	10	100		1	1	1	1		0.174	0.882	0.857	1		1	1	1	1

Rejection rates are shown across varying number of subjects (N), number of modalities (M), number of features per modality (Q), and number of principal components included in the binary covariate effect (PC). The highest power among tests within each simulation setting is bolded. MMR, multivariate multiple regression using Pillai’s trace; MCM, multiple MDMR statistics after Bonferroni correction; KMR, kernel machine regression.