Table 2:

Mean across 5 pre-training runs. NLL is neg log likelihood, W/M weighted/macro.

	MIMIC				CUIMC				CASI
Model	NLL	Acc	W F1	M F1	NLL	Acc	W F1	M F1	NLL	Acc	W F1	M F1
BERT	1.36	0.40	0.40	0.33	1.41	0.37	0.33	0.28	1.23	0.42	0.38	0.23
ELMo	1.33	0.58	0.61	0.53	1.38	0.58	0.60	0.49	1.21	0.55	0.56	0.38
BSG	1.28	0.57	0.59	0.52	9.04	0.58	0.58	0.46	0.99	0.64	0.64	0.41
MBSGE	1.07	0.65	0.67	0.59	6.16	0.64	0.64	0.52	0.88	0.70	0.70	0.46
LMC	0.81	0.74	0.78	0.69	0.90	0.69	0.68	0.57	0.79	0.71	0.73	0.51