Table 6.

Rater 1 intra-rater agreement: Cohen’s kappa with 95% confidence intervals and criteria percentage agreement (n = 20 except *n = 19, ** n= 18).

Test	Criteria	Left-hand side	Kappa (95% CI)	Right-hand side	Kappa (95% CI)	Criteria agreement (%)
1	A	1.00	(1.00-1.00)	1.00	(1.00-1.00)	100.0
	B	1.00	(1.00-1.00)	1.00	(1.00-1.00)	100.0
	C	1.00	(1.00-1.00)	1.00	(1.00-1.00)	100.0
	D	1.00	(1.00-1.00)	.83	(.50-1.00)	97.5
	E	1.00	(1.00-1.00)	1.00 *	(1.00-1.00)	100.0
2	A	N/A	N/A	N/A	N/A	100.0
	B	1.00	(1.00-1.00)	.83	(.50-1.00)	97.5
	C	N/A	N/A	N/A	N/A	100.0
	D	1.00	(1.00-1.00)	1.00	(1.00-1.00)	100.0
	E	1.00	(1.00-1.00)	1.00	(1.00-1.00)	100.0
3	A		1.00 (1.00-1.00)			100.0
	B		.88 (.64-1.00)			95.0
	C	.64	(.01-1.00)	.64	(.01-1.00)	.64
4	A		1.00 (1.00-1.00)			100.0
	B	N/A	N/A	N/A	N/A	N/A
	C	.90	(.70-1.00)	.90	(.70-1.00)	.90
	D	.83 *	(.50-1.00)	.83 *	(.50-1.00)	.83 *
5	A	N/A	N/A	N/A	N/A	100.0
	B	.89 *	(.69-1.00)	.88 **	(.65-1.00)	94.6
	C	.83 *	(.50-1.00)	.87 *	(.63-1.00)	94.7
	D	1.00*	(1.00-1.00)	.00 *	N/A	97.4
7	A	1.00	(1.00-1.00)	1.00	(1.00-1.00)	100.0
	B	1.00	(1.00-1.00)	0.83	(.50-1.00)	97.5
	C	1.00	(1.00-1.00)	0.64	(.01-1.00)	97.5
	D		1.00 (1.00-1.00)			100.0
	E	1.00	(1.00-1.00)	0.90	(.71-1.00)	97.5
8	A		1.00 (1.00-1.00)			100.0
	B	.79	(.52-1.00)	.79	(.52-1.00)	.79
	C	N/A	N/A	N/A	N/A	N/A
	D	.61	(.11-1.00)	.61	(.11-1.00)	.61
9	A	1.00	(1.00-1.00)	.89	(.69-1.00)	97.5
	B	1.00	(1.000-1.00)	1.00	(1.00-1.00)	100.0
	C	.90	(.70-1.00)	.89	(.69-1.00)	95.0
	D	1.000	(1.00-1.00)	1.00 *	(1.00-1.00)	100
	E	1.000	(1.00-1.00)	1.00 *	(1.00-1.00)	100
10	A	1.00	(1.00-1.000)	1.00	(1.00-1.00)	100.0
	B	1.00	(1.00-1.000)	1.00	(1.00-1.00)	100.0
	C	.89	(.69-1.000)	.90	(.70-1.00)	95.0
	D	.88	(.64-1.000)	.76 *	(.45-1.00)	92.3
	E	1.00	(1.00-1.000)	.90	(.70-1.00)	97.5