Algorithm 1.

Focal CLIP Contrastive Loss

1:	procedure $\mathrm{F}\mathrm{o}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{C}\mathrm{l}\mathrm{i}\mathrm{P}\mathrm{L}\mathrm{o}\mathrm{s}\mathrm{s}(I,T,\gamma ,\tau )$
2:	Input: Image embeddings $I$
3:	Input: Text embeddings $T$
4:	Input: Focusing parameter $\gamma$
5:	Input: Learnable scaling parameter $\tau$
6:	$I\leftarrow I/\Vert I{\Vert }_2,T\leftarrow T/\Vert T{\Vert }_2$	▷ Normalize embeddings
7:	$S\leftarrow I{T}^{\mathrm{\top }}/\tau$	▷ Similarity matrix
8:	$P_{img}\leftarrow \mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(S\right)$
9:	$P_{txt}\leftarrow \mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(S^{\mathrm{\top }}\right)$
10:	$Y\leftarrow [0,1,\dots ,N-1]$	▷ Groundtruth indices
11:	procedure $\mathrm{F}\mathrm{o}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{L}\mathrm{o}\mathrm{s}\mathrm{s}(\mathrm{P},\mathrm{Y})$
12:	$ce\leftarrow \mathrm{N}\mathrm{L}\mathrm{L}\mathrm{L}\mathrm{o}\mathrm{s}\mathrm{s}(P,Y)$
13:	$P_t\leftarrow P[i,Y[i\left]\right]$ for all $i$	▷ Probabilities of all true classes
14:	$\mathit{loss}\leftarrow {\left(1-P_t\right)}^{\gamma }\cdot ce$	▷ Focal-weighted loss
15:	return mean(loss)
16:	end procedure
17:	$L_{img}\leftarrow \text{FocalLoss}\left(P_{img}\right)$
18:	$L_{txt}\leftarrow \text{FocalLoss}\left(P_{txt}\right)$
19:	$L\leftarrow \left(L_{img}+L_{txt}\right)/2$	▷ Symmetric loss
20:	return $L$
21:	end procedure