Algorithm 1 DQN Algorithm

Input:  $MDP=(S,A,T,R),done,update$ Output: Optimal policy $\pi$   1: Init ($\pi$)   2: $s_t\leftarrow s_0$   3: $a\leftarrow NOP$   4: while  $s_t!=done\mathrm{and}episode<episodes$  do   5:    // Iterative selection of optimal value   6:    $A^{{}^{\prime }}=A$   7:    $a\leftarrow Rando{m}_{S}elect\left(A^{{}^{\prime }}\right)$   8:    $update(s_t,a,\pi )$ // Update parameters   9:    Go to the next state $s_{t+1}$ 10: end while