Algorithm 3 Deep Q-Learning with Experience Replay.

1: Initialize replay memory $\mathrm{D}$ to capacity $N$; 2: Initialize action-value function $\mathrm{Q}$ with random weights 3: for episodes = 1, M do Initialize sequence $s_1=\left\{x_1\right\}$ and preprocessed sequenced ${\phi }_1=\phi \left(s_1\right)$ 4:   for t = 1,T do 5:   With probability $\epsilon$ select a random action select a random action ${\alpha }_t$ 6:   otherwise select ${\alpha }_t={\max }_a{Q}^{*}\left(\phi \right(s_t),\alpha ,\theta )$ 7:   Execute action ${\alpha }_t$ in emulator and observe reward ${\mathrm{r}}_t$ and image $x_{t+1}$ 7:   Set $s_{t+1}=s_t,{\alpha }_t,x_{t+1}$ and preprocess ${\phi }_{t+1}=\phi \left(s_{t+1}\right)$ 8:   Store transition $({\phi }_t,{\alpha }_t,r_t,{\phi }_{t+1})$ in $\mathrm{D}$ 9:   Sample random minibatch of transitions $({\phi }_j,{\alpha }_j,r_j,{\phi }_{j+1})$ from $\mathrm{D}$ 9:   Set $y_j=$ using the RMSprop update rule 10:   Perform a gradient descent step on $(y_j-Q({\phi }_j,a_j;\theta ){)}^2$ 11:    end for 12: end for