Algorithm 2 Dynamic Learning Rate Adjustment Algorithm.

Require: Initial $Q$ value, learning rate $a$ decay coefficient for the moving average of squared gradients $\beta$, small constant $\lambda$ Ensure: Optimized $Q$ value 1: Initialize $Q-\mathrm{values}$ randomly or with prior knowledge 2: Initialize $E[\nabla Q^2]$ to a small positive value 3: for each episode do 4:    for each step in the episode do 5:    Choose an action $\alpha$ using the combined $\epsilon -\mathrm{greedy}$ and Boltzmann strategy 6:    Take action $\alpha$ observe the next state $s^{\prime }$ and the reward $r$ 7:    Calculate the TD error $\delta$ 8:    Update $E[\nabla Q^2]$ using the decay factor $\beta$ 9:    Update $Q-\mathrm{values}$ using the RMSprop update rule 10:   Move to the next state $s$ 11:    end for 12: end for 13: return $Q-\mathrm{values}$