Algorithm 1 Our proposed Q-learning algorithm for the UAV path planning problem.

Input: Source location, destination location, and solution space Output: Optimal path for UAV from source to destination 1: Initialize $Q(\gamma ,\lambda )\leftarrow 0(\Gamma \hspace{0.33em}\mathrm{states},\hspace{0.33em}\Lambda \hspace{0.33em}\mathrm{actions})$; 2: for each episode do  3:    set ${\gamma }_t\leftarrow \lambda$ random state from state set $\Gamma$; 4:    while $({\gamma }_t\ne \mathrm{target})\hspace{0.33em}$do 5:       for each ${\lambda }_t^i\in \Lambda$ where $i\in [up,down,left,right]$ do 6:          Determine location $lo{c}_{{\lambda }_t^i}$ of agent by doing action ${\lambda }_t^i$ 7:          Calculate distance $dis{t}_t^i\in dis{t}_t$ from $lo{c}_{{\lambda }_t^i}$ to  Target location. 8:          Choose $lo{c}_{{\lambda }_t^i}$ corresponds to smallest $dis{t}_t^i$ from $dis{t}_t$ 9:         Choose ${\lambda }_t^i$ corresponds to $lo{c}_{{\lambda }_t^i}$ which makes the agent move closer to Target location 10:       end 11:       Perform action ${\lambda }_t^i$ and receive penalty or reward 12:      Update $Q({\gamma }_t,{\lambda }_t)$ 13:   end 14: end