Algorithm 1: Gradient Boosting

$\mathrm{initialization} {\mathrm{F}}_0\left(\mathrm{x}\right)={\arg \min }_{\mathrm{h}\subset \mathrm{H}}\mathrm{Loss}\left({\mathrm{y}}_{\mathrm{i}},\mathrm{h}\left({\mathrm{x}}_{\mathrm{i}}\right)\right)$

For$\mathrm{k}=1$:

$\mathrm{Calculate} \mathrm{the} \mathrm{negative} \mathrm{gradient} \mathrm{of} \mathrm{the} \mathrm{cumulative} \mathrm{model} \mathrm{loss} \mathrm{function} {\mathrm{g}}_{\mathrm{k}}=-\frac{\mathsf{\delta }\mathrm{Loss}\left(\mathrm{y},{\mathrm{F}}_{\mathrm{k}-1}\left(\mathrm{x}\right)\right)}{{\mathsf{\delta }\mathrm{F}}_{\mathrm{k}-1}\left(\mathrm{x}\right)}$

$\mathrm{The} \mathrm{fit} \mathrm{weak} \mathrm{learner} \mathrm{makes} {{\displaystyle \sum }}_{\mathrm{i}=1}^{\mathrm{N}}{\left({\mathrm{g}}_{\mathrm{k}}^{\mathrm{i}}-\mathrm{h}\left({\mathrm{x}}_{\mathrm{i}}\right)\right)}^2$

$\mathrm{Updating} \mathrm{cumulative} \mathrm{model} {\mathrm{F}}_{\mathrm{k}}={\mathrm{F}}_{\mathrm{k}-1}+\mathsf{\alpha }\mathrm{h}\left(\mathrm{x}\right)$$\mathrm{where} \mathsf{\alpha }$ is the learning rate

Up to an iteration-termination condition, $\mathrm{return} \mathrm{F}\left(\mathrm{x}\right)={\mathrm{F}}_{\mathrm{k}}\left(\mathrm{x}\right)$