坐标轴下降法

坐标轴下降法顾名思义，沿着坐标轴下降。坐标轴下降法和梯度下降法使用的都是迭代法，即使用启发式的方式一步一步迭代求解函数的最小值。

可以想象一个可微的凸函数$J(\omega)$，其中$\omega$是一个$n*1$维的向量。如果在这$n$维空间中存在着某一点$\overline{\omega}$能够使得$J(\omega)$在每一个坐标轴上都是最小的，那么我们则可以说$J(\overline{\omega})$是全局最小值。如二维空间$(x,y)$中的曲线$x^2$，当$x$和$y$都是最小的时候，即为曲线$x^2$最小值的时候。(注：Lasso回归的目标函数虽然不可微，但是由于目标函数非正则项是可微的，L1正则项是凸函数，因此也可以使用该结论。)