第四篇:坐标轴下降法

坐标轴下降法

  坐标轴下降法顾名思义,沿着坐标轴下降。坐标轴下降法和梯度下降法使用的都是迭代法,即使用启发式的方式一步一步迭代求解函数的最小值。

  可以想象一个可微的凸函数$J(\omega)$,其中$\omega$是一个$n*1$维的向量。如果在这$n$维空间中存在着某一点$\overline{\omega}$能够使得$J(\omega)$在每一个坐标轴上都是最小的,那么我们则可以说$J(\overline{\omega})$是全局最小值。如二维空间$(x,y)$中的曲线$x^2$,当$x$和$y$都是最小的时候,即为曲线$x^2$最小值的时候。(注:Lasso回归的目标函数虽然不可微,但是由于目标函数非正则项是可微的,L1正则项是凸函数,因此也可以使用该结论。)

坐标轴下降法流程

联系管理员微信tutu19192010,注册账号

上一篇
下一篇
Copyright © 2022 Egon的技术星球 egonlin.com 版权所有 沪ICP备2022009235号 沪公网安备31011802005110号 青浦区尚茂路798弄 联系方式-13697081366