第三篇:牛顿法和拟牛顿法

牛顿法和拟牛顿法

  牛顿法(Newton method)和拟牛顿法(quasi-Newton method)和梯度下降法一样也是求解最优化问题的常用方法,但是他们的收敛速度比梯度下降法快。牛顿法是迭代算法,每一步都需要求目标函数的海森矩阵的逆矩阵,计算复杂;拟牛顿法通过正定矩阵近似海森矩阵的逆矩阵,简化这个计算过程。

牛顿法详解

无约束最优化问题

  对于一个约束问题
$$
\underbrace{min}_{x\in{R^n}}f(x)
$$
其中$x^*$为目标函数的极小点。

牛顿法迭代公式

联系管理员微信tutu19192010,注册账号

上一篇
下一篇
Copyright © 2022 Egon的技术星球 egonlin.com 版权所有 帮助IT小伙伴学到真正的技术