牛顿法和拟牛顿法

  牛顿法(Newton method)和拟牛顿法(quasi-Newton method)和梯度下降法一样也是求解最优化问题的常用方法，但是他们的收敛速度比梯度下降法快。牛顿法是迭代算法，每一步都需要求目标函数的海森矩阵的逆矩阵，计算复杂；拟牛顿法通过正定矩阵近似海森矩阵的逆矩阵，简化这个计算过程。

牛顿法详解

无约束最优化问题

  对于一个约束问题
$$
\underbrace{min}_{x\in{R^n}}f(x)
$$
其中$x^*$为目标函数的极小点。

牛顿法迭代公式