最小二乘法 最小二乘法，可以理解为最小平方和，即误差的最小平方和，在线性回归中，$误差=真实值-预测值$。最小二乘法的核心思想就是——通过最小化误差的平方和，使得拟合对象无限接近目标对象，最小二乘法一般解决线性问题。 最小二乘法——代数法 假设线性回归的假设函数为 $$ \begin{align} h…
第一篇：最小二乘法
第二篇： 梯度下降法
梯度下降法 在求解机器学习算法模型参数的时候，梯度下降法（gradient descent）和最小二乘法（least squares）是最经常使用的方法，由于梯度下降法衍生出的分支较多，所以在这里对梯度下降法单独做一个总结。 梯度下降法详解 梯度 梯度是在微积分中对多元函数的各个参数求偏导数，并且把求…
第三篇：牛顿法和拟牛顿法
牛顿法和拟牛顿法 牛顿法(Newton method)和拟牛顿法(quasi-Newton method)和梯度下降法一样也是求解最优化问题的常用方法，但是他们的收敛速度比梯度下降法快。牛顿法是迭代算法，每一步都需要求目标函数的海森矩阵的逆矩阵，计算复杂；拟牛顿法通过正定矩阵近似海森矩阵的逆矩阵，简化这个计算过程。 牛顿法详…