最小二乘法 最小二乘法，可以理解为最小平方和，即误差的最小平方和，在线性回归中，$误差=真实值-预测值$。最小二乘法的核心思想就是——通过最小化误差的平方和，使得拟合对象无限接近目标对象，最小二乘法一般解决线性问题。 最小二乘法——代数法 假设线性回归的假设函数为 $$ \begin{align} h…
第一篇：最小二乘法
第二篇： 梯度下降法
梯度下降法 在求解机器学习算法模型参数的时候，梯度下降法（gradient descent）和最小二乘法（least squares）是最经常使用的方法，由于梯度下降法衍生出的分支较多，所以在这里对梯度下降法单独做一个总结。 梯度下降法详解 梯度 梯度是在微积分中对多元函数的各个参数求偏导数，并且把求…