第一篇:最小二乘法 最小二乘法 最小二乘法,可以理解为最小平方和,即误差的最小平方和,在线性回归中,$误差=真实值-预测值$。最小二乘法的核心思想就是——通过最小化误差的平方和,使得拟合对象无限接近目标对象,最小二乘法一般解决线性问题。 最小二乘法——代数法 假设线性回归的假设函数为 $$ \begin{align} h… 机器学习,附录,附录一:优化算法
第二篇: 梯度下降法 梯度下降法 在求解机器学习算法模型参数的时候,梯度下降法(gradient descent)和最小二乘法(least squares)是最经常使用的方法,由于梯度下降法衍生出的分支较多,所以在这里对梯度下降法单独做一个总结。 梯度下降法详解 梯度 梯度是在微积分中对多元函数的各个参数求偏导数,并且把求… 机器学习,附录,附录一:优化算法