第五篇:前向选择法和前向梯度法 前向选择法和前向梯度法 由于前向选择法和前向梯度法的实现原理涉及过多的矩阵运算,本文只给出两种算法的思路。两者实现都是把矩阵中的向量运算具体化成平面几何中的向量运算。 前向选择法 前向选择法是一种典型的贪心算法。 通常用前向选择法解决线性模型的回归系数。对于一个有$m$个样本,… 机器学习,附录,附录一:优化算法 1190 字 | 5 分钟
第六篇:最小角回归法 最小角回归法 最小角回归相当于前向选择法和前向梯度法的一个折中算法,简化了前项梯度法因$\epsilon$的迭代过程,并在一定程度的保证了前向梯度法的精准度。 通常用最小角回归法解决线性模型的回归系数。对于一个有$m$个样本,每个样本有$n$个特征的训练集而言,假设可以拟合一个线性模型$Y=\omeg… 机器学习,附录,附录一:优化算法 820 字 | 4 分钟