坐标轴下降法 坐标轴下降法顾名思义，沿着坐标轴下降。坐标轴下降法和梯度下降法使用的都是迭代法，即使用启发式的方式一步一步迭代求解函数的最小值。 可以想象一个可微的凸函数$J(\omega)$，其中$\omega$是一个$n*1$维的向量。如果在这$n$维空间中存在着某一点$\overline{\ome…
第四篇：坐标轴下降法
第五篇：前向选择法和前向梯度法
前向选择法和前向梯度法 由于前向选择法和前向梯度法的实现原理涉及过多的矩阵运算，本文只给出两种算法的思路。两者实现都是把矩阵中的向量运算具体化成平面几何中的向量运算。 前向选择法 前向选择法是一种典型的贪心算法。 通常用前向选择法解决线性模型的回归系数。对于一个有$m$个样本，…
第六篇：最小角回归法
最小角回归法 最小角回归相当于前向选择法和前向梯度法的一个折中算法，简化了前项梯度法因$\epsilon$的迭代过程，并在一定程度的保证了前向梯度法的精准度。 通常用最小角回归法解决线性模型的回归系数。对于一个有$m$个样本，每个样本有$n$个特征的训练集而言，假设可以拟合一个线性模型$Y=\omeg…