支持向量回归
传统回归模型如线性回归，对于样本$(x,y)$是直接基于模型，通过预测值$f(x_i){y}$和真实值$y$之间的差别计算损失，并且当$f(x_i){y}=y$时损失才为零。
支持向量回归(support vector regression, SVR)则可以容忍$f(x_i){y}$和$y$之间有最多$\epsilon$的偏差，即当$|f(x_i){y}-y|>\epsilon$的时候才计算损失，这相当于以$f(x_i){y}$为中心，构建了一个宽度为$2\epsilon$的间隔带，如果样本落入间隔带，则他的分类就是正确的。
支持向量回归学习目标
- 支持向量机和支持向量回归的优化问题
- 支持向量回归目标函数的对偶形式
- 支持向量回归模型系数的稀疏性
- 核支持向量回归
- 支持向量机的优缺点
支持向量回归详解
支持向量机目标函数优化问题回顾
线性可分SVM目标函数优化问题为
$$
\begin{align}
& \underbrace{\min}_{\omega,b} {\frac{1}{2}}{||\omega||}^2 \
& s.t. \quad y_i(\omega{x_i}+b)\geq1, \quad i=1,2,\ldots,m
\end{align}
$$
线性SVM由于在目标函数中加入了松弛因子$\xii>0$，目标函数优化问题为
$$
\begin{align}
& \underbrace{\min}{\omega,b,\xi} {\frac{1}{2}}{||\omega||}^2 + C\sum_{i=1}^m\xi_i \
& s.t. \quad y_i(\omega{x_i}+b)\geq1-\xi_i, \quad i=1,2,\ldots,m \
& \quad\quad \xi_i\geq0, \quad i=1,2,\ldots,m
\end{align}
$$
支持向量回归损失度量函数
支持向量回归由于有一个间隔带，因此它的损失度量函数为
$$
l(f(x_i),y_i) =
\begin{cases}
0, & if\,|f(x_i)-y_i|\leq\epsilon \
|f(x_i)-y_i|-\epsilon, & if\,|f(x_i)-y_i|>\epsilon \
\end{cases}
$$
支持向量回归目标函数优化问题
由于SVR的间隔带是自己引入的，所以SVR的目标函数变为
$$
\underbrace{\min}{\omega,b}\,{\frac{1}{2}}{||\omega||}^2 + C\sum{i=1}^ml(f(x_i)-y_i)
$$
如果和线性SVM一样引入松弛因子，但是由于我们的误差度量中的$|f(x_i)-y_i|\leq\epsilon$是绝对值小于，因此这个不等式其实是两个不等式，则SVR需要引入两个松弛因子$\xi_i$和$\hat{\xii}$，则SVR的优化问题将变成
$$
\underbrace{\min}{\omega,b,\xi_i,\hat{\xii}}{\frac{1}{2}}||w||^2+C\sum{i=1}^m(\xi_i+\hat{\xi_i})
$$
$$
\begin{align}
s.t. & f(x_i)-y_i\leq\epsilon+\xi_i, \
& y_i-f(x_i)\leq\epsilon+\hat{\xi_i}, \
& \xi_i\geq0,\hat{\xi_i}\geq0,\,i=1,2,\cdots,m
\end{align}
$$
对SVR的优化问题引入拉格朗日乘子$\mu_i\geq0,\hat{\mu_i}\geq0,\alpha_i\geq0,\hat{\alphai}\geq0$，通过拉格朗日乘子法即可得到拉格朗日函数
$$
\begin{align}
& L(w,b,\alpha,\hat{\alpha},\xi,\hat{\xi},\mu,\hat{\mu}) \
& = \frac{1}{2}||w||^2+C\sum{i=1}^m(\xi_i+\hat{\xii})-\sum{i=1}^m\mu_i\xii-\sum{i=1}^m\hat{\mu_i}\hat{\xii} \
& +\sum{i=1}^m\alpha_i(f(x_i)-yi-\epsilon-\xi)+\sum{i=1}^m\hat{\alpha_i}(y_i-f(x_i)-\epsilon-\hat{\xi_i})
\end{align}
$$