第七节:支持向量回归

支持向量回归

  传统回归模型如线性回归,对于样本$(x,y)$是直接基于模型,通过预测值$f(x_i){y}$和真实值$y$之间的差别计算损失,并且当$f(x_i){y}=y$时损失才为零。

  支持向量回归(support vector regression, SVR)则可以容忍$f(x_i){y}$和$y$之间有最多$\epsilon$的偏差,即当$|f(x_i){y}-y|>\epsilon$的时候才计算损失,这相当于以$f(x_i){y}$为中心,构建了一个宽度为$2\epsilon$的间隔带,如果样本落入间隔带,则他的分类就是正确的。

支持向量回归学习目标

  1. 支持向量机和支持向量回归的优化问题
  2. 支持向量回归目标函数的对偶形式
  3. 支持向量回归模型系数的稀疏性
  4. 核支持向量回归
  5. 支持向量机的优缺点

支持向量回归详解

支持向量机目标函数优化问题回顾

  线性可分SVM目标函数优化问题为
$$
\begin{align}
& \underbrace{\min}_{\omega,b} {\frac{1}{2}}{||\omega||}^2 \
& s.t. \quad y_i(\omega{x_i}+b)\geq1, \quad i=1,2,\ldots,m
\end{align}
$$
  线性SVM由于在目标函数中加入了松弛因子$\xii>0$,目标函数优化问题为
$$
\begin{align}
& \underbrace{\min}
{\omega,b,\xi} {\frac{1}{2}}{||\omega||}^2 + C\sum_{i=1}^m\xi_i \
& s.t. \quad y_i(\omega{x_i}+b)\geq1-\xi_i, \quad i=1,2,\ldots,m \
& \quad\quad \xi_i\geq0, \quad i=1,2,\ldots,m
\end{align}
$$

支持向量回归损失度量函数

  支持向量回归由于有一个间隔带,因此它的损失度量函数为
$$
l(f(x_i),y_i) =
\begin{cases}
0, & if\,|f(x_i)-y_i|\leq\epsilon \
|f(x_i)-y_i|-\epsilon, & if\,|f(x_i)-y_i|>\epsilon \
\end{cases}
$$

支持向量回归目标函数优化问题

  由于SVR的间隔带是自己引入的,所以SVR的目标函数变为
$$
\underbrace{\min}{\omega,b}\,{\frac{1}{2}}{||\omega||}^2 + C\sum{i=1}^ml(f(x_i)-y_i)
$$
  如果和线性SVM一样引入松弛因子,但是由于我们的误差度量中的$|f(x_i)-y_i|\leq\epsilon$是绝对值小于,因此这个不等式其实是两个不等式,则SVR需要引入两个松弛因子$\xi_i$和$\hat{\xii}$,则SVR的优化问题将变成
$$
\underbrace{\min}
{\omega,b,\xi_i,\hat{\xii}}{\frac{1}{2}}||w||^2+C\sum{i=1}^m(\xi_i+\hat{\xi_i})
$$
$$
\begin{align}
s.t. & f(x_i)-y_i\leq\epsilon+\xi_i, \
& y_i-f(x_i)\leq\epsilon+\hat{\xi_i}, \
& \xi_i\geq0,\hat{\xi_i}\geq0,\,i=1,2,\cdots,m
\end{align}
$$
  对SVR的优化问题引入拉格朗日乘子$\mu_i\geq0,\hat{\mu_i}\geq0,\alpha_i\geq0,\hat{\alphai}\geq0$,通过拉格朗日乘子法即可得到拉格朗日函数
$$
\begin{align}
& L(w,b,\alpha,\hat{\alpha},\xi,\hat{\xi},\mu,\hat{\mu}) \
& = \frac{1}{2}||w||^2+C\sum
{i=1}^m(\xi_i+\hat{\xii})-\sum{i=1}^m\mu_i\xii-\sum{i=1}^m\hat{\mu_i}\hat{\xii} \
& +\sum
{i=1}^m\alpha_i(f(x_i)-yi-\epsilon-\xi)+\sum{i=1}^m\hat{\alpha_i}(y_i-f(x_i)-\epsilon-\hat{\xi_i})
\end{align}
$$

支持向量回归目标函数对偶形式

联系管理员微信tutu19192010,注册账号

上一篇
下一篇
Copyright © 2022 Egon的技术星球 egonlin.com 版权所有 沪ICP备2022009235号 沪公网安备31011802005110号 青浦区尚茂路798弄 联系方式-13697081366