第二节:Softmax回归

Softmax回归

  Softmax回归属于多分类$c_1,c_2,\ldots,c_k$模型,它通过估计某个样本属于$k$个类别的各自的概率达到多分类的目的。它是逻辑回归的一般形式,即当$k=2$的时候退化为逻辑回归。

Softmax回归详解

让步比

  由于softmax回归更多的是逻辑回归的多分类形式,此处只给出softmax的定义及公式。
  让步比可以理解成有利于某一特定事件的概率,可以定义为
$$
{\frac{p}{1-p}}
$$
  在已知二分类问题的情况下每个分类的概率分别为$\hat{y_i}$和$1-\hat{y_i}$,可以定义logit函数,即让步比的对数形式(log-odds)为
$$
\begin{align}
\log{it}(\hat{y_i}) & = \log{\frac{p(y=1|x,\omega)}{p(y=0|x,\omega)}} \
& = \log{\frac{\hat{y_i}}{1-\hat{y_i}}} \
& = \log{\frac{{\frac{1}{1+e^{-\omega^Tx}}}}{{\frac{-\omega^Tx}{1+e^{-\omega^Tx}}}}} \
& = \omega^Tx
\end{align}
$$
其中$\log{it}(p)$函数等于事件发生的概率除以不发生的概率取对数,即表示特征值和对数概率之间的线性关系。

不同类之间的概率分布

  现在假设有一个$k$元分类模型,即样本的输出值为$c_1,c_2,\ldots,c_k$,对于某一个实例预测为$ci$样本的概率总和为$1$,即
$$
\sum
{i=1}^k p(y=i|x,\omega) =1
$$
  该$k$元分类模型依据让步比的对数形式可以得到
$$
\begin{align}
& \ln{\frac{p(y=1|x,\omega)}{p(y=k|x,\omega)}} = {\omega_1^T}x \
& \ln{\frac{p(y=2|x,\omega)}{p(y=k|x,\omega)}} = {\omega2^T}x \
& \cdots \
& \ln{\frac{p(y=k-1|x,\omega)}{p(y=k|x,\omega)}} = {\omega
{k-1}^T}x \
& \ln{\frac{p(y=k|x,\omega)}{p(y=k|x,\omega)}} = {\omega_{k}^T}x = 0 \
\end{align}
$$
通过对上述公式化简可得
$$
\begin{align}
& {\frac{p(y=1|x,\omega)}{p(y=k|x,\omega)}} = e^{{\omega_1^T}x} \
& {\frac{p(y=2|x,\omega)}{p(y=k|x,\omega)}} = e^{{\omega2^T}x} \
& \cdots \
& {\frac{p(y=k-1|x,\omega)}{p(y=k|x,\omega)}} = e^{{\omega
{k-1}^T}x} \
\end{align}
$$
$$
\begin{align}
e^{{\omega_1^T}x}+e^{{\omega1^T}x}+\cdots+e^{{\omega{k-1}^T}x} & = \sum_{i=1}^{k-1} e^{{\omegai^T}x} \
& = {\frac{p(y=1|x,\omega)}{p(y=k|x,\omega)}} + {\frac{p(y=2|x,\omega)}{p(y=k|x,\omega)}} + \cdots + {\frac{p(y=k-1|x,\omega)}{p(y=k|x,\omega)}} \
& = {\frac{p(y=1|x,\omega)+p(y=2|x,\omega)+\cdots+p(y=k-1|x,\omega)}{p(y=k|x,\omega)}} \
& = {\frac{1-p(y=k|x,\omega)}{p(y=k|x,\omega)}} \
\end{align}
$$
既得$p(y=k|x,\omega)={\frac{1}{1+\sum
{i=1}^{k-1} e^{{\omega_i^T}x}}}$

  通过$p(y=k|x,\omega)$即可推出$p(y=j|x,\omega)={\frac{e^{{\omegaj^T}x}}{1+\sum{t=1}^{k-1} e^{{\omega_t^T}x}}} \quad j=1,2,\ldots,k-1$,因此可以得到$k$元分类模型的$k$个类的概率分布为
$$
p(c=k|x,\omega)=
\begin{cases}
{\frac{e^{{\omegaj^T}x}}{1+\sum{t=1}^{k-1} e^{{\omegat^T}x}}} \quad j=1,2,\ldots,k-1 \quad if类别为1,2,\ldots,k-1 \
{\frac{1}{1+\sum
{i=1}^{k-1} e^{{\omega_i^T}x}}} \quad if类别为k \
\end{cases}
$$

目标函数

联系管理员微信tutu19192010,注册账号

上一篇
下一篇
Copyright © 2022 Egon的技术星球 egonlin.com 版权所有 帮助IT小伙伴学到真正的技术