Softmax回归
Softmax回归属于多分类$c_1,c_2,\ldots,c_k$模型，它通过估计某个样本属于$k$个类别的各自的概率达到多分类的目的。它是逻辑回归的一般形式，即当$k=2$的时候退化为逻辑回归。
Softmax回归详解
让步比
由于softmax回归更多的是逻辑回归的多分类形式，此处只给出softmax的定义及公式。
让步比可以理解成有利于某一特定事件的概率，可以定义为
$$
{\frac{p}{1-p}}
$$
在已知二分类问题的情况下每个分类的概率分别为$\hat{y_i}$和$1-\hat{y_i}$，可以定义logit函数，即让步比的对数形式（log-odds）为
$$
\begin{align}
\log{it}(\hat{y_i}) & = \log{\frac{p(y=1|x,\omega)}{p(y=0|x,\omega)}} \
& = \log{\frac{\hat{y_i}}{1-\hat{y_i}}} \
& = \log{\frac{{\frac{1}{1+e^{-\omega^Tx}}}}{{\frac{-\omega^Tx}{1+e^{-\omega^Tx}}}}} \
& = \omega^Tx
\end{align}
$$
其中$\log{it}(p)$函数等于事件发生的概率除以不发生的概率取对数，即表示特征值和对数概率之间的线性关系。
不同类之间的概率分布
现在假设有一个$k$元分类模型，即样本的输出值为$c_1,c_2,\ldots,c_k$，对于某一个实例预测为$ci$样本的概率总和为$1$，即
$$
\sum{i=1}^k p(y=i|x,\omega) =1
$$
该$k$元分类模型依据让步比的对数形式可以得到
$$
\begin{align}
& \ln{\frac{p(y=1|x,\omega)}{p(y=k|x,\omega)}} = {\omega_1^T}x \
& \ln{\frac{p(y=2|x,\omega)}{p(y=k|x,\omega)}} = {\omega2^T}x \
& \cdots \
& \ln{\frac{p(y=k-1|x,\omega)}{p(y=k|x,\omega)}} = {\omega{k-1}^T}x \
& \ln{\frac{p(y=k|x,\omega)}{p(y=k|x,\omega)}} = {\omega_{k}^T}x = 0 \
\end{align}
$$
通过对上述公式化简可得
$$
\begin{align}
& {\frac{p(y=1|x,\omega)}{p(y=k|x,\omega)}} = e^{{\omega_1^T}x} \
& {\frac{p(y=2|x,\omega)}{p(y=k|x,\omega)}} = e^{{\omega2^T}x} \
& \cdots \
& {\frac{p(y=k-1|x,\omega)}{p(y=k|x,\omega)}} = e^{{\omega{k-1}^T}x} \
\end{align}
$$
$$
\begin{align}
e^{{\omega_1^T}x}+e^{{\omega1^T}x}+\cdots+e^{{\omega{k-1}^T}x} & = \sum_{i=1}^{k-1} e^{{\omegai^T}x} \
& = {\frac{p(y=1|x,\omega)}{p(y=k|x,\omega)}} + {\frac{p(y=2|x,\omega)}{p(y=k|x,\omega)}} + \cdots + {\frac{p(y=k-1|x,\omega)}{p(y=k|x,\omega)}} \
& = {\frac{p(y=1|x,\omega)+p(y=2|x,\omega)+\cdots+p(y=k-1|x,\omega)}{p(y=k|x,\omega)}} \
& = {\frac{1-p(y=k|x,\omega)}{p(y=k|x,\omega)}} \
\end{align}
$$
既得$p(y=k|x,\omega)={\frac{1}{1+\sum{i=1}^{k-1} e^{{\omega_i^T}x}}}$
通过$p(y=k|x,\omega)$即可推出$p(y=j|x,\omega)={\frac{e^{{\omegaj^T}x}}{1+\sum{t=1}^{k-1} e^{{\omega_t^T}x}}} \quad j=1,2,\ldots,k-1$，因此可以得到$k$元分类模型的$k$个类的概率分布为
$$
p(c=k|x,\omega)=
\begin{cases}
{\frac{e^{{\omegaj^T}x}}{1+\sum{t=1}^{k-1} e^{{\omegat^T}x}}} \quad j=1,2,\ldots,k-1 \quad if类别为1,2,\ldots,k-1 \
{\frac{1}{1+\sum{i=1}^{k-1} e^{{\omega_i^T}x}}} \quad if类别为k \
\end{cases}
$$