熵和信息增益 熵（Entropy） 熵表示随机变量不确定性的度量。假设离散随机变量$X$可以取到$n$个值，其概率分布为 $$ P(X=x_i)=pi, \quad i = 1,2,\ldots,n $$ 则$X$的熵定义为 $$ H(X) = -\sum{i=1}^n p_i log{pi} $$ 由于熵只依赖$X$的分布…
第四篇：概率论-熵和信息增益
第五篇：概率论-条件概率
条件概率 条件概率简介 条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为：$p(A|B)$，读作“在B的条件下A的概率”。若只有两个事件A，B，那么 $$ p(A|B) = {\frac{p(AB)}{p(B)}} $$ 其中$p(AB)$表示$A$和$B$同时发生的概率，$p(B)$表示$B$发生…
第六篇：经济学-基尼指数
基尼指数 基尼指数简介 基尼指数（gini coefficient）代表了模型的不纯度，基尼指数越小，则不纯度越低；基尼指数越大，则不纯度越高，这和信息增益比是相反的。 假设一个训练集有$K$个类别，样本属于第$k$个类别的概率为$pk$，则它的基尼指数为 $$ G(p) = \sum{k=1}^K …