常见的概率分布模型 离散概率分布函数   离散概率分布也称为概率质量函数（probability mass function），离散概率分布的例子有     伯努利分布（Bernoulli distribution）     二项分布（binomia…

极大似然估计 最大似然原理 极大似然估计   极大似然估计是建立在最大似然原理的基础上的一个统计方法。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即“模型已定，参数未知”。通过观察若干次实验的结果，利用实验结果得到某个参数值能够使样本出现的概率最大，则称为极大似然估计。   简而言之，极大似然估计…

熵和信息增益 熵（Entropy）   熵表示随机变量不确定性的度量。假设离散随机变量$X$可以取到$n$个值，其概率分布为 $$ P(X=x_i)=pi, \quad i = 1,2,\ldots,n $$ 则$X$的熵定义为 $$ H(X) = -\sum{i=1}^n p_i log{pi} $$ 由于熵只依赖$X$的分布…