条件分布算法

A. 贝叶斯网专题1：信息论基础

目录
[toc]

贝叶斯网是一种将概率统计应用于复杂领域，进行不确定性推理和数据分析的工具，其在机器学习和人工智能领域具有重要的基础性地位。从技术层面讲，贝叶斯网可系统地描述随机变量之间关系，构造贝叶斯网的主要目的是进行概率推理。
理论上，进行概率推理只需要一个联合概率分布即可，但联合概率分布的复杂度与随机变量规模呈指数级关系，在解决实际问题时不可行。贝叶斯网为解决该问题提供了方法，通过贝叶斯网可将复杂的联合概率分布分解为一系列规模较小的子模块，从而降低训练和推理的复杂度。
本人将主要依据香港科大张连文教授的《贝叶斯网引论》，对其中重要内容进行精炼，并通过接下来的几篇博客对贝叶斯网展开专题介绍，分三大部分进行：

信息论是基于概率论的一门研究信息传输和处理的数学理论。它不仅是信息技术的基础，也在统计力学、机器学习等领域发挥重要作用。在构建贝叶斯网的过程中，可以用信息论来进行分析。

Jesen不等式源于函数的凹凸性。在数学中，称一个函数为凹函数是指向上凹，凸函数是指向下凸，如下图所示。

证明
用归纳法证明，当 时，式(1)恒等。假设式(1)在 时成立，证明它在 时也成立，即：

命题得证。
Jensen不等式是与函数凹凸性有关的基本性质，在信息论中常会用到，比如用于计算信息熵的对数函数就满足凹函数的Jensen不等式，这在后文证明信息熵的性质时会用到。

一个离散随机变量 的熵 的定义为：

其中，约定 .上式的对数若以2为底，则熵的单位是比特，若以e为底，则单位是奈特，后文将都以比特为单位。
熵在热力学中表示系统的混乱程度，在概率论中表示随机变量的不确定程度，在信息论中表示对信源的期望编码长度。
先来解释下信息论中期望编码长度：假设有一个信源，可产生A、B、C三种不同的信息，产生的概率分别为1/2、1/4和1/4，我们要设计一套编码系统来记录这个信源所产生的信息，所用的比特位数越少越好。显然，我们应该为出现概率大的信息分配码长较短的编码，其长度可通过 来确定，比如我们为A分配码长为1的编码，为B和C分配码长为2的编码，通过霍夫曼编码算法，可将A编码为0，将B和C编码为10和11.此时，该信源的编码平均码长则为

由此我们可知，熵代表了对信源进行最优编码时的期望编码长度。反过来看，如果将这个信源用一个随机变量来表示，若该随机变量的不确定性越高（产生的信息种类越多、各种类出现的概率越平均），则需要用来编码该信源的期望编码长度也会越大，反之则越短。因而，熵又可以表示随机变量的不确定程度。
例如，一个取值为0或1的随机变量 ，计 ，根据熵的定义，有：

随着p的变化， 的变化曲线如下图：

证明：
(1)根据熵的定义， 显然成立。
(2)log为上凹函数，根据Jensen不等式有：

命题得证。

联合熵是基于联合概率分布对熵的推广。两个离散随机变量X和Y的联合熵定义为：

条件熵是基于条件概率分布对熵的推广。随机变量X的熵时用它的概率分布P(X)来定义的。如果知道另一个随机变量Y的取值为y，那么X的条件分布即为P(X|Y=y)。利用此条件分布可定义给定Y=y时X的条件熵：

熵H(X)度量的是随机变量X的不确定性，条件熵H(X|Y=y)度量的则是已知Y=y后，X的不确定性。
上式(3)中，当y变化时，H(X|Y=y)也会发生改变，当知道Y的概率分布后，可以计算X关于Y的条件熵的期望值：

H(X|Y)称为给定Y时X的条件熵。
注意：H(X|Y)和H(X|Y=y)不一样，后者是已知Y取某一特定值时X的条件熵，即已知Y=y后，X剩余的不确定性。而前者时在未知Y的取值时，对观测到Y的取值后X剩余的不确定性的期望值。尤其值得注意的是，H(X|Y=y)可能比H(X)大，即知道Y的某个具体取值后，有可能增大对X的不确定性。而H(X|Y)永远不会比H(X)大，即平均来说，知道Y不会增加X的不确定性。下面给出一个具体的例子加以比较：
设已知联合分布P(X,Y)及其边缘分布P(X)和P(Y)如下表所示：

从而可得出：

可以看到：观测到 后，可使X的熵减小；观测到 后，反而使X的熵增大；但平均而言，对Y的观测使X的熵减小。
由此，我们定义互信息量为：

称为Y关于X的信息，表示Y中包含多少关于X的信息。很容易证明 ，因此又称之为X和Y之间的互信息。

证明：

同理可得：

因此， 得证。

证明：

同理可证

证明：
等式左边：

等式右边：

从而等式成立。
联合熵、条件熵和互信息之间的关系，可用如下文氏图来表示它们之间的关系：

在1.1.2节介绍熵的概念时，介绍了熵的期望编码长度的意义。交叉熵的概念也可以从期望编码长度的意义出发进行理解。
若信源X的理论概率分布为Q(X)，但其实际概率分布为P(X)，则使用理论概率分布构建的霍夫曼编码在实际概率分布下的期望编码长度即为交叉熵，定义为：

相对熵则定义为交叉熵与熵之差，即按照信源的理论概率分布Q设计的最优编码的期望码长会比按照实际概率分布P设计的最优编码的期望码长多几个比特。其定义如下：

其中约定： ； .
KL(P,Q)又称为P(X)和Q(X)之间的Kullback-Leibler距离，或KL散度。但严格来讲，它并不是一个真正意义的距离，因为其不满足对称性。

证明：

信息不等式得证。
利用KL散度可以度量两个概率分布之间的差异。

从1.1.3节给出的联合熵、条件熵与互信息之间关系的文氏图可以看出：对于随机变量X和Y，当互信息I(X,Y)=0时，X和Y相互独立；且 ，等号也在X和Y独立时成立。我们也可以给出严格证明。
证明：

由KL散度大于等于0可得： ，当且仅当P(X,Y)=P(X)P(Y)时等号成立，即X与Y相互独立。
由于 ，所以 ，等号在X与Y相互独立时成立。
从信息论的角度，我们可以看出：两个随机变量相互独立等价于它们之间的互信息为0.
该结论还可以进一步推广到三个随机变量的情况。
对于随机变量X,Y,Z，条件熵H(X|Z)是给定Z时X剩余的不确定性，如果再进一步给定Y，X剩余的不确定性变为H(X|Z,Y)。这两者之差即为给定Z时观测Y的取值会带来的关于X的信息量，即给定Z时X和Y之间的条件互信息，定义如下：

类似上文证明 ，我们也容易证明：

类似上文证明 和 ，我们也容易证明：

其中等号仅在X与Y在给定Z时互相独立的情况下成立，记作 .
从信息论的角度，我们可以看出：给定Z时，两个随机变量X和Y相互条件独立等价于它们的条件互信息为0，即Y关于X的信息已全部包含在Z中，从而观测到Z后，再对Y进行观测不会带来关于X更多的信息。另一方面，如果X和Y在给定Z时相互不独立，则 ，即在已知Z的基础上对Y的进一步观测将会带来关于X的新信息，从而降低X的不确定性。

B. 概率怎么过啊

概率论与数理统计初步主要考查考生对研究随机现象规律性的基本概念、基本理论和基本方法的理解，以及运用概率统计方法分析和解决实际问题的能力。

随机事件和概率考查的主要内容有：

(1)事件之间的关系与运算，以及利用它们进行概率计算；
概率论与数理统计知识点与考点
第一章知识点：18
§1.1 随机试验:随机试验的三个特点。
（1）样本空间：样本空间；样本点；
（2）随机事件：随机事件；事件发生；基本事件；必然事件；不可能事件；
（3）事件间的关系与事件的运算：包含关系；相等关系；互不相容；和事件、积事件、
差事件、对立事件；
（4）事件的运算律。
§1.2、概率的定义及运算:
（1）频率定义；（2）概率的统计定义，（3）概率公理化定义，（4）古典概型，（5）几何概型
§1.3、条件概率：
（1）定义；（2）性质；（3）乘法公式。（4）全概率公式，（5）贝叶斯公式；，
§1.4事件的独立性：（1）两事件相互独立的性质；（2）三（多）个事件相互独立的定义，（3）伯努利试验模型
考点：1、事件的表示和运算，2、有关概率基本性质的命题，3、古典概型的计算，
4、几何概型的计算，5、事件的独立性的命题，6、条件概率与积事件概率的计算，
7、全概率公式和Bayce公式的命题，8、Bernoulli试验。
第二章知识点：19
§2.1 (1) 随机变量的定义；(2)随机变量的分布函数及其性质
§2.2 离散型随机变量及其概率分布：
（1）离散型随机变量的定义；
（2）离散型随机变量的分布律；
几种常见的离散型随机变量：(1) (0－1)分布；(2) 二项分布；(3) 泊松分布；
（4）超几何分布；（5）几何分布；（6）帕斯卡（Pascal）分布，
掌握每一种分布的模型，写出其分布律或分布密度。
§2.3连续型随机变量及其概率分布:
（1）分布函数的定义；
（2）分布函数的基本性质；
（3）分布函数与离散型随机变量的分布律之间的联系；
（4）连续型随机变量的概率密度的定义；
（5）概率密度的性质；
几种常见的连续型随机变量
（一）均匀分布：（1）概率密度；（2）分布函数；
（二）正太分布：（1）概率密度；（2）分布函数；
§2.4 随机变量的函数的分布
（1）离散型随机变量的函数的分布
（2）连续型随机变量的函数的分布
考点：1、有关分布律、分布函数以及分布密度的基本概念的命题，
2、有关分布律、分布密度以及分布函数之间的关系的命题，
3、已知事件发生的概率，反求事件中的参数，4、利用常见分布求相关事件的概率，
5、求随机变量的分布律、分布密度以及分布函数，6、求随机变量函数的分布。
第三章知识点：13
§3.1 多维随机变量及其分布
（一）（1）二维随机变量的定义；
（二）（1）二维随机变量的联合分布函数的定义与基本性质；（2）边缘分布函数的定义与基本性质
（三）离散型的二维随机变量：（1）联合分布律，（2）边缘分布律，（3）分布函数；
（四）连续型的二维随机变量：（1）联合概率密度，（2）边缘概率密度，（3）有关性质
（五）推广：（1）n维随机变量及其分布
§3.2二维随机变量的条件分布 （不讲，不考）
§3.3 （1）二维随机变量的独立性的定义；
§3.4 两个随机变量的函数及其分布：（1）两个离散型随机变量的函数的概率分布，
（2）两个连续型随机变量的函数的概率分布（主要是和以及最值）
考点：1、有关二维随机变量及其分布的基本概念和性质的命题，
2、有给定的试验确定各种概率分布，
3、由给定的事件或随机变量定义新的二维随机变量的联合分布的计算，
4、由给定的联合分布或联合密度求边缘分布，
5、利用已知分布、独立性等计算相关事件的概率，6、求随机变量函数的分布，
7、随机变量的独立性。
第四章知识点：15
§4.1（一）离散型随机变量的数学期望的定义；（二）连续型随机变量的数学期望的定义；
（三）随机变量的函数的数学期望； （四）数学期望的性质
§4.2随机变量的（1）方差的定义；（2）标准差；（3）性质。（4）离散型及连续型随机变量的方差；（5）方差的计算公式；
§4.3（1泊松分布数学期望与方差、（2）均匀分布数学期望与方差、（3）指数分布的数学期望与方差；（4）二项分布数学期望与方差、（5）正态分布的数学期望与方差；
§4.4（1）协方差与相关系数的定义及计算；（2）矩的定义及计算。
考点：1、求离散型随机变量的期望与方差，2、求连续型随机变量的期望与方差，
3、求随机变量函数的期望与方差，4、有关协方差、相关系数、矩的讨论与计算。

第五章知识点：5
§5.1 大数定律
（一）切比雪夫不等式及应用
（二）（1）伯努利大数定律，（2）切比雪夫大数定律
§5.2 中心极限定理
（一）独立同分布中心极限定理；
（二）德莫佛－拉普拉斯定理及其应用举例
考点：1、有关车比雪夫不等式与大数定律的命题，2、有关中心极限定理的命题。
第六章知识点：10
§6.1 随机样本：（1）总体，个体，简单随机样本，样本值等；（2）统计量定义；
几个常用的统计量：（1）样本均值，（2）样本方差，（3）样本标准差等；（4）阶样本原点矩，（5）阶样本中心矩。
§6.2抽样分布：（1）分布，（2）分布（学生分布），（3）常见统计量的分布。
考点：1、求样本的联合分布函数，2、求统计量的数字特征，3、求统计量的分布，
4、求统计量取值的概率、样本的容量。
第七章知识点：12
§7.1参数的点估计方法： （1）矩估计法；（2）极大似然估计法
似然函数：离散型；连续型；
§7.2点估计的评价标准
（一）（1）无偏性、（2）有效性、（3）一致性（自学）
§7.3 区间估计
（一）区间估计的概念：（1）置信区间，置信水平；枢轴量。
（二）（1）求未知参数的置信区间的步骤
（三）正态总体均值与方差的区间估计（只讲单正态总体情形）
（1）均值的置信区间；（2）方差的置信区间；（3）单侧置信区间；
考点：1、求矩法估计和极大似然估计，2、估计量的评选标准的讨论，
3、求参数的区间估计。
第八章知识点：10
§8.1 （一） 假设检验的基本概念：（1）检验统计量；原假设；备择假设；拒绝域；（2）两类错误；
（二）（1）假设检验的程序；
§8.2 （一）单个正态总体均值的假设检验
（1）已知，检验（Z检验） （2）未知，检验（t检验）
（三） 单个正态总体方差的假设检验
（1）未知，检验（检验） （2）已知，检验（检验）
两类假设检验要分清：（1）双边假设检验，（2）左边假设检验，（3）右边假设检验
考点：1、单个正态总体均值的假设检验，
2、单个正态总体方差的假设检验。

(2)概率的定义及性质，利用概率的性质计算一些事件的概率；

(3)古典概型与几何概型；

(4)利用加法公式、条件概率公式、乘法公式、全概率公式和贝叶斯公式计算概率；

(5)事件独立性的概念，利用独立性计算事件的概率；

(6)独立重复试验，伯努利概型及有关事件概率的计算。

要求考生理解基本概念，会分析事件的结构，正确运用公式，掌握一些技巧，熟练地计算概率。

随机变量及概率分布考查的主要内容有：

(1)利用分布函数、概率分布或概率密度的定义和性质进行计算；

(2)掌握一些重要的随机变量的分布及性质，主要的有：（0-1）分布、二项分布、泊松分布、几何分布、超几何分布、均匀分布、指数分布和正态分布，会进行有关事件概率的计算；

(3)会求随机变量的函数的分布。

(4)求两个随机变量的简单函数的分布，特别是两个独立随机变量的和的分布。

要求考生熟练掌握有关分布函数、边缘分布和条件分布的计算，掌握有关判断独立性的方法并进行有关的计算，会求两个随机变量函数的分布。

随机变量的数字特征考查的主要内容有：

(1)数学期望、方差的定义、性质和计算；

(2)常用随机变量的数学期望和方差；

(3)计算一些随机变量函数的数学期望和方差；

(4)协方差、相关系数和矩的定义、性质和计算；

要求考生熟练掌握数学期望、方差的定义、性质和计算，掌握由给出的试验确定随机变量的分布，再计算有关的数字的特征的方法，会计算协方差、相关系数和矩，掌握判断两个随机变量不相关的方法。

大数定律和中心限定理考查的主要内容有：

(1)切比雪夫不等式；

(2)大数定律；

(3)中心极限定理。

要求考生会用切比雪夫不等式证明有关不等式，会利用中心极限理进行有关事件概率的近似计算。

数理统计的基本概念考查的主要内容有：

(1)样本均值、样本方差和样本矩的概念、 性质及计算；

(2)χ2分布、t分布和F分布的定义、性质及分位数；

(3)推导某些统计量的（特别是正态总体的某些统计量）的分布及计算有关的概率。

要求考生熟练掌握样本均值、样本方差的性质和计算，会根据 χ2分布、 t分布和 F分布的定义和性质推导有关正态总体某些统计的计量的分布。

参数估计考查的主要内容有：

(1)求参数的矩估计、极大似然估计；

(2)判断估计量的无偏性、有效性、一致性；

(3)求正态总体参数的置信区间。

要求考生熟练地求得参数的矩估计、极大似然估计并判断无偏性，会求正态总体参数的置信区间。

假设检验考查的显着的主要内容有：

(1)正态总体参数的显着性检验；

(2)总体分布假设的χ2检验。

要求考生会进行正态总体参数的显着性检验和总体分布假设的 χ2检验。

常有的题型有：填空题、选择题、计算题和证明题，试题的主要类型有：

(1)确定事件间的关系，进行事件的运算；

(2)利用事件的关系进行概率计算；

(3)利用概率的性质证明概率等式或计算概率；

(4)有关古典概型、几何概型的概率计算；

(5)利用加法公式、条件概率公式、乘法公式、全概率公式和贝叶斯公式计算概率；

(6)有关事件独立性的证明和计算概率；

(7)有关独重复试验及伯努利概率型的计算；

(8)利用随机变量的分布函数、概率分布和概率密度的定义、性质确定其中的未知常数或计算概率；

(9)由给定的试验求随机变量的分布；

(10)利用常见的概率分布（例如（0-1）分布、二项分布、泊松分布、几何分布、均匀分布、指数分布、正态分布等）计算概率；

(11)求随机变量函数的分布

(12)确定二维随机变量的分布；

(13)利用二维均匀分布和正态分布计算概率；

(14)求二维随机变量的边缘分布、条件分布；

(15)判断随机变量的独立性和计算概率；

(16)求两个独立随机变量函数的分布；

(17)利用随机变量的数学期望、方差的定义、性质、公式，或利用常见随机变量的数学期望、方差求随机变量的数学期望、方差；

(18)求随机变量函数的数学期望；

(19)求两个随机变量的协方差、相关系数并判断相关性；

(20)求随机变量的矩和协方差矩阵；

(21)利用切比雪夫不等式推证概率不等式；

(22)利用中心极限定理进行概率的近似计算；

(23)利用t分布、χ2分布、F分布的定义、性质推证统计量的分布、性质；

(24)推证某些统计量（特别是正态总体统计量）的分布；

(25)计算统计量的概率；

(26)求总体分布中未知参数的矩估计量和极大似然估计量；

(27)判断估计量的无偏性、有效性和一致性；

(28)求单个或两个正态总体参数的置信区间；

(29)对单个或两个正态总体参数假设进行显着性检验；

(30)利用χ2检验法对总体分布假设进行检验。

这一部分主要考查概率论与数理统计的基本概念、基本性质和基本理论，考查基本方法的应用。对历年的考题进行分析，可以看出概率论与数理统计的试题，即使是填空题和选择题，只考单一知识点的试题很少，大多数试题是考查考生的理解能力和综合应用能力。要求考生能灵活地运用所学的知识，建立起正确的概率模型，综合运用极限、连续函数、导数、极值、积分、广义积分以及级数等知识去解决问题。

在解答这部分考题时，考生易犯的错误有：

（1） 概念不清，弄不清事件之间的关系和事件的结构；

（2） 对试验分析错误，概率模型搞错；

（3） 计算概率的公式运用不当；

（4） 不能熟练地运用独立性去证明和计算；

（5） 不能熟练掌握和运用常用的概率分布及其数字特征；

（6） 不能正确应用有关的定义、公式和性质进行综合分析、运算和证明。

综合历年考生的答题情况，得知概率论与数理统计试题的得分率在 0.3 左右，区分度一般在 0.40 以上。这表明试题既有一定的难度，又有较高的区分度。

C. EM算法和混合高斯模型（一）

EM（Expectation Maximization）算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计，或极大后验估计。EM算法的每次迭代由两步组成：E步，求期望（expectation）；M步，求极大值，因而被称为期望极大算法，简称EM算法。

本文从EM算法的引入说起，简单介绍EM算法的推导过程，以及其在高斯混合模型中的应用。更多的关于EM算法的推导细节，可参见 人人都懂EM算法 。

假设我们需要调查我们学校学生的身高分布。我们先假设学校所有学生的身高服从正态分布 。( 注意：极大似然估计的前提一定是要假设数据总体的分布，如果不知道数据分布，是无法使用极大似然估计的 )，这个分布的均值μ和标准差为σ 未知，如果我们估计出这两个参数，那我们就得到了最终的结果。那么怎样估计这两个参数呢？

学校的学生这么多，我们不可能挨个统计吧？这时候我们需要用到概率统计的思想，也就是抽样，根据样本估算总体。假设我们随机抽到了 200 个人（也就是 200 个身高的样本数据，为了方便表示，下面“人”的意思就是对应的身高）。然后统计抽样这 200 个人的身高。根据这 200 个人的身高估计均值 μ和方差σ 。例子来自 人人都懂EM算法 。

现在我们假设这200个人的身高服从一个正态分布N(μ，σ)，因此可以直接使用极大似然估计方法估计出这个分布的参数μ和σ。

但是，这200个人的身高真的是服从同一个正态分布吗？实际情况并不是这样的，男生和女生分别服从两种不同的正态分布，即男生 女生各服从一个正态分布 ，( 注意：EM算法和极大似然估计的前提是一样的，都要假设数据总体的分布，如果不知道数据分布，是无法使用EM算法的 )，而且假设我们现在只有身高数据，丢失了性别数据，那么该怎样评估学生的身高分布呢？

这个时候，对于每一个样本或者你抽取到的人，就有两个问题需要估计了，一是这个人是男的还是女的，二是男生和女生对应的身高的正态分布的参数是多少。这两个问题是相互依赖的：

但是现在我们既不知道每个学生是男生还是女生，也不知道男生和女生的身高分布。这就成了一个先有鸡还是先有蛋的问题了。鸡说，没有我，谁把你生出来的啊。蛋不服，说，没有我，你从哪蹦出来啊。为了解决这个你依赖我，我依赖你的循环依赖问题，总得有一方要先打破僵局，不管了，我先随便整一个值出来，看你怎么变，然后我再根据你的变化调整我的变化，然后如此迭代着不断互相推导，最终就会收敛到一个解（草原上的狼和羊，相生相克）。这就是EM算法的基本思想了。

EM的意思是“Expectation Maximization”，具体方法为：

上面的学生属于男生还是女生我们称之为隐含参数，女生和男生的身高分布参数称为模型参数。

EM 算法解决这个的思路是使用启发式的迭代方法，既然我们无法直接求出模型分布参数，那么我们可以先猜想隐含参数（EM 算法的 E 步），接着基于观察数据和猜测的隐含参数一起来极大化对数似然，求解我们的模型参数（EM算法的M步)。由于我们之前的隐含参数是猜测的，所以此时得到的模型参数一般还不是我们想要的结果。我们基于当前得到的模型参数，继续猜测隐含参数（EM算法的 E 步），然后继续极大化对数似然，求解我们的模型参数（EM算法的M步)。以此类推，不断的迭代下去，直到模型分布参数基本无变化，算法收敛，找到合适的模型参数。

在开始介绍EM算法之前，让我们先来了解一个重要的定理——Jensen不等式。

如下图，如果函数f(x)是凸函数，x是随机变量，有 0.5 的概率是 a，有 0.5 的概率是 b， x的期望值就是 a 和 b 的中值了，那么：

对于m个相互独立的样本:

假如没有隐含变量z， 我们仅需要找到合适的θ极大化对数似然函数即可:

现在我们给定一个θ值（初始化θ），那么logL(θ)的值就取决于Q i (z)和P(x (i) ,z (i) )。我们可以通过调整这两个概率使下届逼近logL(θ)的真实值，当不等式变为等式时，说明我们调整后的下届就等于logL(θ)了。由Jeson不等式可知，等式成立的条件是随机变量是常数，则有：

如果Q i (z (i) ) = P(z (i) |x (i) , θ)，则（2）式使我们包含隐藏数据的对数似然函数的一个下届。如果我们能极大化这个下届，则也在尝试极大化我们的对数似然函数。即我们需要极大化下式：

由于对logaf(x)求导的结果与f(x)的系数无关（(ln(ax))'= (lna + lnx)'=1/x），因此对θ求极大似然时，可以去掉式中的常数部分Q i (z (i) )：

现在，让我们来总结一下EM算法的流程。

输入：观察数据x = (x (1) , x (2) , ... , x (m) ), 联合分布P(x, z|θ)，条件分布P(z|x,θ)，极大迭代次数J。
（1）随机初始化模型参数θ值；
（2）迭代求解各个分布模型的参数以及各个模型的概率：
for j from 1 to J:

输出：模型参数θ

图中的直线式迭代优化的路径，可以看到每一步都会向最优值前进一步，而且前进路线是平行于坐标轴的，因为每一步只优化一个变量。

这犹如在x-y坐标系中找一个曲线的极值，然而曲线函数不能直接求导，因此什么梯度下降方法就不适用了。但固定一个变量后，另外一个可以通过求导得到，因此可以使用坐标上升法，一次固定一个变量，对另外的求极值，最后逐步逼近极值。对应到EM上，E步：固定 θ，优化Q；M步：固定 Q，优化 θ；交替将极值推向极大。

E步 ：初始化θ A =0.6和θ B =0.5（θ A 和θ B 分别表示两个硬币出现正面的概率），计算每次掷硬币选择A和B的概率，例如第一个实验中选择A的概率为：

M步 ：求出似然函数下届Q(θ，θ i ), y i 代表第j次试验正面朝上的个数，μ j 代表第j次试验选择硬币A的概率，1-μ j 代表第j次试验选择硬币B的概率。

参考：
人人都懂EM算法
《统计学习方法》. 李航

D. 贝叶斯分类中假定2类的类条件分布概率是正态分布怎么求先验概率

用matlab求态布概率函数normpdf使用格式
Y
=
normpdf(X,mu,sigma)
mu——均值μ
sigma——标准偏差σ
例：
>>
Y
=
normpdf(1.5,0.5,1)
Y
=
0.24197

E. 条件概率分布函数

任何基于像元的随机模拟算法均要求获取待模拟点的条件概率分布函数(conditional probability distribution function,cpdf),即对于任一未取样点,需要确定在给定n个条件数据(记为S(u_α)=s_k,α=1,…n)的情况下,属性S(u)取k个状态中任一个状态的概率。在多点统计模拟中,该概率可记为prob{s(u)=s_k|d_n},其中,dn为由n个条件数据联合构成的数据事件。根据贝叶斯条件概率公式,该概率可表达为

多点地质统计学原理、方法及应用

式中:分母为条件数据事件(S(u_α)=s_k,α=1,…n)出现的概率,可从公式(2-2)获取;分子为条件数据事件及未取样点u取s_k状态的情况同时出现的概率,相当于在已有的c(d_n)个重复中,s(u)=s_k的重复个数与侵蚀的训练图像大小N_n的比值,记为c_k(d_n)/N_n。局部条件概率分布函数可表达为

多点地质统计学原理、方法及应用

因此,通过扫描训练图像,可获取未取样点处的条件概率分布函数。如图2-1所示,图2-1(a)为模拟目标区内一个由未取样点及其邻近的四个井数据(u₂和u₄代表河道,u₁和u₃代表河道间)组成的数据事件。当应用该数据事件对图2-2(b)的训练图像进行扫描时,可得到4个重复,即c(d_n)=4。其中,中心点为河道(黑色)的重复为3个,即c₁(d_n)=3;而中心点为河道间(白色)的重复为1个,即c₂(d_n)=1。因此,该未取样点为河道的概率可定为3/4,而河道间的概率为1/4。

F. 概率分布律怎么写

概率论与数理统计初步主要考查考生对研究随机现象规律性的基本概念、基本理论和基本方法的理解，以及运用概率统计方法分析和解决实际问题的能力。常有的题型有：填空题、选择题、计算题和证明题，试题的主要类型有：
(1)确定事件间的关系，进行事件的运算；
(2)利用事件的关系进行概率计算；
(3)利用概率的性质证明概率等式或计算概率；
(4)有关古典概型、几何概型的概率计算；
(5)利用加法公式、条件概率公式、乘法公式、全概率公式和贝叶斯公式计算概率；
(6)有关事件独立性的证明和计算概率；
(7)有关独重复试验及伯努利概率型的计算；
(8)利用随机变量的分布函数、概率分布和概率密度的定义、性质确定其中的未知常数或计算概率；
(9)由给定的试验求随机变量的分布；
(10)利用常见的概率分布(例如(0-1)分布、二项分布、泊松分布、几何分布、均匀分布、指数分布、正态分布等计算概率；
(11)求随机变量函数的分布(12)确定二维随机变量的分布；
(13)利用二维均匀分布和正态分布计算概率；
(14)求二维随机变量的边缘分布、条件分布；
(15)判断随机变量的独立性和计算概率；
(16)求两个独立随机变量函数的分布；
(17)利用随机变量的数学期望、方差的定义、性质、公式，或利用常见随机变量的数学期望、方差求随机变量的数学期望、方差；
(18)求随机变量函数的数学期望；
(19)求两个随机变量的协方差、相关系数并判断相关性；
(20)求随机变量的矩和协方差矩阵；
(21)利用切比雪夫不等式推证概率不等式；
(22)利用中心极限定理进行概率的近似计算；
(23)利用t分布、χ2分布、F分布的定义、性质推证统计量的分布、性质；
(24)推证某些统计量(特别是正态总体统计量)的分布；
(25)计算统计量的概率；
(26)求总体分布中未知参数的矩估计量和极大似然估计量；
(27)判断估计量的无偏性、有效性和一致性；
(28)求单个或两个正态总体参数的置信区间；
(29)对单个或两个正态总体参数假设进行显着性检验；
(30)利用χ2检验法对总体分布假设进行检验。
这一部分主要考查概率论与数理统计的基本概念、基本性质和基本理论，考查基本方法的应用。对历年的考题进行分析，可以看出概率论与数理统计的试题，即使是填空题和选择题，只考单一知识点的试题很少，大多数试题是考查考生的理解能力和综合应用能力。要求考生能灵活地运用所学的知识，建立起正确的概率模型，综合运用极限、连续函数、导数、极值、积分、广义积分以及级数等知识去解决问题。

G. 大学概率论要补考,但我跟本啥也没学过,求有经验的人指导下,补考一定要过的

考试要求: 不允许带 计算器.

考试题型: 填空, 判断, 选择, 计算.

复习重点:
第一章
事件关系运算,
概率的定义性质,
简单的古典概型的计算,
基本的公式(比如: 全概公式, 贝叶斯公式, 乘法公式, 条件概率公式 等),
事件独立性的定义, 以及判断事件的独立性, 注意两两独立与相互独立的关系.

第二章
分布律, 概率密度, 分布函数的定义, 性质(会求其中的未知常数),
常见的分布: (0-1)分布, 二项分布, 泊松分布, 指数分布, 均匀分布, 正态分布. 几何分布,巴斯卡分布和超几何分布会从题目中写出分布即可.
一维正态分布的图像, 性质, 用标准化变换求概率.
一维随机变量 密度与分布函数的相互确定, 密度与概率的相互确定, 以及一维随机变量函数的分布.

第三章
联合分布律, 联合分布函数, 联合概率密度的定义, 性质(会求其中的未知常数). 会求二维离散型随机变量的联合分布律.
会求边缘分布, 条件分布, 会判断随机变量的独立性.
会求 (离散型, 连续型).
二维随机变量函数的分布: 形如: 的函数的分布(注意:卷积公式的使用范围, 必须掌握一般的方法), 最值 和 的分布, 以及相关的概率计算问题.
二维正态分布的5个参数的意义, 二维正态分布的基本性质.

第四章
数字特征: 期望, 方差, 协方差和相关系数的定义, 意义, 计算, 公式的变形.
常见分布: (0-1)分布, 二项分布, 泊松分布, 指数分布, 均匀分布, 正态分布的数字特征.
相关性和独立性的区别和关系, 以及相关的结论.
切比雪夫不等式的运用(用这个不等式时题目会明确说明).
二维正态分布的性质(线性变换不变性, 线性函数仍是……. 等等)

第五章
随机变量序列依概率收敛的定义, 以及会按要求构造依概率收敛的序列.
理解大数定律的意义.
理解独立同分布中心极限定理和拉普拉斯中心极限定理的意义, 会用中心极限定理做近似计算.

第六章
样本, 总体, 统计量的概念,
分布, t 分布, F 分布 的背景(定义), 图像及性质, 会构造统计量服从三大分布.
四个抽样定理(前三个单正态总体的要记住, 第四个定理的第一个结论要记住)

第七章
会用矩估计和最大似然估计的方法求出参数的点估计.(注意求最大似然估计时讲过两种不同的方法).
会判断无偏性, 有效性.
会求单正态总体的双侧和单侧置信区间, 理解置信度的意义.

第八章
单正态总体的双边和单边假设检验.
理解两类错误的定义.

说明: 考试所有题型都被书上题目, 补充题, 自测题覆盖. 但是不会出现原题.
考前注意: 考概率之前一定不要 熬夜复习, 要以良好的精神状态去参加考试, 思维活跃, 心思缜密 才能取得好成绩!

祝: 考试取得好成绩!

H. 概率论中二维随机变量的边缘分布和条件分布的几何图形。

复习重点

1. 概率的一般加法公式；

2. 2. 条件概率；

3. 3. 全概率公式；

4. 4. 贝叶斯公式；

5. 5. 常见的离散型随机变量的概率分布：两点分布，二项分布，泊松分布；

6. 6. 离散型随机变量的分布函数；

7. 7. 连续型随机变量的分布函数；

8. 8. 连续型随机变量的概率密度函数；

9. 9. 常见的连续型随机变量的概率分布：均匀分布，指数分布，正态分布；

10. 10. 离散型（列举法）

11. 连续型（分布函数法）

12. 11. 二维随机变量的联合分布函数；

13. 12. 二维离散型分布的联合分布列；

14. 13. 二维连续型分布的联合分布密度函数（联合密度函数）；

15. 14. X的边缘分布函数，边缘分布列，X的边缘密度函数；

16. 15. 怎样验证X与Y是否独立；

17. 16. 常见离散型随机变量的期望：两点分布，二项分布，泊松分布；

18. 17. 连续型随机变量期望的算法；

19. 18. 常见连续型随机变量的期望：均匀分布，指数分布，正态分布；

20. 19. 期望的简单性质，方差的简化公式；

21. 20. 常见分布的期望及方差P77表格；

22. 21. 二维随机变量的数字特征，协方差和相关系数的计算；

23. 22. 切比雪夫不等式；

24. 23. 样本的数字特征；

25. 24. U统计量，卡方统计量，t统计量；

26. 25. 矩估计法的计算过程（极大似然估计法）；

27. 26. 怎样验证无偏性？

28. 27. 区间估计中正态总体均值的区间估计：当方差已知时，均值的区间估计。当

29. 方差未知时，均值的区间估计。正态总体方差的区间估计；

30. 28. 判断假设检验中第一类错误和第二类错误；

31. 29. 正态总体均值的假设检验：当方差已知时均值的检验（U检验法），当方差未

32. 知时均值的检验（t检验法）。

33. 30. 正态总体方差的假设检验：单个正态总体方差的检验（卡方检验法）。