Beta 分布学习笔记

前一段时间学习了 Dirichlet 分布，知道了这个分布其实本质上就是一种分布的分布。而今天写的Beta 分布本质上也是一种分布的分布。我是参考这篇文章学习的：【统计学进阶知识（一）】深入理解Beta分布：从定义到公式推导，感觉这篇文章讲得很到位，是一篇好文。下面是我学习这篇文章后写的一个笔记，以备后面复习查看。

引言

我们知道伯努利试验和伯努利分布这两个简单的概念。比如在抛硬币试验中，我们定义抛出正面为成功的事件。因为我们都知道抛出正面的概率为0.5 0.50.5，因此我们可以说X ∼ B e r n o u l l i ( q = 0.5 ) X \sim Bernoulli(q=0.5)X∼Bernoulli(q=0.5)。然而这个q qq事实上真为 0.5 吗？其实并不是，这只是基于频率学派得出的一个观点。用来做试验的硬币可能因为正反面材质不均匀，导致我们抛出正面的概率并非 0.5。q qq可能为任何数，只不过对于不同的数有不同的可能性，而 Beta 分布就是来研究这个q qq的概率分布的。

另一方面，Beta 分布的性质还可以帮助我们通过不断进行伯努利试验来更新初始化的q qq的概率分布，也就是利用后验概率来更新先验概率，从而慢慢接近事实上的概率，关于这一点后面也会讲到。

Beta 分布定义

设连续型随机变量X XX（其实就是引言中提到的q qq，注意不要和伯努利分布和二项分布搞混） 服从参数为α , β α,βα,β的 Beta 分布，记为X ∼ B e t a ( α , β ) X \sim Beta(α, β)X∼Beta(α,β)，满足：

• 参数条件：α > 0 , β > 0 α > 0, β > 0α>0,β>0

• 取值范围：X ∈ ( 0 , 1 ) X \in (0,1)X∈(0,1)

Beta 分布的概率密度函数为：

f ( x ) = 1 B ( α , β ) x α − 1 ( 1 − x ) β − 1 , x ∈ ( 0 , 1 ) f(x) = \frac{1}{B(α,β)} x^{α-1} (1-x)^{β-1}, \quad x \in (0,1)f(x)=B(α,β)1​xα−1(1−x)β−1,x∈(0,1)

其中，B ( α , β ) B(α,β)B(α,β)叫做Beta 函数，用来归一化，让概率密度函数在定义域积分后为 1，公式为：

B ( α , β ) = ∫ 0 1 x α − 1 ( 1 − x ) β − 1 d x = Γ ( α ) Γ ( β ) Γ ( α + β ) B(α,β) = \int_{0}^{1} x^{α-1} (1-x)^{β-1} dx = \frac{\Gamma(α)\Gamma(β)}{\Gamma(α+β)}B(α,β)=∫01​xα−1(1−x)β−1dx=Γ(α+β)Γ(α)Γ(β)​

等式最右边利用伽马函数（Γ ( m ) = ( m − 1 ) ! \Gamma(m) = (m-1)!Γ(m)=(m−1)!，m mm为正整数）改写了形式显得简约美观，具体推导会在后面介绍。

Beta 分布概率密度函数构造

二项分布是在多次伯努利试验基础上得到的成功次数的分布，我们下面从二项分布出发来构造一个 Beta 分布的概率密度函数。设离散型随机变量X XX服从参数为n , q n,qn,q的二项分布X ∼ B ( n , q ) X \sim B(n, q)X∼B(n,q)，我们可以写出二项分布的概率公式：

P ( X = x ) = ( n x ) q x ( 1 − q ) n − x P(X=x) = \binom{n}{x} q^x (1-q)^{n-x}P(X=x)=(xn​)qx(1−q)n−x

下面我们利用类似的结构构造一个关于参数q qq的概率密度函数，这里的q qq是一个连续型变量，在( 0 , 1 ) (0,1)(0,1)内取值。首先我们先写出正比形式：

f ( q ) ∝ q a ( 1 − q ) b f(q) \propto q^{a}(1-q)^{b}f(q)∝qa(1−q)b

然后通过除以归一项来变成合法的概率密度函数：

f ( q ) = 1 ∫ 0 1 q a ( 1 − q ) b d q q a ( 1 − q ) b f(q)=\frac{1}{\int_{0}^{1}q^a (1-q)^b dq}q^a(1-q)^bf(q)=∫01​qa(1−q)bdq1​qa(1−q)b

接下来我们通过变量替换等操作改一下形式，让这个密度函数更加漂亮。首先利用α = a + 1 \alpha=a+1α=a+1和β = b + 1 \beta=b+1β=b+1进行变量替换：

f ( q ) = 1 ∫ 0 1 q α − 1 ( 1 − q ) β − 1 d q q α − 1 ( 1 − q ) β − 1 f(q)=\frac{1}{\int_{0}^{1}q^{\alpha-1} (1-q)^{\beta-1} dq}q^{\alpha-1}(1-q)^{\beta-1}f(q)=∫01​qα−1(1−q)β−1dq1​qα−1(1−q)β−1

其中分母∫ 0 1 q α − 1 ( 1 − q ) β − 1 d q \int_{0}^{1}q^{\alpha-1} (1-q)^{\beta-1} dq∫01​qα−1(1−q)β−1dq为Beta 函数B ( α , β ) B(\alpha,\beta)B(α,β)，我们简写一下，同时把q qq换成x xx就变成了 Beta 分布的概率密度函数了：

f ( x ) = 1 B ( α , β ) x α − 1 ( 1 − x ) β − 1 f(x)=\frac{1}{B(\alpha,\beta)}x^{\alpha-1}(1-x)^{\beta-1}f(x)=B(α,β)1​xα−1(1−x)β−1

Beta 函数B ( α , β ) B(\alpha,\beta)B(α,β)还可以写成Γ ( α ) Γ ( β ) Γ ( α + β ) \frac{\Gamma(α)\Gamma(β)}{\Gamma(α+β)}Γ(α+β)Γ(α)Γ(β)​的形式，对应的推导可以看[这篇文章中的2. Beta 函数和 Gamma 函数的关系](https://zhuanlan.zhihu.com/p/69606875#:~:text=2. Beta 函数和 Gamma 函数的关系)这部分，具体的推导思路就是在放球试验中，从两种不同角度用两种不同公式得到同种概率建立等式。

Beta 分布其他性质

1. 期望：E ( X ) = α α + β E(X) = \frac{α}{α+β}E(X)=α+βα​

2. 方差：V a r ( X ) = α β ( α + β ) 2 ( α + β + 1 ) Var(X) = \frac{αβ}{(α+β)^2 (α+β+1)}Var(X)=(α+β)2(α+β+1)αβ​

3. 概率分布函数：F ( x ) = B ( x ; α , β ) B ( α , β ) F(x) = \frac{B(x; α,β)}{B(α,β)}F(x)=B(α,β)B(x;α,β)​

其中，B ( x ; α , β ) B(x; α,β)B(x;α,β)为不完全 Beta 函数，即把原Beta函数的定积分上限变为变量x（即变上限积分）：B ( x ; α , β ) = ∫ 0 x t α − 1 ( 1 − t ) β − 1 d t B(x; α,β) = \int_{0}^{x} t^{α-1} (1-t)^{β-1} dtB(x;α,β)=∫0x​tα−1(1−t)β−1dt

利用多次伯努利试验更新 Beta 分布

这里直接说结论了：假设伯努利试验的成功概率q qq服从的先验概率分布为X ∼ B e t a ( α , β ) X \sim Beta(α, β)X∼Beta(α,β)，当进行了n nn次伯努利试验后，其中出现k kk次成功，可以得到q qq的后验概率分布服从X ∼ B e t a ( α + k , β + n − k ) X \sim Beta(α + k, β + n - k)X∼Beta(α+k,β+n−k)。具体的推导可以看文章的4. Beta分布与二项分布的关系，也比较有趣。

我们可以观察一下后验概率分布形式和先验概率分布形式，发现两个参数分别加了k kk和n − k n-kn−k，正好是这n nn次伯努利试验中成功的次数和失败的次数。因此我们可以说 Beta 分布中的参数α , β \alpha,\betaα,β可以从感觉上理解为伪计数，其中α − 1 \alpha-1α−1类似多次伯努利试验中的成功计数，β − 1 \beta-1β−1类似多次伯努利试验中的失败计数。

当α = 1 , β = 1 α=1, β=1α=1,β=1时，Beta 分布退化为( 0 , 1 ) (0,1)(0,1)区间的均匀分布：f ( x ) = 1 B ( 1 , 1 ) x 0 ( 1 − x ) 0 = 1 , x ∈ ( 0 , 1 ) f(x) = \frac{1}{B(1,1)} x^{0} (1-x)^{0} = 1, \quad x \in (0,1)f(x)=B(1,1)1​x0(1−x)0=1,x∈(0,1)此时，伪计数为 0，表示一点不知道q qq的分布，因此可以在( 0 , 1 ) (0,1)(0,1)区间等概率选取。