附录 A：Bernoulli 过程的事件空间与概率测度

正如前面提到的，伯努利过程的样本空间是所有正反面结果的无限序列： $$\Omega =\{(a_n{)}_1^{\infty }:a_n\in \{H,T\}\}$$

关于这个样本空间的第一件事是，它是不可数的，这基本上意味着它的“大小”比自然数还大。处理无穷集合往往违反直觉，但常见的“无穷”类型主要有两种：一种与自然数具有相同的势，另一种与实数集合具有相同的势。我们的样本空间属于后者。康托尔最初的对角线论证其实就是利用了这种样本空间的一个变体（使用的是 $\{0,1\}$），而该证明在逻辑上相当直观。

总之，这使问题变得更复杂，因为我们在面对无穷时的直觉常常失效，尤其是在处理实数势的集合时。

（本节构造借自 [1]，该参考文献虽然晦涩但涵盖了本文所有主题。）

接下来我们将为伯努利过程构造事件空间（σ-代数）和概率测度。我们将采用迭代的方式构造。首先定义 $P(\varnothing )=0$且$P(\Omega )=1$， 对应的（平凡）事件空间为： $${\mathcal{F}}_0=\{\varnothing ,\Omega \}\text{\hspace{1em}(A.1)}$$

注意到 ${\mathcal{F}}_0$ 是一个 $\sigma$-代数。 接下来定义两个集合： $$\begin{array}{rlr}{A}_H& =\{\omega :{\omega }_1=H\}& \text{即所有以 H 开头的序列的集合}\\ A_T& =\{\omega :{\omega }_1=T\}& \text{即所有以 T 开头的序列的集合}\end{array}\text{\hspace{1em}(A.2)}$$

然后设置直观的概率测度定义 $P(A_H)=p$，$P(A_T)=1-p$， 即第一次抛掷为正面（H）的概率是 $p$，否则为 $1-p$。由于这两个集合互为补集，即 $A_H=A_T^c$。 因此我们获得了另一个 $\sigma$-代数： $${\mathcal{F}}_1=\{\varnothing ,\Omega ,A_H,A_T\}\text{\hspace{1em}(A.3)}$$

我们可以将这个过程扩展到前两次抛掷。定义如下集合： $$\begin{array}{rlr}{A}_{HH}& =\{\omega :{\omega }_1=H,{\omega }_2=H\}& \text{即所有以 HH 开头的序列的集合}\\ A_{HT}& =\{\omega :{\omega }_1=H,{\omega }_2=T\}& \text{即所有以 HT 开头的序列的集合}\\ A_{TH}& =\{\omega :{\omega }_1=T,{\omega }_2=H\}& \text{即所有以 TH 开头的序列的集合}\\ A_{TT}& =\{\omega :{\omega }_1=T,{\omega }_2=T\}& \text{即所有以 TT 开头的序列的集合}\end{array}\text{\hspace{1em}(A.4)}$$

类似地，我们可以按预期方式扩展概率测度： $P(A_{HH})=p^2$，$P(A_{HT})=p(1-p)$，$P(A_{TH})=p(1-p)$，$P(A_{TT})=(1-p{)}^2$。 接下来我们需要进行一些分析。如果我们列举出由上述事件的补集或并集构造的所有可能集合，会发现一共可以构造出 16 个不同的集合。对于每一个集合，我们都可以使用以下方式来计算其概率测度：使用上述的定义或者使用规则 $P(A^c)=1-P(A)$，或者若 $A_n$ 互不相交，则 $P\left({\bigcup }_{n=1}^N{A}_n\right)={\sum }_{n=1}^{N}P(A_n)$。

这 16 个集合定义了下一个 $\sigma$-代数：

$$\begin{array}{rl}{\mathcal{F}}_2=\{& \varnothing ,\Omega ,A_H,A_T,A_{HH},A_{HT},A_{TH},A_{TT},A_{HH}^c,A_{HT}^c,A_{TH}^c,A_{TT}^c,\\ & A_{HH}\cup A_{TH},A_{HH}\cup A_{TT},A_{HT}\cup A_{TH},A_{HT}\cup A_{TT}\}\end{array}\text{\hspace{1em}(A.5)}$$

我们可以继续这一过程，为所有由有限次抛硬币构造的事件定义其概率及对应的 $\sigma$-代数。我们称这个集合为 ${\mathcal{F}}_{\infty }$，它包含了所有可以通过有限次硬币投掷，以及对这些事件取补集和并集所构造的集合。

这个 ${\mathcal{F}}_{\infty }$ 恰好就是 Bernoulli 过程的 $\sigma$-代数，并且我们已经为其中的每个事件构造好了对应的概率测度。

现在我们本可以就此打住，但不妨再看看当我们处理“无限”时会出现哪些违反直觉的现象。这一定义隐含地包含了一些我们并未显式定义的序列，例如，全是正面的序列： $H,H,H,H,\dots$ 但我们可以看到，这个序列包含在以下集合的交集中： $A_H,A_{HH},A_{HHH},\dots$ 进一步地，我们有： $$\begin{array}{rl}P(A_H)& =p,\\ P(A_{HH})& =p^2,\\ P(A_{HHH})& =p^3,\\ & \dots \end{array}\text{\hspace{1em}(A.6)}$$ 这意味着“全为正面”这个序列的概率为： $P(\text{sequence of all heads})=0$。 这揭示了一个重要但违反直觉的结果：样本空间中所有“无限长的序列”的概率都是 0。重要的是，这并不意味着它们永远不会发生，而是说它们发生的概率“无限小”。 相反的事件，“至少有一个反面”的序列，其概率是 1。 数学家称这种概率为 1 的事件为“几乎必然”（almost surely）。所以任何一个无限次抛硬币的序列，几乎必然会至少出现一个反面。对于有限的事件空间，“一定发生”（surely）与“几乎必然”（almost surely）是没有区别的。

这个定义还包含了某些不能简单定义的序列集合，例如：

$$\underset{n\to \infty }{\lim }\frac{H_n({\omega }_1\dots {\omega }_n)}{n}=\frac{1}{2}\text{\hspace{1em}(A.7)}$$

其中 $H_n$ 表示在前 $n$ 次中出现正面的次数。这可以通过我们在事件空间中定义的集合的可数次并与交来隐式构造。详见文献 [1] 的示例 1.1.4。

最后，尽管看起来我们好像已经定义了样本空间的所有子集，但实际上还是存在某些序列，它们不属于 ${\mathcal{F}}_{\infty }$。 不过，构造这样一个集合非常困难（别问我怎么做 :p）。