不确定性与进化

一、不确定性推理的全貌

1.1 为什么要研究不确定性推理

人工智能的目标之一，是构造能够像人一样思考与决策的机器。人在现实问题中经常无法获得完备信息，却仍然能够结合经验、证据与风险作出判断。因此，智能系统也需要具备在不确定性下推理和决策的能力。

不确定性推理的基本思路，是从人类已有的不确定性理论中寻找可用于智能系统建模的工具。经典概率论、贝叶斯分析、确定性因子、随机过程、马尔可夫过程、模糊集合与进化计算，都是人工智能历史上处理不确定性的不同工具。

1.2 经典概率论的三大缺陷

经典概率论通常从实验与分布拟合开始：先假设某种理论分布，再通过大量实验观察数据是否与该分布吻合。它建立在大数定律之上，即实验次数足够多时，经验频率才能逼近真实概率。

这个框架能够描述数据呈现怎样的分布，但并不直接回答在这种分布下应该如何决策，才能使收益最大化或损失最小化。它的主要问题有三点：

没有纳入先验知识：专家决策中常常依赖已有经验与背景判断，而经典概率论本身不强调先验知识。
没有关联决策问题：概率分布描述的是事件发生的可能性，但不直接给出行动选择与收益损失之间的关系。
理论分布与真实分布存在差异：真实世界的数据往往高维、复杂，可能来自图像、声音、视频等多模态来源；经典统计学中常用的简单理论分布只能近似真实情况。

这些缺陷推动了人工智能研究者转向更能结合先验、决策和复杂分布建模的框架。

1.3 贝叶斯框架的核心思想

贝叶斯方法（Bayesian Analysis）正式将先验分布纳入统计推断。

频率学派与贝叶斯学派的关键区别在于参数观：

频率学派：把要建模或优化的参数看作需要估计的单点值。
贝叶斯学派：把参数本身看作一个分布，用概率方式表达对参数的信念。

从深度学习角度看，对参数施加先验分布后，L2 正则项可以理解为假设参数服从以零为均值、协方差矩阵为对角阵的多元高斯先验。这是贝叶斯思想在正则化中的一种体现：参数被先验“拉向零”，从而抑制过拟合。

完整的贝叶斯决策框架包括三步：

由先验分布和数据分布（似然）得到后验分布。
用后验分布对损失函数求期望。
根据期望损失选择决策，其中损失函数描述真实情况出现后，所采取的决策会带来怎样的结果。

贝叶斯框架最核心的思想是把参数看作分布，而不是单个固定值。理解这一点后，先验、似然、后验、损失函数与期望损失之间的关系就会清晰很多。

1.4 损失函数与不确定性的联系

损失函数并不只是机器学习训练中的一个优化目标。更一般地说，它刻画的是：

\[L(a, y)\]

其中 $a$ 表示采取的行动或决策，$y$ 表示真实发生的情况。损失函数描述当真实情况出现后，某个决策会导致怎样的收益或损失。

在贝叶斯框架中，后验分布表达的是对真实情况或参数的不确定性。因此，决策时不应只看某一个点估计，而应对损失函数求期望：

\[\mathbb{E}_{p(y|D)}[L(a,y)]\]

这一步把“不确定性建模”与“实际决策”连接起来：不确定性不仅体现在分布本身，也体现在对损失的期望计算中。

1.5 贝叶斯框架的局限性

贝叶斯方法也存在明显限制：

当证据逐个累积时，后验分布的展开形式可能非常复杂。
需要大量统计资料来估计展开式中的条件概率。
如果某个条件概率不真实或没有数据支撑，整体后验估计就可能出错。
真正求解后验分布往往比建立贝叶斯框架本身困难得多。

因此，贝叶斯框架理论上优雅，但实际计算中常常需要近似、采样、变分推断、共轭结构或神经网络来辅助求解。

1.6 高斯分布与高斯混合模型

对于复杂真实分布，可以使用高斯混合模型（Gaussian Mixture Model, GMM）近似。其思想是用多个简单高斯分布的加权组合表示复杂分布：

\[p(x) = \sum_{i=1}^{K} \pi_i \mathcal{N}(x|\mu_i, \Sigma_i), \quad \sum_{i=1}^{K} \pi_i = 1\]

其中：

$\pi_i$ 表示第 $i$ 个高斯子成分的权重。
$\mu_i$ 表示均值向量。
$\Sigma_i$ 表示协方差矩阵。

复杂数据分布可以理解为多个简单分布的叠加。例如自然图像的真实分布非常复杂，难以直接写出解析形式，但可以假设它由许多高斯子成分混合而成。每个子成分由均值向量、协方差矩阵和权重刻画。

协方差矩阵在高维场景中参数量很大，因此实践中常假设它为对角阵，即不同维度之间近似不相关。这样可以显著减少需要估计的参数数量。

当 $K \to \infty$ 时，离散混合高斯可以逼近连续多维高斯。现代深度学习中，也可以由神经网络直接预测每个样本对应的均值向量和协方差。此时，复杂分布建模被转化为用神经网络估计分布参数。

1.7 为什么高斯分布常用

高斯分布在概率建模中非常常见，主要原因有两个：

中心极限定理：当一个数据由许多因素共同影响，且没有单个因素占主导时，它往往趋向高斯分布。
共轭性质：在许多模型中，高斯分布具有便于解析推导的形式。

共轭先验（conjugate prior）指先验分布与后验分布具有相同函数形式，只是参数发生变化。共轭结构可以为复杂模型提供较方便的解析解。

需要注意的是，共轭性通常针对某个模型和某个参数而言。一个分布在估计某个参数时可能有共轭先验，但在估计另一个参数时不一定仍然共轭。

面对复杂真实数据分布时，一个重要建模思路是：用多个简单分布叠加，去逼近更复杂的分布；再用可计算的参数化方法估计这些简单分布的参数。

二、确定性因子与符号主义的不确定性

2.1 符号主义为什么仍然重要

符号主义虽然是较早期的人工智能路线，但它仍然有两个深度学习难以替代的优势：

可解释性强：推理过程依赖规则与证据链，能够给出明确的推导依据。
样本效率高：只要定义一条规则，就可以把对应知识注入系统；神经网络通常需要大量样本才能学习到相同规律。

例如，小数大小比较只需在符号系统中定义清晰规则即可表达，而神经网络若只依赖相关性学习，可能会把小数点后的数字当作字符串特征，从而错误判断 $8.11 > 8.2$。这说明关联学习不等于理解内在运算法则。

深度学习的另一个问题是可解释性。模型可以输出标签或预测值，却很难解释“为什么这个样本对应这个标签”。在医疗、金融、司法等高风险场景中，缺乏解释会限制模型的可用性。

2.2 深度学习的数据瓶颈

深度学习系统的性能往往高度依赖数据质量。优化技巧、训练策略和模型结构可以带来增益，但真正显著拉开差距的因素通常是数据。

基础大模型的训练门槛很高，需要 GPU 集群、规模化训练经验和强大的工程积累。相比之下，围绕数据采集、清洗、标注、合成与评估构建的数据服务，也是一条重要的智能系统产业路线。

符号主义的样本效率优势也由此显现：在某些知识明确、规则稳定的场景中，规则注入比纯数据驱动学习更高效。

2.3 确定性因子的三类问题

确定性因子（Certainty Factor, CF）常用于专家系统中的不确定性表达。它来自早期规则专家系统的实践：专家系统的推断结果有时与医生等领域专家的判断并不符合经典概率论，于是产生了新的不确定性建模需求。

在规则系统中，不确定性主要有三类：

证据的不确定性：观察到的 evidence 本身并不完全可靠。
规则的不确定性：从 evidence 推出结论 $H$ 的 if-then 规则并不总是绝对成立。
多规则融合的不确定性：多条规则指向同一结论 $H$ 时，需要决定如何合并各自的不确定性。

CF 方法试图给出一套从证据可信度、规则可信度到结论可信度的完整计算方案。它的意义不只是给出一个数值，而是让符号规则系统在面对不确定证据和不确定规则时仍然能够推理。

三、时序相关的不确定性：马尔可夫过程

3.1 动机

前面讨论的不确定性大多与时间无关，但现实中许多问题存在明显的时序相关性。例如，飞机飞行的不同阶段风险不同，起飞和降落阶段通常比巡航阶段更容易发生事故。要建模这类问题，就需要引入随时间演化的状态模型。

随机过程是概率论中处理这类问题的重要工具。人工智能导论中通常只需要理解最基本的一类：离散、满足马尔可夫性的随机过程。

3.2 离散马尔可夫过程

马尔可夫过程（Markov Process）描述系统状态随时间变化的随机过程。离散马尔可夫过程包含两个关键概念：

离散状态：系统状态是有限或可数的。
马尔可夫性：下一状态只与当前状态有关，与更早的历史状态无关。

核心工具是状态转移矩阵：

\[T = \begin{bmatrix} P_{11} & P_{12} \\ P_{21} & P_{22} \end{bmatrix}\]

其中 $P_{ij}$ 表示当前处于状态 $i$，下一时刻转移到状态 $j$ 的概率。

如果当前状态分布为 $\pi_t$，下一时刻的状态分布为：

\[\pi_{t+1} = \pi_t T\]

当系统达到稳态时，状态分布不再变化，因此满足：

\[\pi T = \pi\]

3.3 市场占有率例题

考虑两个品牌：联想和 Apple。状态转移概率如下：

联想用户下一轮仍选择联想的概率为 $10\%$。
联想用户下一轮转向 Apple 的概率为 $90\%$。
Apple 用户下一轮仍选择 Apple 的概率为 $60\%$。
Apple 用户下一轮转向联想的概率为 $40\%$。

对应转移矩阵为：

\[T = \begin{bmatrix} 0.1 & 0.9 \\ 0.4 & 0.6 \end{bmatrix}\]

设长期稳态分布为 $\pi = (a,b)$，其中 $a$ 是联想的长期占有率，$b$ 是 Apple 的长期占有率。稳态条件为：

\[(a,b) \begin{bmatrix} 0.1 & 0.9 \\ 0.4 & 0.6 \end{bmatrix} =(a,b)\]

即：

\[a = 0.1a + 0.4b\] \[b = 0.9a + 0.6b\]

再加上归一化条件：

\[a+b=1\]

由 $0.9a=0.4b$ 得：

\[b = 2.25a\]

因此：

\[a=\frac{4}{13}\approx 30.77\%, \quad b=\frac{9}{13}\approx 69.23\%\]

关键结论是，长期稳态分布主要由状态转移矩阵决定，而不是由初始市场占有率决定。

3.4 PageRank 与搜索引擎

PageRank 可以看作马尔可夫过程的重要应用。搜索引擎需要解决两个核心问题：

关键字匹配：通常用倒排索引（inverted index）实现。输入一个关键字后，系统能够找到包含该关键字的文档。
网页质量评价：在海量网页中衡量哪些网页更重要、更值得展示。

PageRank 的基本思想是：

好网页通常被访问得更多。
高质量网页往往指向其他高质量网页。
网页可以看作图中的节点。
用户从一个网页点击到另一个网页的行为构成状态转移概率。
状态转移矩阵的稳态分布，就是各网页的重要性得分。

如果从网页 $A$ 跳转到网页 $B$ 的用户比例较高，就可以理解为网页 $A$ 给网页 $B$ 投了一票。把整个互联网看成一个巨大图后，用户点击行为对应一个巨大的转移矩阵。计算这个矩阵的均衡分布，就可以得到网页质量评分。

市场占有率问题中的稳定分布与 PageRank 中的网页质量打分具有相同数学结构：二者都由转移矩阵决定长期状态分布。

四、模糊集合与模糊逻辑

4.1 语义不确定性

有些概念无法用概率论或经典集合论精确建模，例如 tall、hot、danger、little 等模糊词汇。

经典集合论只能描述“属于”或“不属于”，即二值逻辑（two-valued logic）。但真实世界中许多概念具有程度差异，不是非黑即白。例如，$1.80$ 米可以算高，那么 $1.799$ 米是否就不高？只差 $1$ 毫米却完全改变归属，在语义上并不合理。

这种问题不是概率不确定性，而是语义边界本身模糊。它需要新的集合理论来表达“以多大程度属于某概念”。

4.2 Zadeh 的贡献

扎德（Lotfi Zadeh）于 1965 年在 UC Berkeley 提出模糊集合（Fuzzy Set）理论。模糊集合的核心贡献在于：把“是否属于某集合”的二值判断，扩展为“以多大程度属于某集合”的连续判断。

扎德提出了概念框架，后续的模糊逻辑、模糊规则和模糊控制等理论则由更多研究者继续发展。

4.3 隶属度函数

对于模糊概念 $A$，可以定义一个隶属度函数（Membership Function）：

\[\mu_A: X \to [0, 1]\]

它将每个元素 $x$ 映射到 $[0,1]$ 区间，表示 $x$ 属于概念 $A$ 的程度。隶属度不是严格意义上的概率，而是语义归属程度的数值化表达。

例如，对于“高个子”这个模糊概念：

7 英尺以上的人，隶属度可以接近 $1$。
6 英尺的人，隶属度可能接近 $0.5$。
5 英尺以下的人，隶属度可以接近 $0$。

这种建模方式比二值集合更符合自然语言概念的连续性。

4.4 模糊规则与模糊系统

模糊逻辑常用于规则系统，例如：

if temperature is hot then turn fan speed high

这里的 hot、high 都不是精确概念，无法只用二值集合表达。模糊系统通常包括三步：

模糊化（Fuzzification）：将输入概念用模糊集合建模。
模糊计算（Fuzzy Inference）：在模糊集合上进行推理。
反模糊化（Defuzzification）：将推理结果转换回人可理解或机器可执行的精确值。

4.5 模糊算子

基于基础模糊集合，可以通过算子扩展出更多概念：

very A：$\mu_{\text{very }A}(x) = [\mu_A(x)]^2$，使概念更严格。
more-or-less A：$\mu_{\text{more-or-less }A}(x) = [\mu_A(x)]^{0.5}$，使概念更宽松。
not A：$\mu_{\text{not }A}(x) = 1 - \mu_A(x)$，表示概念的否定。

例如，在定义 tall 集合后，如果某人身高为 6.5 英尺时的隶属度为 $0.875$，那么其在 very tall 中的隶属度为：

\[0.875^2 = 0.765625\]

这说明 very tall 的要求比 tall 更严格。相反，more-or-less tall 通过开平方放宽要求，使更多边界样本获得较高隶属度。

4.6 模糊关系与取值空间扩展

当只定义了少数几个元素的隶属度时，例如只知道 140、150、160 斤对 heavy 的隶属度，可以借助相似度矩阵或近似等价关系，把模糊概念扩展到整个取值空间。

设已有模糊集合的隶属度向量为：

\[A = [a_1, a_2, \dots, a_n]\]

相似度矩阵为：

\[R = [r_{ij}]\]

则扩展后的第 $i$ 个元素隶属度可用 min-max 合成计算：

\[b_i = \max_j \min(r_{ij}, a_j)\]

计算过程是：

对每个未定义元素，取它与所有已定义元素的相似度。
对每个已定义元素，将相似度与该元素的隶属度取 minimum。
对所有 minimum 结果取 maximum，作为该元素的新隶属度。

例如某一行 min 运算后得到：

\[[0, 0.4, 0.2, 0]\]

再取 maximum 得到：

\[0.4\]

这就表示该元素在扩展后的模糊集合中的隶属度为 $0.4$。这个过程表达了一个直觉：一个新元素如果与某个高隶属度样本足够相似，它也应当获得较高隶属度。

4.7 应用实例：雷达信号融合

在防空系统中，多个雷达站可能对同一飞行目标捕捉到不同形态，需要判断目标是导弹、战斗机还是民航机。

一种模糊建模方法是：

为每种雷达回波形状定义对应的模糊集合，表示它属于导弹、战斗机或客机的程度。
对同一目标的多个雷达信号，在模糊集合上做 max 运算进行融合。
得到综合隶属度后，输出目标类别判断。

例如，一个雷达从某个角度观察到的形状可能使目标“像民航机”的隶属度较高，而另一个雷达从另一角度看到的形状可能揭示它带有导弹特征。将多个雷达的模糊集合用 max 运算融合，可以保留不同观察角度下的强证据。

模糊逻辑适合处理这种“证据不完全一致，但仍需融合判断”的场景。

五、进化计算

5.1 背景

人工智能的发展中常提到三条思想路线：符号主义、连接主义和进化主义。进化主义近年热度不如连接主义，但在组合优化、结构搜索、自动设计等场景中仍然有重要价值。

进化计算还可以与连接主义结合。例如，在 Transformer 成为主流之前，神经网络结构搜索曾是重要研究方向：给定一个任务，自动搜索最适合该任务的网络结构。这个问题本质上是高维组合优化，而进化计算天然适合处理这类问题。

5.2 遗传算法的基本思想

以求 $f(x) = x^2$ 在 $x \in [1, 31]$ 上的最大值为例，可以用遗传算法（Genetic Algorithm, GA）求解。

如果使用传统优化方法，可以对函数求导。但遗传算法的思路不同：它先把解空间编码成基因，再通过选择、交叉、变异模拟种群进化。

由于 $1$ 到 $31$ 可以用 $5$ 位二进制表示，因此每个候选解可以编码为一个 $5$ 位二进制串：

\[1 \to 00001,\quad 31 \to 11111\]

遗传算法的基本流程如下：

编码：将解空间用二进制编码，每个二进制串就是一个基因。
初始化种群：随机产生一定数量的个体作为第一代，例如 4 个个体。
基因表达：将二进制串解码为实际值。
计算适应度：代入适应度函数，此处为 $f(x) = x^2$。
选择：根据适应度占总适应度的比例，用轮盘赌（Roulette Wheel）方式选择存活到下一代的个体。
交叉：随机选择交叉点，交换两个个体的基因片段，模拟有性繁殖。
变异：以很小概率随机翻转某个基因位，例如 $0 \to 1$ 或 $1 \to 0$，增加种群多样性。

5.3 适应度与轮盘赌选择

设第 $i$ 个个体的适应度为 $F_i$，种群总适应度为：

\[F_{\text{sum}} = \sum_i F_i\]

则该个体被选择的概率为：

\[p_i = \frac{F_i}{F_{\text{sum}}}\]

轮盘赌选择把每个个体看成一个概率扇区。适应度越高，扇区越大，被随机数命中的概率也越高。这样可以让高适应度个体更可能繁殖，同时保留低适应度个体被选中的小概率。

选择操作不应简单地直接保留所有最优个体、淘汰所有较差个体，而应引入随机性。原因在于：遗传算法需要保持种群多样性。如果所有个体迅速趋同，搜索就容易陷入局部最优。

5.4 交叉与变异

交叉操作模拟有性繁殖。选中两个父代个体后，随机产生一个交叉点，然后把一个父代的前半部分与另一个父代的后半部分拼接，得到子代。

变异操作以很小概率扫描子代的每个基因位。如果某一位落入变异概率，就将 $0$ 翻转为 $1$，或将 $1$ 翻转为 $0$。

变异概率必须足够小。若变异过强，搜索会破坏已有优良结构，使算法接近无方向的随机游走；若完全没有变异，种群又可能过早丧失多样性。

5.5 遗传算法的几何解释

遗传算法本质上是在搜索空间中进行并行随机搜索：

初始化：个体散布在整个解空间中。
选择：在适应度压力下，选择更接近高质量解的一批点。
交叉：在已选择的点之间进行基因交换，产生的新个体可能比父代更好，也可能更差。
变异：在交叉结果周围随机探索，可能找到更好点，也可能走向较差点。

只要种群足够大，适应度函数设计合理，遗传算法就可以通过并行随机搜索逐步向高质量解区域收敛。

遗传算法的优势在于不需要求导、不需要梯度，也不依赖复杂的数学建模。只要能够定义适应度函数，就可以把问题放入进化搜索框架中。

5.6 通用迭代框架

遗传算法可以写成如下迭代框架：

初始化种群。
判断是否已经找到可接受解；若找到则停止。
计算每个个体的适应度。
执行选择、交叉、变异三个遗传算子。
生成下一代种群并重复迭代。

遗传算法还有一个重要优势：可并行化。不同个体或不同子代可以在不同机器上独立计算适应度，因此它适合超大规模、高维组合优化问题。

5.7 应用一：演化硬件

演化硬件（Evolvable Hardware）是遗传算法的重要应用之一。航天器上的电子元件需要极高可靠性，而太空环境中很难通过“多备几份”来解决硬件故障，因为增加重量会直接减少有效载荷。

此外，太空环境中的温度、压力、辐射等条件可能与发射前不同，电路在未知环境下可能失效。因此，系统最好具备自动寻找新可用配置的能力。

演化硬件的基本方法是：

将现场可编程门阵列（Field-Programmable Gate Array, FPGA）或可编程逻辑阵列的电路连接配置编码为二进制基因。
某个连接存在记为 $1$，不存在记为 $0$。
将期望的输入-输出映射关系定义为适应度函数。
用遗传算法自动搜索能够实现目标功能的电路配置。

如果一个电路需要满足 10 种输入-输出映射关系，则适应度函数可以定义为：某个配置在这 10 种映射中有多少种输出正确。正确越多，适应度越高。

这种方法有两个关键优势：

自动设计电路配置：不必人工穷举所有连接方式。
具备自修复能力：如果某个器件损坏，可以在“该器件已损坏”的约束下重新搜索一个新配置，使系统恢复原有功能。

例如，一个实现异或功能的可编程电路在环境变化后输出关系被破坏。遗传算法可以在损坏约束下重新搜索连接配置，只要找到新的配置仍然满足异或输入-输出表，就能恢复功能。

5.8 应用二：背包问题

背包问题（Knapsack Problem）是典型组合优化问题。常见变体包括：

分数背包：物品可以拆分，通常可用贪心方法求解。
零一背包：每个物品只能放或不放，可用动态规划求解，但复杂度与容量刻度有关。
非零一背包或多重背包：物品可以放多个，现实约束更多，问题更复杂。

现实中的许多问题并不是简单的零一背包。例如投资组合优化中，股票可以买 1 股，也可以买 100 股；资产可以包括股票、债券、存款等多个类别；目标也可能不止收益最大化，还包括风险最小化。

遗传算法求解背包问题时，可以采用如下建模：

基因编码：以零一背包为例，每个位置的 $0/1$ 表示对应物品是否放入背包。
适应度函数：如果超出负重，适应度设为 $0$ 或负值；如果未超重，适应度设为总价值。
多目标扩展：可以加入风险、成本等约束。超出约束时将适应度置零，或通过加权方式综合多个目标。

例如，在投资组合优化中，可以把收益作为正向适应度，把风险作为约束或惩罚项：

\[F = \text{return} - \lambda \cdot \text{risk}\]

也可以设置硬约束：若风险超过阈值，则直接令适应度为 $0$。

5.9 进化计算的其他应用

进化计算还常用于：

神经网络结构搜索（Neural Architecture Search, NAS）：在 Transformer 成为主流之前曾是深度学习研究热点。
超参数优化（AutoML）：搜索学习率、batch size、层数、隐藏维度等训练参数。
复杂组合优化：在难以求导、难以建模、搜索空间巨大但可以评价解好坏的任务中进行近似搜索。
并行搜索：不同子代可以在不同机器上独立计算，天然适合并行化。

进化计算的核心价值在于：当问题难以求导、难以建模、搜索空间复杂但可以评价解的好坏时，可以用适应度函数驱动群体搜索。

从贝叶斯推理到模糊逻辑与遗传搜索