其他交叉分支

本页收录不属于前述主线、但完整技术谱系中不可缺的分支。它们的共同点是：不依赖大规模数据驱动的梯度学习，以搜索、优化或显式规则为核心——与符号主义、机器学习形成”第三条腿”，并在 Agent、自动优化等现代场景中持续发挥作用。

在深入之前，先厘清一个关键区分：深度学习的核心机制是梯度下降（Gradient Descent）——沿着损失函数的斜面逐步走向最低点，这要求目标函数可导、可微。而本页介绍的方法恰恰放弃了这条路径，转而依靠随机搜索、自然隐喻或概率推理来探索解空间。这种”不依赖梯度”的特性使它们能处理深度学习无法触及的问题：离散组合优化（如芯片布局、排课调度）、不可微的黑盒函数（如物理仿真、A/B 测试）、以及需要可解释规则的场景（如控制系统）。

本节目录

群体智能详解：粒子群优化（PSO）、蚁群算法（ACO），大量简单个体通过局部交互涌现全局搜索能力的元启发式优化
量子机器学习：量子叠加、纠缠与干涉引入机器学习，NISQ（Noisy Intermediate-Scale Quantum，含噪中等规模量子）时代的量子-经典混合算法（VQC、QAOA）
脉冲神经网络：第三代神经网络，以离散电脉冲（Spike）传递信息，超低功耗边缘计算与神经形态计算的核心模型
贝叶斯优化：面向高代价黑盒函数的序贯搜索，概率代理模型 + 采集函数，超参数调优与 AutoML 的事实标准

核心直觉

如果深度学习是”从数据中学习经验的学霸”，那么这些方法就是：

进化计算（Evolutionary Computation） = 模仿生物进化——随机生成一堆方案，好的留下、坏的淘汰，反复变异交叉，几代之后越来越优。不需要梯度，不需要可导，“黑盒”函数也能优化。关键直觉是：自然选择是一种通用的优化算法，不关心被优化的是什么，只要有办法区分好坏（适应度函数），进化就能发挥作用。
群体智能（Swarm Intelligence） = 模仿鸟群蚁群——单个个体很简单，但大量个体通过简单规则互动，涌现出集体智慧。其精髓在于去中心化的局部通信：没有中央指挥，每只蚂蚁只看周围几厘米的信息素浓度做决策，但整个蚁群却能找到最短路径。
模糊逻辑（Fuzzy Logic） = 处理”半真半假”——不是非黑即白（0 或 1），而是”温度大概 0.7 是热的”。这更接近人类自然语言的推理方式：“如果天气有点热，就稍微调大空调”——其中的”有点”和”稍微”就是模糊概念。
模拟退火（Simulated Annealing） = 模仿金属退火——先高温大范围乱跳（探索），再慢慢降温精细搜索（利用），避免陷入局部最优。核心技巧是以概率接受更差的解，这给搜索过程注入了”跳出陷阱”的能力。

进化计算（Evolutionary Computation）

受生物进化启发的全局优化方法族。核心思想：维护一个种群（Population）——即多个候选解的集合，通过选择（Selection）、交叉（Crossover）、变异（Mutation） 三种操作的迭代循环来逐步改良种群。其中**遗传算法（Genetic Algorithm, GA）**是最经典的代表，由 Holland 于 1975 年正式提出。

编码方案：如何把问题变成”基因”

遗传算法的第一步是将问题的解编码为”染色体”（Chromosome）——即一个可被遗传操作变换的数据结构。编码方式直接决定算法效果：

编码方式	染色体结构	适用问题	示例
二进制编码（Binary Encoding）	0/1 字符串	0-1 背包、特征选择、位级组合优化	`1011001010` 表示选择第 1、3、4、7、9 个特征
实数编码（Real-valued Encoding）	浮点数向量	连续函数优化、神经网络权重	`[0.3, -1.2, 0.8]` 表示三维空间中的一个点
排列编码（Permutation Encoding）	整数排列（无重复）	旅行商问题（TSP）、排课调度	`[3, 1, 4, 2]` 表示访问城市的顺序
树编码（Tree Encoding）	语法树结构	遗传编程（自动生成程序/数学表达式）	`(+ (* x 2) y)` 表示表达式 `2x + y`

不同编码需要配套的交叉和变异操作：二进制编码用单点交叉和位翻转变异；实数编码用算术交叉（两个父代的加权平均）和高斯变异；排列编码则需要特殊操作（如顺序交叉 OX、部分映射交叉 PMX）来保证后代仍然是合法排列——如果直接交换基因，很可能产生重复或缺失城市编号的非法解。

原理图解

选择算子的三种策略

选择（Selection）决定了”谁有资格繁衍后代”，是进化压力的来源：

轮盘赌选择（Roulette Wheel Selection）：适应度越高，被选中的概率越大——就像轮盘上占据更大的扇区。缺点是适应度差异过大时，强者会过早垄断种群。
锦标赛选择（Tournament Selection）：随机抽 k 个个体，选最优的进入下一代。实现简单、易于控制选择压力（k 越大压力越大），是实际应用中最常用的策略。
精英保留（Elitism）：每一代无条件保留最优的 1-2 个个体，防止交叉变异意外丢失当前最优解——这虽然不”符合自然”，但能显著加速收敛。

动手实践：遗传算法

15 行 numpy 实现遗传算法，求解函数最大值：

import numpy as np

# 目标：最大化 f(x) = -x² + 20x（理论最优 x=10）
N = 50  # 种群大小
pop = np.random.uniform(0, 20, size=N)           # 随机初始化种群

for gen in range(100):
    fit = -pop**2 + 20 * pop                     # 计算适应度
    probs = np.maximum(fit, 0) / np.maximum(fit, 0).sum()  # 轮盘赌选择概率
    parents = np.random.choice(pop, size=N, p=probs)       # 选择
    # 交叉 + 变异：后代 = 父代 + 随机扰动
    pop = np.clip(parents + np.random.normal(0, 0.5, size=N), 0, 20)

best = pop[np.argmax(-pop**2 + 20 * pop)]
print(f"最优解 x ≈ {best:.1f}")  # 趋近 10.0

2024-2025 研究进展：LLM + 进化 = AlphaEvolve

2024 年最引人注目的进化计算进展来自 Google DeepMind 的 AlphaEvolve——它将大语言模型（LLM）与进化算法结合，实现了算法的自动发现：

核心范式”LLM 生成 + 进化筛选”：LLM 负责生成候选算法（以代码形式），进化框架负责评估和筛选。具体流程是：LLM 基于已有解的历史生成交叉变异产生新方案，自动评估器（Evaluator）打分决定去留。这里 LLM 替代了传统的随机变异/交叉算子——它能理解问题语义，生成”有意义的变异”而非随机扰动，大幅提升了搜索效率。
矩阵乘法新算法：AlphaEvolve 发现了一种新的 4×4 复数矩阵乘法算法，减少了乘法次数——这是自 1969 年 Strassen 算法以来该规模上的实质性改进，且该结果已被数学社区验证。
排序网络（Sorting Network）改进：发现了比此前已知最优方案更少比较器的排序网络设计。
更广泛的意义：AlphaEvolve 证明了”LLM 作为进化算子”（LLM-as-operator）的可行性——LLM 不仅仅是文本生成器，还可以充当优化搜索空间中的”智能变异器”，在开放式问题中发现人类未曾想到的解。

与此同时，进化策略（Evolution Strategies, ES） 在大规模强化学习（RL）训练中的应用也在持续深化。OpenAI 2017 年的工作（ES 训练 MuJoCo 机器人策略）已证明 ES 可替代反向传播训练神经网络权重；2024-2025 年，DeepMind 等团队在可扩展进化策略（Scalable ES） 方向取得新进展——利用大规模分布式集群并行评估数千个候选策略，在部分 RL 基准上达到与梯度方法相当的性能，且天然适合分布式计算、无需梯度同步。

群体智能（Swarm Intelligence）

粒子群优化（PSO，Kennedy & Eberhart 1995）、蚁群算法（ACO，Dorigo 1992/1996）。核心思想：每个个体只遵循简单规则（“朝当前最优位置移动”+“记住自己找到过的最优位置”），但群体涌现出全局搜索能力。同样属元启发式优化家族。

群体智能与进化计算的关键区别在于信息传递机制：进化计算通过”世代交替”传递信息（父代把基因传给子代），而群体智能中的个体是”长寿”的——它们在整个搜索过程中持续存在，通过实时共享信息（如 PSO 的全局最优位置广播、ACO 的信息素轨迹）来协作。这意味着群体智能通常收敛更快，但更容易陷入局部最优（因为所有个体最终都趋向同一个吸引子）。详细原理和公式推导见群体智能详解。

模糊逻辑（Fuzzy Logic）

Zadeh 1965 年提出，处理”部分为真”的推理——不再是 0 或 1，而是 [0, 1] 区间的隶属度（Membership Degree）。例如”温度 35°C 是热的”这一命题，在经典逻辑中要么为真（1）要么为假（0），但模糊逻辑可以用隶属度 0.8 来表达”35°C 有 80% 的程度算热”。

模糊控制系统的典型架构：

模糊化（Fuzzification）：将传感器读数的精确值（如温度 35°C）通过隶属函数（Membership Function） 转换为模糊集——例如转换为”热: 0.8, 温暖: 0.3, 冷: 0.0”。
模糊推理（Fuzzy Inference）：根据预定义的 IF-THEN 规则库进行推理。例如”IF 温度=热 AND 湿度=高 THEN 风速=大”。每条规则的匹配程度由各条件隶属度的取小（MIN） 操作决定。
去模糊化（Defuzzification）：将推理得到的模糊输出转换为精确控制量。常用方法是重心法（Centroid Method）——对输出隶属函数的加权面积求重心。

模糊逻辑曾是控制领域主流（模糊控制：洗衣机自动判断衣物重量和脏污程度来调节水位和转速）。在分类上常挂在符号主义的知识表示分支下，也可独立成类。

2024-2025 年，模糊逻辑在自动驾驶决策层和工业 4.0 智能制造中持续发挥价值：在自动驾驶中，模糊规则用于处理传感器数据的内在不确定性（如”前车大概在减速”→“本车应该适度刹车”），其可解释性（规则可被人类审查）在安全关键场景中是巨大优势；在工业 4.0 中，模糊控制用于处理多变量非线性系统（如数控机床的切削参数自适应调节），这些系统往往难以建立精确数学模型，而模糊规则可以编码经验丰富的操作工的隐性知识。

模拟退火（Simulated Annealing）

Kirkpatrick et al. 1983 提出，模仿金属退火过程。金属在高温下原子热运动剧烈，可以自由扩散到低能态位置；缓慢降温时原子逐步排列成晶格——如果降温太快（淬火），原子来不及到达最优位置，形成有缺陷的结构。

算法将这一物理过程映射到优化问题：温度（Temperature） 是一个控制参数，决定接受”更差解”的概率。核心接受准则来自 Metropolis 算法——设当前解的目标值为 $f_{\text{current}}$ ，候选解为 $f_{\text{candidate}}$ ，接受概率为：

$P_{\text{accept}} = \begin{cases} 1 & \text{if } f_{\text{candidate}} < f_{\text{current}} \\ \exp\left(-\frac{f_{\text{candidate}} - f_{\text{current}}}{T}\right) & \text{otherwise} \end{cases}$

温度 $T$ 越高，指数项越接近 1（几乎接受所有更差解）→ 大范围探索； $T$ 越低，指数项趋近 0（几乎只接受更好解）→ 精细利用。这就是模拟退火能跳出局部最优的数学原理。降温调度（Cooling Schedule） 是关键超参数——经典选择是几何降温 $T_{k+1} = \alpha \cdot T_k$ （ $\alpha$ 通常取 0.8-0.99），降温太快会陷入局部最优，太慢则浪费计算。

模拟退火与进化计算同属”非梯度优化”大家族，但它只维护一个当前解（而非种群），计算开销更小，适合单点搜索；缺点是缺乏种群多样性、容易在复杂多模态空间中卡住。

神经符号 AI（Neuro-Symbolic AI）

符号主义 × 连接主义的正式交叉领域，核心目标是融合符号推理的可解释性与神经网络的感知学习能力。主要技术路线包括：

AlphaGo 式”符号搜索 + 神经评估”：用蒙特卡洛树搜索（MCTS，一种符号推理的搜索框架）在棋局空间中搜索，用神经网络评估棋局好坏——神经网络提供”直觉”，搜索算法提供”严谨”。
LLM 工具调用 / Agent：LLM 负责自然语言理解和意图识别（连接主义），工具（计算器、数据库、代码解释器）负责精确推理（符号主义）。
AlphaGeometry / AlphaProof：用神经网络生成”直觉性引理”（intuition），再用符号推理引擎（如 Lean 定理证明器）严格验证——将”灵感”和”证明”分离。

2024 年里程碑：DeepMind 的 AlphaGeometry 2 在国际数学奥林匹克竞赛（IMO）几何题上达到金牌选手水平；AlphaProof 基于 Lean 证明系统解决了 IMO 级别的代数与数论问题——这标志着 AI 在形式化数学推理上的重大突破。详见与现代方法的关系。

RAG（检索增强生成，Retrieval-Augmented Generation）

知识库思想 × LLM 的交叉。RAG 的工作流程是：用户提问 → 从外部知识库中检索相关文档片段 → 将检索结果作为上下文拼接到 LLM 的提示词中 → LLM 基于上下文生成答案。这可视为专家系统”知识库 + 推理机分离”架构在 LLM 时代的延续——知识库可以随时更新而不必重训模型，且答案可溯源到具体文档。详见与现代方法的关系。

实践要点

进化计算适合什么场景：目标函数不可导（黑盒优化）、搜索空间离散（组合优化）、或需要全局搜索（避免梯度方法陷入局部最优）。但计算开销大——每一代都要评估整个种群。当评估代价极高时（如每次评估需训练一个模型），应考虑代理模型辅助的进化优化（Surrogate-Assisted EA）——用一个廉价模型近似真实目标函数，减少真实评估次数。
进化计算与深度学习的交集：演化策略（ES）可用于神经网络权重优化（OpenAI 2017 证明 ES 能训练 RL 策略网络）；遗传编程用于神经架构搜索（NAS）。2024 年 AlphaEvolve 开创了”LLM-as-operator”新范式，将 LLM 的语义理解能力引入进化搜索，在算法发现问题上取得突破。
模糊逻辑的现代价值：经典控制（空调、洗衣机、刹车系统）中仍在使用；与神经网络结合形成”神经模糊系统”（Neural-Fuzzy System）——用神经网络自动学习模糊规则和隶属函数参数，兼顾可解释性与自学习能力。
模拟退火的现代用法：用于超参数搜索、组合优化（如旅行商问题 TSP）、LLM 采样策略（LLM 生成文本时的高温/低温采样机制本质上是模拟退火思想的变体——高温增加随机性/多样性，低温增加确定性/质量）。
方法选择指南：连续可导优化→梯度方法；离散/组合优化→遗传算法或模拟退火；高代价黑盒→贝叶斯优化（见贝叶斯优化）；多峰搜索→群体智能；需要可解释规则→模糊逻辑。

典型应用

进化计算

天线设计优化：NASA 用遗传算法演化出异形天线（ST5 卫星天线），其性能优于人工设计的任何标准构型，该天线已实际发射并在太空运行——进化计算能搜索到人类工程师想不到的非直觉设计。
芯片布局优化：Google 用强化学习 + 进化策略优化 TPU 芯片的 floorplanning（宏单元布局），将原本需要人类专家数月完成的芯片物理设计缩短到数小时。
神经架构搜索（NAS）：Google、华为等用进化算法自动搜索最优 CNN/Transformer 网络结构（如 NASNet、AmoebaNet），在 ImageNet 等基准上超越了人工设计的经典架构。
算法自动发现（AlphaEvolve, 2024）：Google DeepMind 用 LLM + 进化算法自动发现新的数学算法——包括改进矩阵乘法（减少乘法次数）和优化排序网络设计，部分结果超越了此前已知最优方案。

群体智能

电力系统优化：PSO 被用于电网无功功率优化、机组负荷经济分配等问题——在满足电网安全约束的前提下调整各发电机组出力，降低总煤耗，已在多家电网调度系统中实际部署。详见群体智能详解。

模糊逻辑

家电模糊控制：松下、LG 的洗衣机用模糊逻辑根据衣物重量和脏污程度（通过浑浊度传感器检测）自动调节水位、洗涤时间和转速；大金、格力空调用模糊控制根据温差和室温变化率调节压缩机频率，实现比传统 PID（比例-积分-微分控制器）更平滑的控温效果。
自动驾驶决策层：部分自动驾驶系统在行为决策层使用模糊规则来处理交通场景中的不确定性——如”前车距离=近 AND 相对速度=负”→“制动强度=大”。模糊规则的可解释性使其在安全审查（Safety Audit）中比黑盒神经网络更受监管机构青睐。

模拟退火

组合优化：VLSI 电路布局、蛋白质结构预测中的构象搜索（将蛋白质折叠视为能量最小化问题，模拟退火搜索最低能态的折叠构象）。
量子退火：D-Wave 等量子退火机本质上是模拟退火的量子版本——利用量子隧穿效应穿越能量势垒，在某些组合优化问题上比经典模拟退火更快收敛。

典型类库与工具

类库	语言	说明
DEAP	Python	最流行的进化算法框架，支持遗传算法、遗传编程、进化策略等，灵活可组合
pymoo	Python	多目标优化框架，内置 NSGA-II、MOEA/D 等主流进化算法
scipy.optimize	Python	SciPy 优化模块，提供模拟退火（dual annealing）、差分进化等非梯度优化方法
Optuna	Python	超参数优化框架，内置 TPE 等贝叶斯优化与进化搜索策略
pyswarms	Python	粒子群优化（PSO）库，支持单/多目标群体智能优化
scikit-fuzzy	Python	模糊逻辑工具箱，支持模糊集、隶属函数与模糊控制系统建模
nevergrad	Python	Facebook Research 的黑盒优化库，支持进化策略、差分进化、CMA-ES 等

术语表

术语	英文	解释
适应度	Fitness	衡量候选解好坏的评价函数值，适应度高的个体更容易被选择繁衍
交叉	Crossover	将两个父代个体的基因片段组合产生后代，是遗传算法的核心操作之一
变异	Mutation	以小概率随机改变个体基因，维持种群多样性、防止陷入局部最优
编码	Encoding	将问题的解表示为可被遗传操作变换的数据结构（如二进制串、实数向量、排列）
遗传算法	Genetic Algorithm (GA)	模拟自然选择的进化优化方法，通过选择、交叉、变异迭代优化种群
进化策略	Evolution Strategies (ES)	进化计算的一个分支，直接对实数向量进行变异和高斯扰动，适合连续优化
群体智能	Swarm Intelligence	大量简单个体通过局部规则互动涌现出集体搜索能力的优化范式（如 PSO、ACO）
模糊集	Fuzzy Set	Zadeh 提出的用 [0, 1] 隶属度表示”部分属于”概念的集合，是模糊逻辑的基础
隶属函数	Membership Function	将精确输入值映射到 [0, 1] 隶属度的函数，定义了模糊集的边界
去模糊化	Defuzzification	将模糊推理的输出转换回精确控制值的过程，常用重心法（Centroid）
模拟退火	Simulated Annealing	模仿金属退火的元启发式算法，以一定概率接受更差解来跳出局部最优
降温调度	Cooling Schedule	模拟退火中温度参数随迭代递减的策略，控制探索到利用的过渡速度
LLM-as-operator	—	用大语言模型替代进化算法中的传统变异/交叉算子，生成语义上有意义的候选解