说话人识别与声纹

说话人识别（Speaker Recognition）通过声音判断”你是谁”——它不同于语音识别 ASR的”你说了什么”，而是关注说话人的身份。从银行的声纹认证到智能音箱的多人识别，声纹技术已广泛融入日常生活。本页梳理从 MFCC 到 ECAPA-TDNN 的声纹特征演进，以及确认、辨认、分离三大核心任务，并涵盖 2024-2026 年深度伪造语音检测与声纹安全的前沿进展。前置阅读：语音与音频技术概览。

核心直觉

声纹 = 声道结构的”声学指纹”。

每个人的声音都是独特的——声带（vocal folds）的长度与厚度、声道（vocal tract，从声带到嘴唇的共鸣腔）的形状、鼻腔结构、舌头与牙齿的排列、甚至发音时的肌肉习惯共同构成了不可复制的声音”指纹”。声纹识别就是提取并比对这个声音指纹：

声纹特征提取 = 给声音画像：从音频中提取能代表说话人身份的特征。早期用 MFCC（描述声音的频率分布），现代用神经网络提取高维嵌入向量——就像从人脸照片提取特征向量一样。
说话人确认（1:1）= 身份验证：“这句话是不是张三说的？“——拿这句话的声纹和张三的注册声纹比对，判断是否同一人。像刷脸解锁：你的脸和手机里存的脸比对。
说话人辨认（1:N）= 身份识别：“这句话是谁说的？“——和数据库里 N 个人的声纹逐一比对，找出最像的。像人脸识别找朋友圈里的人。
说话人分离 = “谁在什么时候说话”：一段多人对话录音，标注出每段时间是谁在说。像会议记录自动标注”张三：…”。

与 ASR 的关键区别：ASR 关心”说了什么”（内容），声纹关心”谁说的”（身份）。两者经常串联使用——先做说话人分离，再分别做 ASR，最终生成”谁说了什么”的完整记录。2024 年以来，WhisperX 这类系统已将两个步骤无缝串联为一条工业级流水线。

原理详解

声纹特征演进

MFCC：经典声学特征

MFCC（Mel-Frequency Cepstral Coefficients，梅尔频率倒谱系数） 是最经典的声学特征，1980 年由 Davis 和 Mermelstein 提出，至今仍是许多系统的基线：

预加重（Pre-emphasis）：通过一个高通滤波器提升高频部分，平衡频谱——语音信号的能量集中在低频，高频部分携带大量说话人个性信息（如摩擦音、爆破音的特征），但幅度偏小，需要预加重来”拉平”。
分帧加窗（Framing + Windowing）：把连续音频切成 20-40ms 的短帧（帧移通常 10ms），每帧加汉明窗（Hamming Window）。分帧是因为语音是短时平稳信号——在 20-30ms 内可近似看作周期信号，FFT 才有意义。
FFT 频谱：对每帧做快速傅里叶变换（Fast Fourier Transform），从时域转换到频域，得到能量谱。
Mel 滤波器组：用 Mel 尺度的三角滤波器组（通常 26-40 个）模拟人耳对频率的感知。
对数 + DCT：对滤波器组输出取对数（模拟人耳对响度的对数感知），再做离散余弦变换（Discrete Cosine Transform）。
取前 12-13 维 + 能量 + 差分：最终每帧得到 39 维 MFCC 特征（13 静态 + 13 一阶差分 + 13 二阶差分）。

MFCC 为什么有效？

理解 MFCC 的设计动机，关键是三步去相关：

Mel 刻度匹配人耳感知：人耳对不同频率的感知是非线性的——对 1kHz 到 2kHz 的变化感知明显，但对 10kHz 到 11kHz 的同样 1kHz 变化几乎察觉不到。Mel 刻度（Mel scale）用公式 $\text{Mel}(f) = 2595 \times \log_{10}(1 + f/700)$ 将线性频率映射为感知频率，在低频处分辨率高（滤波器密集），高频处分辨率低（滤波器稀疏）。这种非线性采样让特征集中在人耳最敏感的频段，恰好也是区分说话人最有效的频段（声道形状的差异主要体现在 1-4kHz 的共振峰 formant 位置上）。
对数变换模拟响度感知：人耳对声音响度的感知是对数关系（音量翻 10 倍，感知只增加 1 个数量级）。取对数使特征对录音音量变化更鲁棒。
DCT 去除频谱间相关性：Mel 滤波器组的输出之间高度相关（相邻滤波器频带有重叠），直接使用会导致特征冗余。DCT 将能量压缩到前几个系数——前 13 维已经包含了大部分说话人身份信息，高阶系数更多是噪声和细微频谱纹波。DCT 后的特征近似不相关（去相关 decorrelation），便于后续的统计建模（如 GMM 假设各维独立）。

一句话总结：MFCC = 频谱 → Mel 非线性采样（匹配人耳）→ 对数（匹配响度感知）→ DCT 去相关（压缩信息到低维）。这三步操作都是受到人类听觉系统工作原理的启发。

MFCC 的优点是计算快、可解释性强、对 clean 语音效果稳定，但它只描述了声音的浅层频谱特征，无法捕捉深层说话人身份信息，且在噪声环境下退化严重。

i-vector：身份向量

i-vector（identity vector, 2011） 是 2010 年代声纹识别的主流方法。核心思想：

用一个低维”全因子空间”（Total Variability Space）同时建模说话人差异和信道差异（信道 = 录音设备、传输线路带来的声音变化，如手机 vs 麦克风）。
每段语音在这个空间中提取一个 i-vector（通常 400-600 维），代表这段语音的身份+信道信息的混合。
用 PLDA（Probabilistic Linear Discriminant Analysis，概率线性判别分析）在 i-vector 空间中做最终的比对打分——PLDA 能区分”这个差异是说话人造成的”还是”信道造成的”。

i-vector 是基于高斯混合模型-超向量（GMM-UBM，Universal Background Model）的统计方法，在干净环境下效果好，但在噪声和跨信道（训练用手机、测试用固话）场景下退化明显。它的另一个局限是提取过程计算量大（涉及大量矩阵运算），难以实时部署。

x-vector 与 ECAPA-TDNN：深度学习时代

x-vector（Snyder et al. 2018） 开启了深度学习声纹时代：

用 TDNN（Time-Delay Neural Network，时延神经网络）处理 MFCC 特征序列。TDNN 的核心是一维卷积——在不同时间偏移上共享权重，能捕捉时序模式且对时间偏移有鲁棒性。
用统计池化层（Statistics Pooling） 把变长序列压缩成固定长度的向量——计算帧级特征的均值和标准差，拼接后送入全连接层。
输出一个嵌入向量（通常 512 维），用对比学习训练（如 A-Softmax、AM-Softmax），让同一人的向量在高维空间中聚集、不同人的远离。

ECAPA-TDNN（Emphasized Channel Attention, Propagation and Aggregation in TDNN, Desplanques et al. 2020） 是当前开源声纹模型的 SOTA 基线，在 VoxCeleb 数据集上 EER（等错误率）降至 0.8% 左右，远超 i-vector。它的三大改进：

SE 通道注意力（Squeeze-Excitation Channel Attention）：自动学习各频率通道的重要性——
- Squeeze（压缩）：对特征图沿时间轴做全局平均池化，把 [时间 × 通道] 的二维特征压缩成 [1 × 通道] 的一维向量——这一步”汇总”了每个通道在整个时间范围内的全局信息。
- Excitation（激励）：用两层全连接（先降维再升维，中间用 ReLU 激活，最后用 Sigmoid 归一化到 0-1）学习每个通道的权重——让模型自动判断”哪个频率通道对说话人身份更重要”。
- Reweight（重加权）：将学到的通道权重乘回原始特征图，重要通道被放大，不重要通道被抑制。
- 直觉：不同说话人的声道形状差异会在不同频率通道上产生不同的能量分布——SE 机制让模型自动找到对身份判别最有用的频率区域（比如某个人的第二共振峰特别靠后，对应某个频率通道的异常模式），而不是对所有频率一视同仁。
多层特征聚合（Multi-layer Feature Aggregation, MFA）：融合 TDNN 不同层级的输出。浅层捕捉局部频谱细节（类似 MFCC），深层捕捉高级身份语义——拼接多层特征让模型同时拥有”细节”和”全局”视角。
Attentive Statistics Pooling（注意力统计池化）：改进 x-vector 的简单均值池化——用注意力机制学习每帧的重要性权重，再计算加权均值和加权标准差。这让模型能自动聚焦于信息量大的帧（如含有个性化发音特征的元音段），忽略静音或噪声帧。

2023-2026 前沿模型

深度学习声纹模型仍在快速迭代：

CAM++（Context-Aware Mask, 2023）：基于密集连接网络（DenseNet-style）和 channel-axis attention 的说话人模型。它沿通道轴而非时间轴施加注意力，在更高效的计算量下于 VoxCeleb 上取得 SOTA 性能。CAM++ 也是阿里巴巴 3D-Speaker 工具包的核心模型。
3D-Speaker（阿里巴巴, 2023-2024）：开源说话人分析工具包，统一支持说话人确认、辨认、分离、语言识别等多任务，内置 CAM++、ERes2Net 等模型。它推动了声纹研究的可复现性——研究者可以在同一框架下公平比较不同方法。
ERes2Net（Enhanced Res2Net, 2023）：通过多尺度残差结构捕捉细粒度的声学模式，在 VoxCeleb 上 EER 降至 0.6% 以下，是目前开源模型中的顶尖水平。
自监督预训练声纹模型：受 wav2vec 2.0、HuBERT 等自监督模型在 ASR 领域成功的启发，研究者开始用自监督预训练的 Transformer 提取说话人嵌入。WavLM、ECAPA-TDNN + WavLM 微调等方案已接近甚至超越纯监督训练的基线，代表了”大规模无标注预训练 → 下游声纹微调”的新范式。

三大核心任务

说话人确认（Speaker Verification, 1:1）

判断”两段语音是否来自同一人”。流程：

注册阶段：用户提供一段或多段语音，系统提取声纹嵌入存入数据库。
验证阶段：用户说一句话，系统提取声纹嵌入，与注册嵌入计算余弦相似度。
阈值判断：相似度超过阈值则判定为同一人（通过），否则拒绝。

评估指标——EER（等错误率）：当”误拒率（FRR，False Rejection Rate，合法用户被拒）“和”误受率（FAR，False Acceptance Rate，冒充者通过）“相等时的错误率。EER 越低越好，当前最佳模型 EER 在 1% 以下。实际部署中，阈值需要根据业务场景在 FRR 和 FAR 之间取舍——银行转账宁可误拒也不误受（高阈值），智能音箱宁可误受也不误拒（低阈值）。

余弦相似度为什么适合声纹比对？

声纹比对的最后一步几乎总是余弦相似度（Cosine Similarity），而非欧氏距离：

$\text{cosine\_sim}(A, B) = \frac{A \cdot B}{\|A\| \cdot \|B\|}$

衡量方向而非幅度：余弦相似度计算的是两个向量之间的夹角，而非它们的绝对距离。经过训练后（尤其是用 AM-Softmax / ArcFace 类损失函数训练），同一人的嵌入向量在高维空间中方向趋于一致，不同人的方向显著不同。方向的差异才是身份差异的本质。
对录音条件不敏感：同一个人用大音量或小音量说话、用手机麦克风或专业麦克风录音——这些变化主要改变嵌入向量的幅度（norm），而训练好的模型让幅度变化不影响方向。余弦相似度天然归一化了幅度，因此对音量变化、信道变化更鲁棒。欧氏距离则会被幅度差异严重干扰。
计算高效：只需一次点积 + 两次范数计算，适合大规模声纹库的实时检索。

说话人辨认（Speaker Identification, 1:N）

判断”一段语音来自数据库中 N 个人里的哪一个”。流程：与 N 个人的注册声纹逐一比对，取相似度最高的作为识别结果。N 越大越难——当 N 达到数万人时，性能显著下降。工业级系统通常结合声纹聚类索引（如基于 FAISS 的近似最近邻搜索）来加速大规模比对。

说话人分离（Speaker Diarization）

解决”谁在什么时候说话”的问题。经典流程：

语音活动检测（VAD）：去除静音段。
分割：把音频切成包含单一说话人的短片段。
嵌入提取：对每个片段提取声纹嵌入。
聚类：用聚类算法（如谱聚类 Spectral Clustering、AHC 凝聚层次聚类）把嵌入分组，同一人的片段归为一类。
标注：为每段时间标注说话人标签（spk_0, spk_1, …）。

端到端说话人分离是当前研究热点：用神经网络直接从原始音频输出”说话人-时间”标注，避免多阶段流水线的误差累积。代表方法包括 End-to-End Neural Diarization (EEND) 和 pyannote-audio 的多阶段神经流水线。

pyannote 3.1 与 WhisperX：完整对话理解流水线

2024 年，说话人分离工具的可用性有了质的飞跃：

pyannote-audio 3.1（2024）：说话人分离的 SOTA 开源系统。基于”分割聚类一体化”的神经流水线——先用 pyannote 的 segmentation 模型做多说话人分割，再用聚类算法合并同一人的片段。支持多说话人 diarization（不限说话人数量），在 DER（Diarization Error Rate，分离错误率）指标上达到开源系统最优。3.1 版本提升了模型鲁棒性和推理速度，并支持自定义微调。
WhisperX 集成：将三大组件串联为”谁在什么时间说了什么”的完整流水线——
- Whisper（Whisper 与 wav2vec）：快速 ASR 转写出文本。
- pyannote-audio：说话人分离，标注每段时间的说话人。
- wav2vec2 forced alignment：强制对齐（forced alignment，把已知的文本和音频逐音素对齐），生成精确到词级的时间戳。
- 最终输出形如：[00:01:23-00:01:28] 张三: 我们下个季度需要加大研发投入。这让会议录音、播客、采访的自动化转录从”说了什么”进化到”谁在何时说了什么”。

声音克隆（Voice Cloning）

Zero-shot 声音克隆：只需几秒参考音频，就能克隆出目标说话人的声音，用任意文本生成模仿其音色的语音。

技术路线：说话人编码器（提取声纹嵌入）+ TTS 合成器（根据文本+声纹生成语音）。详见语音合成 TTS。
代表系统：XTTS（Coqui）、OpenAI 语音引擎、ElevenLabs、GPT-SoVITS、F5-TTS（2024）。
安全风险：声音克隆带来深度伪造（Deepfake）风险——2024 年已发生多起利用 AI 克隆企业高管声音实施电信诈骗的真实案件，单起涉案金额最高达数千万美元。声纹防伪和伪造检测成为安全领域的新课题（详见下方声纹安全章节）。

声纹安全

随着声音克隆技术的普及，“只靠声音验身份”不再可靠。声纹安全已发展为一个独立的研究方向，涵盖伪造检测、活体检测、水印溯源和法规合规四个层面。

深度伪造语音检测（Anti-Spoofing）

ASVspoof Challenge 是该领域的国际权威评测（自 2015 年起每两年举办一届），专门推动反欺骗研究。它定义了四类攻击方式：

攻击类型	英文	说明
冒充	Impersonation	模仿他人说话习惯（低技术门槛）
录音回放	Replay	用录音设备播放目标说话人的声音
语音合成	Text-to-Speech (TTS)	用 TTS 系统生成目标说话人的声音
声音转换	Voice Conversion (VC)	将一个人的声音转换成另一个人的音色

检测方法：伪造语音往往在频谱细节上留有”痕迹”——TTS 合成的语音在频谱时间网格上可能过于平滑或出现周期性伪影，声音转换可能引入相位不连续。检测模型（如 AASIST, RawNet3）用原始波形或频谱图输入，训练二分类器区分”真人”与”伪造”。
2024-2025 进展：ASVspoof 2024 引入了更难的深度伪造音频（基于大模型 TTS 生成），最佳系统的 min-tDCF（检测代价函数）已降至 0.1 以下。但”生成 vs 检测”的对抗持续升级——每代检测模型只能对抗当前代的生成模型。

活体检测（Liveness Detection）

录音回放（Replay）是最简单的攻击手段——攻击者只需一个音箱播放受害者的录音。活体检测判断声音是否来自”现场的真人”：

挑战-响应：系统随机要求用户说一句话（如”请说：今天是星期三”），防止使用预录音频。
声学特征活体检测：真人说话和音箱播放的声学信号有细微差异——音箱播放会引入额外的设备失真、房间混响叠加、频带截断。检测模型可以学习这些差异。
多模态活体：结合嘴唇运动（视觉）、麦克风阵列的声源定位（空间一致性）、甚至心跳和呼吸等生理信号来验证活体。

水印技术（Audio Watermarking）

在语音中嵌入人耳不可感知的水印来验证真伪：

嵌入：在音频的相位域或频域中微调参数，嵌入标识信息（如”本段语音由 XX 系统于 YYYY-MM-DD 生成”），人耳听不出差别，但特定检测算法能提取水印。
应用场景：AI 语音公司（如 ElevenLabs）已在生成的语音中自动嵌入水印，使平台和下游检测者能识别”这是 AI 生成的语音”。2024 年起，Meta、Google 等公司也在推进音频水印标准。
对抗性：水印需要抵抗压缩（MP3/AAC）、裁剪、变速、加噪等常见处理——强大的水印应在这些操作后仍可提取。水印与检测的军备竞赛仍在持续。

法规合规

声纹属于生物特征数据（biometric data）——它是不可更改的个人特征（你不能像改密码一样换声带），因此各国法规对其保护尤为严格：

GDPR（欧盟通用数据保护条例）：第 9 条将生物特征数据列为”特殊类别个人数据”，处理声纹需要明示同意（explicit consent），且用户有权随时要求删除。违反者面临高达全球年营业额 4% 的罚款。
中国《个人信息保护法》：将生物特征列为”敏感个人信息”，处理需具有特定目的和充分必要性，且需取得个人单独同意。
最佳实践：只存储声纹嵌入向量（不可逆向还原原始语音）、原始语音用后即删、数据加密存储、定期审计访问日志。

原理图解

SE 通道注意力机制

说话人分离与 WhisperX 流水线

动手实践

用 SpeechBrain 提取声纹嵌入

import torchaudio  # 导入音频处理库
from speechbrain.inference.speaker import SpeakerRecognition

# 加载预训练说话人识别模型（ECAPA-TDNN, VoxCeleb 训练）
verifier = SpeakerRecognition.from_hparams(
    source="speechbrain/spkrec-ecapa-voxceleb", savedir="tmp_model")

# 提取声纹嵌入（512 维向量），可后续用于相似度比对
score, prediction = verifier.verify_files("zhangsan.wav", "zhangsan_test.wav")
print(f"相似度分数: {score.item():.3f}")        # 0~1，越高越相似
print(f"是否同一人: {prediction.item()}")        # True/False（基于内置阈值）
# score > 0.25 通常判定为同一人（阈值取决于安全等级要求）

完整流程：注册 → 提取嵌入 → 余弦比对 → 阈值判定

# pip install speechbrain torchaudio torch
import torch
import torchaudio
from speechbrain.inference.speaker import SpeakerRecognition

# 加载 ECAPA-TDNN 预训练模型（VoxCeleb 训练）
verifier = SpeakerRecognition.from_hparams(
    source="speechbrain/spkrec-ecapa-voxceleb", savedir="tmp_model")

def load_16k(path: str):
    """加载音频并统一采样率到 16kHz（声纹模型的标准输入）"""
    wav, sr = torchaudio.load(path)
    return torchaudio.functional.resample(wav, sr, 16000) if sr != 16000 else wav

# 第一步：注册 —— 提取参考说话人的声纹嵌入（192 维向量）
enroll_emb = verifier.encode_batch(load_16k("zhangsan.wav")).squeeze(0)
print(f"声纹嵌入形状: {enroll_emb.shape}")

# 第二步：验证 —— 提取待测语音的声纹嵌入
test_emb = verifier.encode_batch(load_16k("zhangsan_test.wav")).squeeze(0)

# 第三步：余弦相似度（同一人 → 接近 1，不同人 → 接近 0）
# 余弦相似度衡量的是向量方向（角度），而非绝对幅度
# 因此对录音音量变化、信道差异更鲁棒
cos_sim = torch.nn.functional.cosine_similarity(enroll_emb, test_emb, dim=0)
print(f"余弦相似度: {cos_sim.item():.3f}")

# 第四步：阈值判定（高安全场景调高阈值，便利场景调低阈值）
threshold = 0.55
verdict = "同一说话人" if cos_sim.item() > threshold else "不同说话人"
print("判定结果:", verdict)

💡 也可用 Resemblyzer 提取 GE2E 声纹嵌入（256 维），更轻量、无需 GPU。pyannote-audio 则专攻说话人分离任务。

用 pyannote-audio 做说话人分离

# pip install pyannote.audio
# 注意：pyannote 3.1 需要在 HuggingFace 上接受模型许可协议后获取 access token
from pyannote.audio import Pipeline

# 加载预训练说话人分离流水线（pyannote 3.1）
pipeline = Pipeline.from_pretrained(
    "pyannote/speaker-diarization-3.1",
    use_auth_token="YOUR_HF_TOKEN"  # 在 https://huggingface.co/pyannote/speaker-diarization-3.1 接受协议
)

# 对音频文件做说话人分离
diarization = pipeline("meeting.wav", min_speakers=2, max_speakers=5)

# 遍历输出："谁在什么时候说话"
for turn, _, speaker in diarization.itertracks(yield_label=True):
    print(f"[{turn.start:.1f}s - {turn.end:.1f}s] {speaker}")
# 输出示例:
# [00:01.2 - 00:05.8] SPEAKER_00
# [00:06.1 - 00:12.3] SPEAKER_01
# [00:12.5 - 00:18.0] SPEAKER_00

WhisperX：完整的”谁在何时说了什么”流水线

# pip install whisperx
import whisperx

# 第一步：用 Whisper 做 ASR 转写（带词级时间戳）
device = "cuda"  # 或 "cpu"
audio = whisperx.load_audio("meeting.wav")
model = whisperx.load_model("large-v3", device)
result = model.transcribe(audio, language="zh")

# 第二步：用 wav2vec2 做强制对齐，生成精确词级时间戳
model_a, metadata = whisperx.load_align_model(language_code="zh", device=device)
result = whisperx.align(result["segments"], model_a, metadata, audio, device)

# 第三步：用 pyannote 做说话人分离，并赋色到每个词
diarize_model = whisperx.DiarizationPipeline(use_auth_token="YOUR_HF_TOKEN", device=device)
diarize_segments = diarize_model(audio, min_speakers=2, max_speakers=5)
result = whisperx.assign_word_speakers(diarize_segments, result)

# 最终输出："谁在什么时候说了什么"
for segment in result["segments"]:
    speaker = segment.get("speaker", "UNKNOWN")
    text = segment["text"]
    start, end = segment["start"], segment["end"]
    print(f"[{start:.1f}-{end:.1f}] {speaker}: {text}")

实践要点

采样率统一：声纹模型通常在 16kHz 采样率训练，输入音频需重采样到 16kHz，否则性能下降。
注册语音长度：注册时建议提供至少 10-30 秒干净语音，过短则声纹不够稳定。
阈值调整：验证阈值需根据安全等级调整——高安全场景（银行转账）调高阈值降低误受率，便利场景（音箱识别）调低阈值降低误拒率。
抗噪与防伪：真实场景有背景噪声、跨信道（手机 vs 麦克风）变化，训练时需做数据增强（加噪、混响）。声纹防伪需加入伪造检测模块。
多注册融合：注册多段语音取平均嵌入，比单段注册更稳定——降低单次录音的偶然性。
隐私合规：声纹属于生物特征信息，存储和使用需遵守相关法规（如 GDPR、《个人信息保护法》），通常只存嵌入向量不存原始语音。
安全加固：2024 年起，面向公众的声纹系统必须配套活体检测或反欺骗模块，否则面临被 AI 克隆语音攻破的风险。

典型应用

银行声纹认证：电话银行用声纹验证客户身份，无需密码——中国建设银行、招商银行已商用部署。现代系统通常结合反欺骗模块防御录音回放和 TTS 攻击。
智能音箱多人识别：小爱同学、Amazon Echo 根据说话人切换个性化响应——识别到”爸爸”的声纹就播报爸爸的日程。
会议记录发言者标注：飞书妙记、Zoom 会议、腾讯会议自动区分不同发言者，生成”张三：…”格式的纪要。常与 ASR 串联使用，WhisperX 已成为该场景的开源首选方案。
安全系统门禁：声纹门禁系统，结合人脸识别做多模态生物认证，安全性更高。
通话反欺诈：检测客服通话中的已知欺诈者声纹——保险、证券行业的风控应用。
有声内容个性化：有声书 App 根据用户声纹切换推荐内容，家庭成员共享设备时区分个人偏好。
播客与媒体转录：自动将多人播客转录为带说话人标签的文字稿，大幅减少后期编辑工作量。
司法取证：在获得合法授权的前提下，对通话录音做说话人鉴定，辅助案件侦查。

典型类库与工具

类库	语言	说明
SpeechBrain	Python	开源语音处理工具包，含 ECAPA-TDNN 等 SOTA 声纹模型
Resemblyzer	Python	轻量声纹嵌入库（GE2E），无需 GPU 即可使用
pyannote-audio 3.1	Python	专注说话人分离，端到端 diarization 流水线，2024 SOTA
3D-Speaker（阿里巴巴）	Python	开源说话人分析工具包，含 CAM++、ERes2Net 等模型
WhisperX	Python	Whisper ASR + pyannote 分离 + wav2vec2 对齐，“谁说了什么”完整流水线
NeMo (NVIDIA)	Python	NVIDIA 语音工具包，含 MarbleNet VAD + ECAPA 声纹链路
WeSpeaker	Python/C++	出门问问开源的工业级声纹识别系统
Kaldi	C++/Shell	经典语音工具包，i-vector 时代的工业标准
AASIST / RawNet3	Python	深度伪造语音检测（Anti-Spoofing），ASVspoof Challenge 基线

术语表

术语	英文	解释
声纹	Voiceprint	能唯一标识说话人身份的声音特征
MFCC	Mel-Frequency Cepstral Coefficients	梅尔频率倒谱系数，经典声学特征（1980s）
Mel 刻度	Mel Scale	模拟人耳非线性频率感知的刻度，低频分辨率高
共振峰	Formant	声道共鸣产生的频谱能量峰值，是区分元音和说话人的关键
i-vector	Identity Vector	基于全因子空间的统计身份向量（2010s 主流）
x-vector	x-vector	基于 TDNN 的深度学习声纹嵌入向量
ECAPA-TDNN	ECAPA-TDNN	当前 SOTA 开源声纹模型，SE 注意力 + 多层聚合
SE 注意力	Squeeze-Excitation	先压缩（全局池化）再激励（学习通道权重）的通道注意力机制
CAM++	CAM++	基于密集连接和通道注意力的 SOTA 说话人模型（2023）
余弦相似度	Cosine Similarity	衡量向量方向（角度）的相似度，对幅度变化不敏感
d-vector	d-vector	基于深度神经网络的说话人嵌入向量（早期）
EER	Equal Error Rate	误拒率和误受率相等时的错误率，声纹标准评估指标
PLDA	Probabilistic Linear Discriminant Analysis	概率线性判别分析，i-vector 时代的比对打分方法
说话人分离	Speaker Diarization	标注”谁在什么时候说话”的任务
DER	Diarization Error Rate	分离错误率，说话人分离的标准评估指标
语音活动检测	VAD (Voice Activity Detection)	检测音频中有人说话和静音段的算法
深度伪造语音检测	Anti-Spoofing / Liveness Detection	检测 AI 生成的虚假语音或录音回放的攻击
ASVspoof	ASVspoof Challenge	自动说话人确认防欺骗挑战赛，反欺骗领域权威评测
活体检测	Liveness Detection	判断声音是否来自现场真人的技术