声音事件检测

声音事件检测（Sound Event Detection，SED）和音频打标（Audio Tagging）的任务是让计算机识别音频中出现的声音事件——狗叫、警笛、婴儿哭声、玻璃破碎——以及它们发生的时间。与语音识别 ASR 关注”人说了什么”不同，SED 关注”周围发生了什么”，是环境感知、安防监控、智能家居的关键技术。前置阅读：语音与音频技术概览。

核心直觉

SED = 给 AI 装一双”环境监听的耳朵”。 人耳能自动分辨出门外有快递员敲门、厨房水壶烧开了、婴儿在哭——SED 就是让机器完成同样的环境声音识别。

音频打标（Audio Tagging）= 整体标签。 给一段音频打上几个标签：“这段录音里有狗叫和汽车喇叭”。不关心具体什么时候发生，只关心有没有——是”有没有”的问题。
声音事件检测（SED）= 时间定位。 不仅识别出了什么声音，还标注它们开始和结束的时间戳——是”什么时候有什么”的问题。
多音（Polyphonic）SED = 同时发生的多个事件。 现实世界中声音往往叠加出现（同时有说话声、键盘声、空调嗡嗡声），多音 SED 要同时检测重叠的多个事件——比单事件检测难得多。
声学场景分类（Acoustic Scene Classification）= 在哪。 判断这段录音所处的声学环境（厨房、公园、办公室、地铁），是”在哪里”的问题——与”有什么事件”互补。
CRNN 架构 = CNN 提特征 + RNN 建时序。 卷积层从频谱图中提取局部声学模式，循环层捕捉事件的时间依赖关系，是 SED 的主流架构。
音频 Transformer（AST/BEATs）= 把 ViT 思路搬到声音。 将音频声谱图当作”图像”，用自注意力（Self-Attention）替代 CNN+RNN 提取特征，是 2021 年以来的新范式。

原理图解

SED 完整流水线

从原始音频到带时间戳的事件列表，标准流程如下：

模拟 Mel 声谱图可视化

下面用一段模拟的 Mel 声谱图展示典型声音事件在时频域中的分布——可以看到狗叫（宽带突发能量）和警笛（窄带频率扫描）呈现出截然不同的纹理模式，这正是 CRNN 中卷积层需要捕捉的”声学指纹”。

import matplotlib
matplotlib.use("Agg")
import matplotlib.pyplot as plt
import numpy as np

np.random.seed(42)

# Spectrogram dimensions
n_mels = 128
n_frames = 500  # ~10 seconds at 50 frames/s
duration = 10.0  # seconds

time_axis = np.linspace(0, duration, n_frames)
mel_axis = np.arange(n_mels)

# Build a mock mel-spectrogram in dB
freq_profile = np.exp(-np.linspace(0, 2.5, n_mels))  # higher energy at low freqs
spectrogram = np.random.randn(n_mels, n_frames) * 3.0 + 20.0  # base dB ~ 20
spectrogram *= freq_profile[:, None]

# Ambient hum band (low-mid frequencies)
hum_center = 30
spectrogram[hum_center - 4:hum_center + 4, :] += np.random.uniform(8, 14, size=(8, n_frames))

# --- Event 1: Dog bark (t=2-3s) — broadband bursty ---
t_bark = (time_axis >= 2.0) & (time_axis <= 3.0)
for f_idx in np.where(t_bark)[0]:
    if np.sin(2 * np.pi * 5 * time_axis[f_idx]) > 0:
        burst = np.exp(-((mel_axis - 55) / 30) ** 2) * np.random.uniform(30, 42)
        spectrogram[:, f_idx] += burst

# --- Event 2: Siren (t=5-7s) — narrow band sweeping ---
t_siren = (time_axis >= 5.0) & (time_axis <= 7.0)
for f_idx in np.where(t_siren)[0]:
    sweep = 60 + 20 * np.sin(2 * np.pi * 0.8 * time_axis[f_idx])
    for h in [sweep, sweep + 15, sweep + 30]:
        idx = int(np.clip(h, 0, n_mels - 1))
        spectrogram[:, f_idx] += np.exp(-((mel_axis - idx) / 3) ** 2) * np.random.uniform(28, 36)

# --- Event 3: High-freq chirp (t=7.5-8.5s) ---
t_chirp = (time_axis >= 7.5) & (time_axis <= 8.5)
for f_idx in np.where(t_chirp)[0]:
    spectrogram[:, f_idx] += np.exp(-((mel_axis - 100) / 5) ** 2) * np.random.uniform(20, 28)

spectrogram = np.clip(spectrogram, 0, 70)

fig, ax = plt.subplots(figsize=(10, 5.5))
fig.patch.set_facecolor("white")

im = ax.imshow(
    spectrogram, aspect="auto", origin="lower",
    extent=[0, duration, 0, n_mels],
    cmap="magma", interpolation="bilinear",
)
ax.set_xlabel("Time (s)", fontsize=11, fontweight="bold")
ax.set_ylabel("Mel Frequency Bin", fontsize=11, fontweight="bold")
ax.set_title("Simulated Mel-Spectrogram with Sound Events", fontsize=12, fontweight="bold")

cbar = fig.colorbar(im, ax=ax, pad=0.02)
cbar.set_label("Power (dB)", fontsize=10, fontweight="bold")

# Annotations
ax.annotate("Dog bark", xy=(2.5, 95), xytext=(0.6, 118), fontsize=9, fontweight="bold",
            color="white", bbox=dict(boxstyle="round,pad=0.3", fc="#e91e63", ec="white", lw=1),
            arrowprops=dict(arrowstyle="->", color="white", lw=1.8))
ax.annotate("Siren (sweeping)", xy=(6.0, 95), xytext=(4.2, 118), fontsize=9, fontweight="bold",
            color="white", bbox=dict(boxstyle="round,pad=0.3", fc="#2196F3", ec="white", lw=1),
            arrowprops=dict(arrowstyle="->", color="white", lw=1.8))
ax.annotate("High-freq chirp", xy=(8.0, 108), xytext=(8.6, 70), fontsize=9, fontweight="bold",
            color="white", bbox=dict(boxstyle="round,pad=0.3", fc="#4CAF50", ec="white", lw=1),
            arrowprops=dict(arrowstyle="->", color="white", lw=1.8))

plt.tight_layout()
plt.savefig("sound-event-spectrogram.png", dpi=180, bbox_inches="tight", facecolor="white")
plt.close()

Simulated Mel-Spectrogram with Sound Events

模拟 Mel 声谱图可视化

下图是一个使用 numpy 生成的模拟 Mel 声谱图，其中包含了狗叫（宽带脉冲）和警笛声（频率扫掠）等典型声音事件：

import matplotlib
matplotlib.use("Agg")

import matplotlib.pyplot as plt
import numpy as np

np.random.seed(42)

n_mels = 128
n_frames = 500  # ~10 s at 50 fps
duration = 10.0  # seconds

# Time axis
times = np.linspace(0, duration, n_frames)

# Base background noise (quiet)
spectrogram = np.random.rand(n_mels, n_frames) * 5 + 10  # dB floor ~10-15

# Event 1: Dog bark — broadband bursts around t=2–3 s, concentrated in mid-high mel bins
bark_start, bark_end = 2.0, 3.0
mask_t = (times >= bark_start) & (times <= bark_end)
frame_indices = np.where(mask_t)[0]
for _ in range(5):  # 5 bark pulses
    center = np.random.choice(frame_indices)
    width = np.random.randint(3, 6)
    f_lo, f_hi = 30, 100
    pulse = np.exp(-((np.arange(f_hi - f_lo) - np.random.randint(10, 50)) ** 2) / (2 * 25 ** 2))
    t_frames = np.arange(max(0, center - width), min(n_frames, center + width + 1))
    pulse_2d = pulse[:, None] * np.exp(-((t_frames - center) ** 2) / (2 * 3 ** 2))
    spectrogram[f_lo:f_hi, max(0, center - width):min(n_frames, center + width + 1)] += pulse_2d * 60

# Event 2: Siren — slowly rising/falling tone at t=5–7 s, narrow band sweeping
siren_start, siren_end = 5.0, 7.0
mask_s = (times >= siren_start) & (times <= siren_end)
siren_frames = np.where(mask_s)[0]
for fi in siren_frames:
    t = times[fi]
    # Siren sweeps between mel bin 40 and 70
    center = 55 + 15 * np.sin(2 * np.pi * 0.5 * (t - siren_start))
    pulse = np.exp(-((np.arange(n_mels) - center) ** 2) / (2 * 4 ** 2))
    spectrogram[:, fi] += pulse * 70

# Event 3: Brief click at t=0.5 s
click_frame = int(0.5 / duration * n_frames)
spectrogram[:, click_frame] += 40

# Add harmonics for barks
for fi in frame_indices:
    spectrogram[10:25, fi] += 20

# Clip to reasonable dB range
spectrogram = np.clip(spectrogram, 0, 90)

fig, ax = plt.subplots(figsize=(9, 5.5))

im = ax.imshow(
    spectrogram,
    aspect="auto",
    origin="lower",
    cmap="inferno",
    extent=[0, duration, 0, n_mels],
    interpolation="bilinear",
)

ax.set_xlabel("Time (s)", fontsize=10)
ax.set_ylabel("Mel Frequency Bins", fontsize=10)
ax.set_title("Simulated Mel-Spectrogram with Sound Events", fontsize=12, fontweight="bold")

# Event annotations
ax.annotate(
    "Dog bark",
    xy=(2.5, 95), xytext=(0.8, 115),
    fontsize=9, fontweight="bold", color="white",
    arrowprops=dict(arrowstyle="->", color="cyan", lw=1.5),
)
ax.axvspan(2.0, 3.0, color="cyan", alpha=0.06)

ax.annotate(
    "Siren",
    xy=(6.0, 60), xytext=(7.5, 90),
    fontsize=9, fontweight="bold", color="white",
    arrowprops=dict(arrowstyle="->", color="lime", lw=1.5),
)
ax.axvspan(5.0, 7.0, color="lime", alpha=0.06)

ax.annotate(
    "Click",
    xy=(0.5, 80), xytext=(1.2, 110),
    fontsize=9, fontweight="bold", color="white",
    arrowprops=dict(arrowstyle="->", color="yellow", lw=1.2),
)

cbar = fig.colorbar(im, ax=ax, fraction=0.025, pad=0.02)
cbar.set_label("Power (dB)", fontsize=9)

ax.set_xlim(0, duration)
ax.set_ylim(0, n_mels)

plt.tight_layout()
plt.savefig(
    "static/img/generated/sound-event-spectrogram.png",
    dpi=180,
    bbox_inches="tight",
    facecolor="white",
)
plt.close()

Simulated Mel-Spectrogram with Sound Events

CRNN 架构内部

CNN 处理频谱图的频率维度（提取声学纹理），RNN 处理时间维度（捕捉事件延续性），最终输出每一帧每个事件类型的概率：

为什么是 CRNN 而非纯 CNN 或纯 RNN？

纯 CNN：擅长从频谱图中提取局部纹理模式（如”嗡嗡声”的周期性结构），但对长程时间依赖建模不足——一个事件可能持续数秒，单次卷积的感受野覆盖不了。
纯 RNN：擅长时序建模，但无法高效提取频域的局部模式——逐帧处理丢失了频率维度的空间结构。
CRNN = 两者互补：CNN 先把每帧（或一个小时间窗口）的频谱压缩成一个特征向量（“这段声音听起来像什么”），RNN 再建模这些特征向量的时间序列（“事件的起承转合”）。这和视觉中的”特征提取 backbone + 时序头”是同样的思路。

CRNN 架构详解

以经典的 CRNN for SED 架构为例（Cakir et al. 2017，后续 DCASE 方案的基础）：

输入：Log-Mel 声谱图，形状为 $(T, F) = (\text{帧数}, \text{Mel 滤波器数})$ ，通常 $F=64$ ，每帧约 23ms（10ms 步长）。

CNN 部分（频域特征提取）：

层	操作	输出形状	说明
输入	—	$(T, 64, 1)$	64 个 Mel bin，1 通道
Conv2D	32 filters, 3×3	$(T, 64, 32)$	提取低级频域模式
BN + ReLU	—	$(T, 64, 32)$	归一化 + 激活
MaxPool2D	(1, 2)	$(T, 32, 32)$	沿频率降维
Conv2D	64 filters, 3×3	$(T, 32, 64)$	更高级模式
BN + ReLU	—	$(T, 32, 64)$	—
MaxPool2D	(1, 2)	$(T, 16, 64)$	频率再降维
Conv2D	128 filters, 3×3	$(T, 16, 128)$	高级声学特征
Reshape	—	$(T, 16 \times 128)$	频率 × 通道展平

RNN 部分（时序建模）：

层	操作	输出形状	说明
Bidir-GRU	128 units × 2 层	$(T, 256)$	双向 GRU 捕捉前后文
Dropout	0.5	$(T, 256)$	正则化

输出层：

层	操作	输出形状	说明
TimeDistributed Dense	$C$ units	$(T, C)$	每帧输出 $C$ 个事件概率
Sigmoid	—	$(T, C)$	多标签概率 ∈ [0, 1]

其中 $C$ 是事件类别数（AudioSet 有 527 类）。输出 $\hat{y}_{t,c} \in [0, 1]$ 表示第 $t$ 帧存在第 $c$ 类事件的概率。

训练损失（二分类交叉熵，对每个类别独立）：

\mathcal{L} = -\frac{1}{T \cdot C} \sum_{t=1}^{T} \sum_{c=1}^{C} \left[ y_{t,c} \log \hat{y}_{t,c} + (1 - y_{t,c}) \log (1 - \hat{y}_{t,c}) \right]

从 AST 到 BEATs：音频 Transformer 时代

2021 年起，Transformer 架构（源自自然语言处理和 ViT）开始取代 CRNN 成为音频理解的新范式：

模型	年份	核心创新	AudioSet mAP	说明
AST	2021	首次将 ViT 直接用于声谱图	34.8%	开创音频 Transformer 方向
HTS-AT	2022	引入 Swin Transformer + 层次化	47.1%	更高效，支持帧级输出
BEATs	2022	迭代式自监督预训练 + 掩码	48.0%	微软推出，自监督音频理解里程碑
BEATs+	2023	扩展预训练 + 更多数据	48.6%	持续提升
CAV-MAE	2023	音频-视频联合自监督	47.4%	多模态扩展
AudioMAE	2022	掩码自编码器，随机遮盖 75% patch	41.0%	MAE 思路迁移到音频

BEATs（Bootstrapping Audio pre-Training with token rationales）的核心创新是迭代式自监督预训练：先用掩码预测任务训练一个 tokenizer，再用 tokenizer 生成的”伪标签”做对比学习，两步交替迭代。这种设计让模型同时学会了局部声学细节和全局语义——在 AudioSet 上的 mAP 达到 48.0%，超越了同时期的 CNN 方法。

SED 评估指标

音频打标（Audio Tagging）指标

对于整段音频的标签预测（不关心时间定位），使用标准多标签分类指标：

平均精度（Average Precision, AP）是音频打标的核心指标。对于第 $c$ 类：

\text{AP}_c = \int_0^1 P_c(r) \, dr

其中 $P_c(r)$ 是在召回率 $r$ 处的精确率。对所有类别取平均得到 mAP（mean Average Precision）：

\text{mAP} = \frac{1}{C} \sum_{c=1}^{C} \text{AP}_c

mAP 是 AudioSet 和音频打标竞赛的标准评估指标——它不受阈值选择的影响，全面反映模型在不同置信度下的排序质量。

F-score（对每个类别独立计算）：

F_c = \frac{2 \cdot TP_c}{2 \cdot TP_c + FP_c + FN_c}

其中 $TP_c$ （True Positive）= 正确检测到第 $c$ 类事件， $FP_c$ （False Positive）= 误报， $FN_c$ （False Negative）= 漏检。