分布式雷达人体动作识别：ConvNeXt-MHSA-BiGRU 实战解析

一句话总结

用五个分布式毫米波雷达节点采集多普勒-时间谱图，通过 ConvNeXt 编码器提取特征、多头自注意力（MHSA）做跨雷达视角融合、双向 GRU 建模时序上下文，实现了跨被试（leave-one-person-out）87.56% 准确率的连续人体动作识别，且不依赖摄像头。

为什么这个问题重要？

隐私敏感场景（浴室、卧室、养老院）里摄像头方案天然不受欢迎，而雷达穿墙不透光、不识别面孔，是跌倒检测、智能家居、康复监测等场景的理想传感器。但雷达 HAR 长期有三个硬骨头：

多普勒特征强烈依赖入射角：同一个动作，人朝雷达走和横着走，谱图形状完全不同，单雷达视角天生有”盲区”。
不同视角信息量不均衡：某个方向上手臂挥动可能完全被身体遮住多普勒分量，而另一个角度清晰可见——需要网络学会”该信谁”。
连续序列中的动作切换是模糊的：现实中人不会做完一个动作再停顿，动作边界的谱图往往是两种动作的混合体，逐帧分类容易在过渡区出错。

这篇论文的核心创新在于：不是简单地把五路雷达数据拼接或投票，而是用注意力机制自适应地加权融合多雷达视角，再用双向时序模型把”过渡帧”放到上下文里判断，而不是孤立地看单帧。

背景知识

3D/多传感器表示方式对比

在讨论雷达 HAR 之前，先明确它和视觉 3D 感知的关系——这也是这篇论文容易被误解的地方：雷达谱图本身不是几何重建，而是”频域指纹”。

表示方式	信息内容	典型任务
点云	稀疏 3D 坐标	场景重建、SLAM
体素/隐式场（NeRF）	密集空间占据/辐射	视图合成
多普勒-时间谱图（本文）	目标径向速度随时间变化	动作/步态识别
距离-多普勒图（Range-Doppler）	距离 + 速度联合分布	目标检测、跟踪

雷达 HAR 用的是多普勒-时间谱图（micro-Doppler spectrogram）：对雷达回波做短时傅里叶变换（STFT），横轴时间、纵轴频率（对应径向速度），颜色/强度是能量。人体不同部位（躯干、手臂、腿）运动速度不同，会在谱图上留下不同的”条纹”，这就是动作的”频域签名”。

为什么需要多个雷达节点？

雷达只能测径向速度（沿雷达-目标连线方向的速度分量）。如果人的运动方向垂直于雷达视线，径向速度分量趋近于零，动作在谱图上几乎”消失”——这就是方位角依赖问题。五个空间分布的雷达节点从不同角度观测同一个人，几乎总有一两个节点能捕捉到有效的径向速度分量，这是多雷达融合的物理基础，而不是简单的工程冗余。

读者需要的前置知识

卷积神经网络基础（ConvNeXt 是 ResNet 的现代化改进版，用大卷积核 + LayerNorm + GELU）
自注意力机制（Transformer 的 QKV 机制）
循环神经网络（GRU 是 LSTM 的简化版）
对 STFT/时频分析有基本概念即可，不需要精通雷达信号处理

核心方法

直觉解释

整个 pipeline 可以理解成一个”多专家会诊”系统：

5个雷达节点各自看一眼人的动作（各自角度不同，看到的清晰度不同）
        ↓
每个"专家"（ConvNeXt 编码器，参数共享）先独立提炼特征
        ↓
"会诊"环节（MHSA）：让5个专家互相看看对方的判断，
   动态决定"这一帧该多信哪个专家的意见"
        ↓
把融合后的判断串成时间序列，交给一个"读病历的医生"（BiGRU）
   前后文一起看，避免在动作切换的瞬间误判
        ↓
逐帧输出：当前是什么动作

关键的两个正则化技巧也值得单独理解：

RadarDropout：训练时随机”屏蔽”某个雷达节点的输入（类似 dropout，但作用在整个传感器分支上），逼迫网络不能过度依赖某一个视角，提升对雷达故障/遮挡的鲁棒性。
SpecAugment 风格掩码：随机遮盖谱图上的一些时间/频率条带，模拟噪声和局部畸变，防止过拟合到训练集的特定谱图纹理。

数学细节

多头自注意力融合（跨雷达节点）：

设 $t$ 时刻五个雷达节点的特征向量为 ${x_1, x_2, x_3, x_4, x_5}$，$x_i \in \mathbb{R}^d$。堆叠成矩阵 $X \in \mathbb{R}^{5 \times d}$，注意力计算为：

\[Q = XW_Q,\quad K = XW_K,\quad V = XW_V\] \[\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V\]

物理含义：注意力矩阵中的每一项 $a_{ij}$ 表示”节点 $i$ 在做判断时应该参考节点 $j$ 多少”，softmax 保证权重和为 1，网络学会把权重集中在信息量大的雷达视角上，而不是简单平均。

RadarDropout 的形式化：训练时以概率 $p$ 将某个节点的特征置零：

\[\tilde{x}_i = m_i \cdot x_i,\quad m_i \sim \text{Bernoulli}(1-p)\]

BiGRU 时序建模：

\[\overrightarrow{h_t} = \text{GRU}(\overrightarrow{h_{t-1}}, z_t),\quad \overleftarrow{h_t} = \text{GRU}(\overleftarrow{h_{t+1}}, z_t)\] \[h_t = [\overrightarrow{h_t}; \overleftarrow{h_t}]\]

其中 $z_t$ 是 MHSA 融合后 $t$ 时刻的特征，双向结构让模型在判断”当前帧是不是动作切换点”时能同时看到过去和未来的上下文。

最终损失是逐帧交叉熵：

\[\mathcal{L} = -\frac{1}{T}\sum_{t=1}^{T} \sum_{c=1}^{C} y_{t,c} \log \hat{y}_{t,c}\]

Pipeline 概览

5路雷达原始回波
   → STFT 生成多普勒-时间谱图 (5 × H × W)
   → 共享 ConvNeXt 编码器 (逐雷达独立前向, 参数共享)
   → 5个特征向量 [x1...x5]
   → RadarDropout (训练时)
   → 多头自注意力融合 (MHSA)
   → 融合特征序列 z_1...z_T
   → 堆叠双向GRU
   → 逐帧全连接分类器
   → 逐帧动作标签

实现

环境配置

# 建议使用 conda 管理环境
conda create -n radar-har python=3.10
conda activate radar-har
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
pip install numpy scipy matplotlib scikit-learn

论文未公开代码仓库，因此这里数据加载和谱图生成也是自行实现的教学示例。

数据预处理：从原始回波到谱图

import numpy as np
from scipy.signal import stft

def radar_echo_to_spectrogram(iq_signal, fs=1000, nperseg=128, noverlap=120):
    """
    将单个雷达节点的IQ回波信号转换为多普勒-时间谱图
    iq_signal: 复数信号 (慢时间维度采样)
    fs: 慢时间采样率 (Hz)，决定多普勒频率分辨率
    """
    f, t, Zxx = stft(iq_signal, fs=fs, nperseg=nperseg,
                      noverlap=noverlap, return_onesided=False)
    # 频率轴做fftshift，让0速度居中，正负速度对称展开
    f = np.fft.fftshift(f)
    Zxx = np.fft.fftshift(Zxx, axes=0)
    spectrogram = 20 * np.log10(np.abs(Zxx) + 1e-6)  # 转对数功率谱(dB)
    # 归一化到[0,1]，便于网络训练稳定
    spectrogram = (spectrogram - spectrogram.min()) / (spectrogram.max() - spectrogram.min() + 1e-8)
    return spectrogram, f, t

# 五个雷达节点独立处理，堆叠成 (5, H, W) 输入张量
def build_multiradar_input(iq_list):
    specs = [radar_echo_to_spectrogram(iq)[0] for iq in iq_list]
    min_w = min(s.shape[1] for s in specs)
    specs = [s[:, :min_w] for s in specs]  # 对齐时间轴长度
    return np.stack(specs, axis=0)  # shape: (5, freq_bins, time_bins)

核心模型代码

import torch
import torch.nn as nn

class ConvNeXtBlock(nn.Module):
    """简化版ConvNeXt block：深度可分离大卷积核 + LayerNorm + GELU"""
    def __init__(self, dim):
        super().__init__()
        self.dwconv = nn.Conv2d(dim, dim, kernel_size=7, padding=3, groups=dim)
        self.norm = nn.LayerNorm(dim)
        self.pwconv1 = nn.Linear(dim, 4 * dim)
        self.act = nn.GELU()
        self.pwconv2 = nn.Linear(4 * dim, dim)

    def forward(self, x):
        residual = x
        x = self.dwconv(x)
        x = x.permute(0, 2, 3, 1)  # NCHW -> NHWC 以适配LayerNorm
        x = self.norm(x)
        x = self.pwconv2(self.act(self.pwconv1(x)))
        x = x.permute(0, 3, 1, 2)
        return residual + x

class RadarEncoder(nn.Module):
    """共享参数的雷达谱图编码器，五个节点复用同一个实例"""
    def __init__(self, out_dim=256):
        super().__init__()
        self.stem = nn.Conv2d(1, 64, kernel_size=4, stride=4)
        self.blocks = nn.Sequential(ConvNeXtBlock(64), ConvNeXtBlock(64))
        self.pool = nn.AdaptiveAvgPool2d(1)
        self.proj = nn.Linear(64, out_dim)

    def forward(self, x):  # x: (B, 1, H, W)
        x = self.stem(x)
        x = self.blocks(x)
        x = self.pool(x).flatten(1)
        return self.proj(x)  # (B, out_dim)

class RadarMHSAFusion(nn.Module):
    """跨5个雷达节点的多头自注意力融合"""
    def __init__(self, dim=256, num_heads=4, radar_dropout_p=0.2):
        super().__init__()
        self.mhsa = nn.MultiheadAttention(dim, num_heads, batch_first=True)
        self.norm = nn.LayerNorm(dim)
        self.radar_dropout_p = radar_dropout_p

    def forward(self, x):  # x: (B, 5, dim)
        if self.training:
            # RadarDropout：整条雷达通路以概率p整体置零
            mask = (torch.rand(x.shape[0], x.shape[1], 1, device=x.device)
                     > self.radar_dropout_p).float()
            x = x * mask
        attn_out, _ = self.mhsa(x, x, x)
        x = self.norm(x + attn_out)
        return x.mean(dim=1)  # 融合5个节点 -> 单一时刻特征 (B, dim)

class ConvNeXtMHSABiGRU(nn.Module):
    def __init__(self, num_classes=9, feat_dim=256, gru_hidden=128, gru_layers=2):
        super().__init__()
        self.encoder = RadarEncoder(out_dim=feat_dim)
        self.fusion = RadarMHSAFusion(dim=feat_dim)
        self.bigru = nn.GRU(feat_dim, gru_hidden, num_layers=gru_layers,
                             batch_first=True, bidirectional=True)
        self.classifier = nn.Linear(gru_hidden * 2, num_classes)

    def forward(self, x):
        # x: (B, T, 5, 1, H, W) -- B批次, T帧, 5雷达节点
        B, T, R = x.shape[0], x.shape[1], x.shape[2]
        x = x.view(B * T * R, 1, x.shape[-2], x.shape[-1])
        feats = self.encoder(x).view(B * T, R, -1)  # (B*T, 5, dim)
        fused = self.fusion(feats).view(B, T, -1)   # (B, T, dim)
        temporal, _ = self.bigru(fused)              # (B, T, 2*hidden)
        return self.classifier(temporal)              # (B, T, num_classes)

训练循环（逐帧交叉熵）

def train_one_epoch(model, loader, optimizer, device):
    model.train()
    criterion = nn.CrossEntropyLoss()
    total_loss = 0.0
    for x, y in loader:  # x:(B,T,5,1,H,W), y:(B,T) 逐帧标签
        x, y = x.to(device), y.to(device)
        optimizer.zero_grad()
        logits = model(x)  # (B, T, C)
        loss = criterion(logits.reshape(-1, logits.shape[-1]), y.reshape(-1))
        loss.backward()
        optimizer.step()
        total_loss += loss.item()
    return total_loss / len(loader)

谱图可视化

import matplotlib.pyplot as plt

def plot_multiradar_spectrograms(specs, activity_label=""):
    """specs: (5, freq_bins, time_bins)，展示5个雷达视角对同一动作的观测差异"""
    fig, axes = plt.subplots(1, 5, figsize=(18, 3))
    for i, ax in enumerate(axes):
        ax.imshow(specs[i], aspect='auto', origin='lower', cmap='jet')
        ax.set_title(f'Radar {i+1}')
        ax.set_xlabel('Time'); ax.set_ylabel('Doppler')
    fig.suptitle(f'Activity: {activity_label}')
    plt.tight_layout()
    plt.savefig('multiradar_spectrograms.png', dpi=150)

预期效果：同一个”挥手”动作，正对雷达的节点谱图会有清晰的高频条纹（手臂速度快），而侧面雷达的谱图可能只剩微弱的躯干呼吸/心跳频率分量——这正是论文强调”视角互补”的直观证据。

实验

数据集说明

论文使用自采数据：14名参与者、9种日常活动、5个空间分布的雷达节点连续采集。这类数据集获取门槛较高——需要多台同步的毫米波雷达（如 TI IWR6843 或类似型号）、精确的时间同步方案、以及大量人工标注帧级别的动作边界（这是最耗时的部分，连续序列不像分段动作数据集那样天然对齐）。

定量评估（论文报告结果）

方法	评估协议	平均准确率
CNN-RNN baseline	L1PO 5折交叉验证	低于本文
ConvNeXt-MHSA-BiGRU（本文）	L1PO 5折交叉验证	87.56%

论文没有报告 FPS/延迟/内存等部署指标，这是需要在实际使用前自行补测的空白。

定性结果

论文展示了混淆矩阵和逐帧预测时间线，典型现象是：动作类别之间（如”坐下” vs “站起”）在过渡帧上的混淆最明显，而 BiGRU 的双向上下文确实能显著平滑掉单帧误判导致的”抖动”标签。

工程实践（重要！）

实际部署考虑

实时性：论文本身未给出推理延迟数据。ConvNeXt block 的深度可分离卷积计算量不大，但 BiGRU 是时序模型，双向结构意味着无法做真正的流式推理——必须等到未来若干帧到达才能给出当前帧的最终判断，这对”实时告警”类应用（如跌倒检测）是硬伤，需要用滑动窗口 + 固定延迟来折中。
硬件需求：5路雷达 × ConvNeXt 编码器的计算量，单张消费级 GPU（如 RTX 3060）做训练和推理都绰绰有余，边缘部署可以考虑量化后跑在 Jetson 系列设备上，但需要重新验证 BiGRU 的延迟。
多雷达时间同步：这是被论文一笔带过、但实际最容易踩坑的环节——五个雷达节点如果没有硬件级同步（PTP 或共享时钟源），软件层面对齐的时间戳误差会直接污染 MHSA 学到的跨节点关联，训练出来的注意力权重可能在学习”时间戳噪声”而不是”视角互补性”。

数据采集建议

雷达节点的空间布局要尽量覆盖 360°视角，避免所有节点都聚集在同一侧（那样”多雷达”退化成”多次重复观测同一角度”，MHSA 融合的增益会大幅下降）。
动作过渡区的标注建议采用”模糊标签”或”软标签”（而不是生硬地一刀切两个类别），可以缓解训练时逐帧交叉熵在过渡帧上的强制二选一带来的噪声梯度。

常见坑

谱图归一化用了全局统计量导致数据泄漏 → 归一化参数（min/max 或 mean/std）必须只在训练集上计算，验证/测试集复用训练集统计量：

# 错误：对每个样本单独归一化到[0,1]，训练/测试统计量不独立
spec_norm = (spec - spec.min()) / (spec.max() - spec.min())
# 正确：用训练集统一算好的全局min/max
spec_norm = (spec - train_min) / (train_max - train_min)

L1PO 交叉验证时特征标准化在划分之前做 → 必须在每一折内部，只用训练被试的数据拟合标准化器，再应用到留出的测试被试上，否则跨被试泛化能力会被高估。
RadarDropout 在推理阶段忘记关闭 → 确保 model.eval() 被正确调用，self.training 标志位控制的 dropout 逻辑在推理时必须失效，否则测试结果会有随机波动。

什么时候用 / 不用？

适用场景	不适用场景
隐私敏感、需要非视觉传感	需要毫秒级低延迟响应（跌倒瞬间告警）
室内固定多雷达部署（养老院、病房）	单雷达/移动雷达场景（无多视角可融合）
离线/近实时分析（活动日志、康复评估）	动作类别高度依赖精细肢体姿态（如手语识别）
被试独立部署（新用户无需重新训练）	训练数据只有单一或少数几个被试

与其他方法对比

方法	优点	缺点	适用场景
单雷达 CNN-LSTM	硬件简单、成本低	方位角盲区严重	固定朝向、单一活动区域
基于骨架的视觉 HAR	精度高、可解释性强	依赖光照、隐私问题	光照良好、无隐私顾虑场景
本文 ConvNeXt-MHSA-BiGRU	多视角互补、隐私友好	部署成本高、非流式实时	多雷达固定安装的室内监测

我的观点

这类工作代表了雷达 HAR 领域一个清晰但保守的技术演进路径：把视觉领域验证过的组件（ConvNeXt 的现代卷积设计、Transformer 的注意力融合、双向 RNN 的时序建模）移植到雷达谱图上，工程组合的价值大于方法论创新——论文本身也承认是在已发表 CNN-RNN baseline 上做改进，而非提出全新范式。

从”能用”到”好用”还有明显距离：五雷达同步部署的硬件成本和标定复杂度，在实际养老院/医院场景中会是比算法精度更大的落地门槛；87.56% 的跨被试准确率对于安全关键的跌倒检测场景也还不够高，误报/漏报代价需要结合具体应用场景权衡。

一个值得关注的开放问题是：能否把 MHSA 的跨雷达融合思路和自监督预训练结合，用大量无标注的多雷达连续采集数据先学一个通用的谱图表征，再用少量标注数据做特定场景的动作分类微调——这或许能显著降低当前”每个新场景都要重新采集标注数据”的门槛，是雷达感知领域相比视觉 3D 感知（已经有大量自监督/基础模型工作）明显滞后的一块。