一句话总结

这篇论文从 Riemannian 几何角度，证明了自主扩散模型（如 Equilibrium Matching）不需要显式噪声水平输入，是通过学习边缘能量的梯度流，自动在数据流形附近形成稳定吸引子。

为什么这个问题重要？

应用场景

• 图像生成：无需复杂的噪声调度，简化训练和采样
• 3D 内容生成：在点云、隐式场景表示中更稳定
• 视频生成：时序一致性更好，因为不依赖噪声条件

现有方法的问题

标准扩散模型（DDPM、EDM）需要显式的噪声水平 $t$ 作为输入： \(\mathbf{v}_\theta(\mathbf{x}_t, t) = \text{估计去噪方向}\)

• 架构复杂：需要 time embedding、adaptive normalization
• 训练不稳定：噪声水平采样策略影响很大
• 推理慢：需要精确的噪声调度

核心创新

自主模型（Autonomous Models）用单一的时不变向量场： \(\mathbf{v}_\theta(\mathbf{u}) \quad \text{（无需输入 } t \text{）}\)

悖论：没有噪声条件，网络如何知道当前处于哪个去噪阶段？

本文贡献：

1. 证明自主模型在优化边缘能量 $E_{\text{marg}}(\mathbf{u})$
2. 通过相对能量分解，解释数据流形附近的奇异性如何被消除
3. 揭示 noise-prediction 参数化的 “Jensen Gap” 陷阱

背景知识

扩散模型基础

前向过程（加噪）： \(\mathbf{x}_t = \alpha_t \mathbf{x}_0 + \sigma_t \boldsymbol{\epsilon}, \quad \boldsymbol{\epsilon} \sim \mathcal{N}(0, I)\)

标准逆向过程（去噪）需要学习条件向量场： \(\mathbf{v}_\theta(\mathbf{x}_t, t) = -\nabla_{\mathbf{x}_t} \log p_t(\mathbf{x}_t)\)

高维几何直觉

在 $d$ 维空间，当 $d$ 很大时：

• 噪声球面 $

  \boldsymbol{\epsilon}

  \approx \sqrt{d}$ 高度集中

• 给定观测 $\mathbf{u} = \mathbf{x} + \sigma \boldsymbol{\epsilon}$，后验 $p(t

  \mathbf{u})$ 接近 delta 函数

这意味着：噪声水平可以从数据隐式推断！

边缘能量定义

假设噪声水平 $t \sim p(t)$ 是随机的，边缘密度为： \(p(\mathbf{u}) = \int p(\mathbf{u}|t) p(t) dt\)

边缘能量： \(E_{\text{marg}}(\mathbf{u}) = -\log p(\mathbf{u})\)

核心方法

直觉解释

想象一个多尺度势能景观：

• 远离数据：所有噪声水平的贡献混合，形成平滑的梯度指向数据
• 接近数据：低噪声贡献占主导，梯度变陡（这里有奇异性）

自主模型学习的是什么？

不是 $\nabla E_{\text{marg}}(\mathbf{u})$ 本身（在数据流形处发散），而是： \(\mathbf{v}_\theta(\mathbf{u}) \approx -g(\mathbf{u}) \nabla E_{\text{marg}}(\mathbf{u})\)

其中 $g(\mathbf{u})$ 是隐式学到的共形度量，刚好抵消奇异性。

数学细节

1. 相对能量分解

定义相对于数据流形的能量： \(E_{\text{rel}}(\mathbf{u}, \mathbf{x}) = E_{\text{marg}}(\mathbf{u}) - E_{\text{data}}(\mathbf{x})\)

其中 $\mathbf{x}$ 是 $\mathbf{u}$ 投影到数据流形的最近点。

关键定理：在数据流形的法向方向 $r = ||\mathbf{u} - \mathbf{x}||$： \(E_{\text{rel}}(r, t) \sim -p \log r + O(1), \quad r \to 0\)

这是 $1/r^p$ 奇异性（$p > 0$）！

2. 隐式共形度量

自主模型的实际动力学： \(\frac{d\mathbf{u}}{ds} = -g(\mathbf{u}) \nabla E_{\text{marg}}(\mathbf{u})\)

证明：最优的 $g(\mathbf{u})$ 形式为： \(g(\mathbf{u}) \propto \frac{1}{\mathbb{E}_{t \sim p(t|\mathbf{u})}[\sigma_t^2]}\)

在数据流形附近：$\sigma_t \sim r$，所以 $g(\mathbf{u}) \sim 1/r^2$

奇异性抵消： \(-g(r) \frac{\partial E_{\text{rel}}}{\partial r} \sim -\frac{1}{r^2} \cdot (-p \frac{1}{r}) = \frac{p}{r^3} \cdot r^2 = O(1/r)\)

变成有界的！

3. Jensen Gap 问题

标准 noise-prediction 目标： \(\mathcal{L}_{\text{noise}} = \mathbb{E}_{t, \mathbf{x}, \boldsymbol{\epsilon}} \left[ ||\boldsymbol{\epsilon} - \hat{\boldsymbol{\epsilon}}_\theta(\mathbf{x}_t, t)||^2 \right]\)

在盲去噪（blind denoising，$t$ 未知）时： \(\hat{\boldsymbol{\epsilon}}_\theta(\mathbf{u}) = \mathbb{E}_{t \sim p(t|\mathbf{u})}[\boldsymbol{\epsilon}_t]\)

但真实噪声是： \(\boldsymbol{\epsilon}_{\text{true}} \sim p(\boldsymbol{\epsilon}|t_{\text{true}}, \mathbf{u})\)

Jensen Gap：后验方差被噪声预测放大： \(\text{Error} \propto \text{Var}_{t \sim p(t|\mathbf{u})}[\mathbb{E}[\boldsymbol{\epsilon}|t]] \quad (\text{可能很大})\)

相比之下，velocity 参数化： \(\mathbf{v}_\theta(\mathbf{u}) = \mathbb{E}_{t \sim p(t|\mathbf{u})}\left[ \frac{d\mathbf{x}_t}{dt} \right]\)

满足有界增益条件，天然稳定。

实现

环境配置

pip install torch torchvision numpy matplotlib

核心代码：自主扩散模型

import torch
import torch.nn as nn
import numpy as np
import matplotlib.pyplot as plt

class AutonomousVelocityNet(nn.Module):
    """时不变的速度预测网络（无噪声条件）"""
    def __init__(self, dim=2, hidden=128):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(dim, hidden),
            nn.SiLU(),
            nn.Linear(hidden, hidden),
            nn.SiLU(),
            nn.Linear(hidden, dim)
        )
    
    def forward(self, u):
        """
        输入: u - 观测点 [B, dim]
        输出: v - 速度场 [B, dim]（无需噪声水平 t）
        """
        return self.net(u)

class MarginalEnergyFlow:
    """基于边缘能量的自主扩散采样器"""
    def __init__(self, model, t_min=0.01, t_max=1.0):
        self.model = model
        self.t_min = t_min
        self.t_max = t_max
        
    def marginal_density(self, u, x_data, sigma_fn):
        """
        计算边缘密度 p(u) = ∫ p(u|t) p(t) dt
        
        参数:
            u: [B, dim] 观测点
            x_data: [N, dim] 数据点
            sigma_fn: 噪声调度函数 σ(t)
        """
        # 简化：用蒙特卡洛估计积分
        ts = torch.linspace(self.t_min, self.t_max, 100)
        log_probs = []
        
        for t in ts:
            sigma = sigma_fn(t)
            # p(u|x,t) = N(u; x, σ²I)
            # p(u|t) = ∫ p(u|x,t) p_data(x) dx ≈ 平均最近邻
            dist = torch.cdist(u, x_data)  # [B, N]
            min_dist = dist.min(dim=1)[0]  # [B]
            log_p = -0.5 * (min_dist / sigma)**2
            log_probs.append(log_p)
        
        # log p(u) ≈ log ∫ exp(...) dt
        log_probs = torch.stack(log_probs, dim=0)  # [T, B]
        return torch.logsumexp(log_probs, dim=0)
    
    @torch.no_grad()
    def sample(self, z_init, num_steps=100, dt=0.01):
        """
        使用自主向量场采样
        
        流程:
            du/ds = -g(u) ∇E_marg(u) ≈ v_θ(u)
        """
        trajectory = [z_init.clone()]
        u = z_init.clone()
        
        for _ in range(num_steps):
            v = self.model(u)  # 无需噪声条件！
            u = u + dt * v
            trajectory.append(u.clone())
        
        return torch.stack(trajectory, dim=0)

def sigma_schedule(t, sigma_min=0.01, sigma_max=1.0):
    """噪声调度：σ(t) = σ_min + t(σ_max - σ_min)"""
    return sigma_min + t * (sigma_max - sigma_min)

# ... (训练代码和可视化省略)

训练目标：匹配边缘流

class MarginalFlowMatcher:
    """训练自主模型匹配边缘能量流"""
    def __init__(self, model, sigma_fn):
        self.model = model
        self.sigma_fn = sigma_fn
    
    def compute_target_velocity(self, x0, t):
        """
        计算目标速度：d/dt[α(t)x₀ + σ(t)ε]
        
        在 velocity 参数化下：
            v_target = α'(t)x₀ + σ'(t)ε
        """
        sigma = self.sigma_fn(t)
        alpha = torch.sqrt(1 - sigma**2)
        
        # 简化：假设 α(t) = √(1-σ²(t))
        dsigma_dt = (self.sigma_fn(t + 0.001) - sigma) / 0.001
        dalpha_dt = -sigma * dsigma_dt / alpha
        
        eps = torch.randn_like(x0)
        v_target = dalpha_dt * x0 + dsigma_dt * eps
        return v_target, alpha * x0 + sigma * eps
    
    def loss(self, x0_batch):
        """
        边缘流匹配损失：
            L = E_t[E_x,ε[||v_θ(u) - v_target||²]]
        """
        B = x0_batch.shape[0]
        
        # 随机采样噪声水平（这是训练时的技巧）
        t = torch.rand(B, 1, device=x0_batch.device)
        v_target, u = self.compute_target_velocity(x0_batch, t)
        
        # 自主模型预测（无 t 输入！）
        v_pred = self.model(u)
        
        return ((v_pred - v_target)**2).mean()

验证：2D Swiss Roll 数据

def generate_swiss_roll(n_samples=1000):
    """生成 Swiss Roll 数据（2D 流形嵌入 3D）"""
    t = 1.5 * np.pi * (1 + 2 * np.random.rand(n_samples))
    x = t * np.cos(t)
    y = t * np.sin(t)
    data = np.stack([x, y], axis=1)
    return torch.FloatTensor(data)

# 训练示例
data = generate_swiss_roll(2000)
model = AutonomousVelocityNet(dim=2, hidden=128)
trainer = MarginalFlowMatcher(model, sigma_schedule)

optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)
for epoch in range(5000):
    batch = data[torch.randint(0, len(data), (128,))]
    loss = trainer.loss(batch)
    
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    
    if epoch % 500 == 0:
        print(f"Epoch {epoch}, Loss: {loss.item():.4f}")

# ... (采样和可视化代码省略)

实验

定量评估：奇异性分析

验证理论预测：自主模型在数据流形附近保持有界。

def measure_vector_field_norm(model, data_manifold):
    """
    测量向量场在不同距离 r 的范数
    理论预测：||v(u)|| = O(1/r) 而非 O(1/r²)
    """
    results = {'distance': [], 'velocity_norm': []}
    
    # 选择数据点
    x0 = data_manifold[0:1]  # [1, dim]
    
    # 沿法向方向移动
    normal = torch.randn_like(x0)
    normal = normal / normal.norm()
    
    distances = torch.logspace(-3, 0, 50)  # 0.001 到 1.0
    
    for r in distances:
        u = x0 + r * normal
        v = model(u)
        
        results['distance'].append(r.item())
        results['velocity_norm'].append(v.norm().item())
    
    # 拟合幂律：||v|| ~ r^(-p)
    log_r = np.log(results['distance'])
    log_v = np.log(results['velocity_norm'])
    p = -np.polyfit(log_r, log_v, 1)[0]
    
    print(f"测量的幂指数: p = {p:.2f}")
    print(f"理论预测: p = 1 (有界)")
    
    return results

定性结果：采样轨迹

# 从高斯噪声开始采样
z_init = torch.randn(100, 2) * 2.0
sampler = MarginalEnergyFlow(model)
trajectory = sampler.sample(z_init, num_steps=200, dt=0.02)

# 可视化
fig, axes = plt.subplots(1, 3, figsize=(15, 5))

# (1) 数据分布
axes[0].scatter(data[:, 0], data[:, 1], s=1, alpha=0.3)
axes[0].set_title('Real Data')

# (2) 采样轨迹
for i in range(10):
    traj = trajectory[:, i, :].numpy()
    axes[1].plot(traj[:, 0], traj[:, 1], alpha=0.5)
axes[1].set_title('Sampling Trajectories')

# (3) 最终样本
final = trajectory[-1].numpy()
axes[2].scatter(final[:, 0], final[:, 1], s=5, alpha=0.5)
axes[2].set_title('Generated Samples')

plt.savefig('autonomous_diffusion.png', dpi=150)

工程实践

实际部署考虑

1. 计算效率

• 自主模型无需 time embedding，参数量减少 ~20%
• 推理速度：与标准扩散相当（主要瓶颈是 ODE 求解步数）
• 适合边缘设备（如移动端 3D 重建）

2. 内存占用

# 标准扩散
model_std = DiffusionNet(dim=128, time_emb_dim=64)  # ~2.5M params

# 自主模型
model_auto = AutonomousVelocityNet(dim=128, hidden=512)  # ~2.0M params

3. 数值稳定性

• Velocity 参数化天然稳定（有界增益）
• 推荐 ODE 求解器：Euler 即可（不需要高阶方法）

数据采集建议

3D 场景重建场景：

• 噪声先验 $p(t)$ 建议用 log-uniform：

  t = torch.exp(torch.rand(B) * (np.log(t_max) - np.log(t_min)) + np.log(t_min))
  

• 原因：在低噪声区域需要更多样本（对应高分辨率细节）

常见坑

1. 训练不收敛

• 问题：损失在 epoch 1000 后仍然震荡
• 原因：学习率过大，破坏了隐式共形度量的形成
• 解决：

  scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(
      optimizer, T_max=10000, eta_min=1e-5
  )
  

2. 采样轨迹发散

• 问题：从高噪声开始，轨迹逃逸到无穷远
• 原因：时间步长 dt 过大
• 解决：

  # 自适应步长
  v = model(u)
  dt_adaptive = min(0.01, 0.1 / v.norm())
  u = u + dt_adaptive * v
  

3. 模式崩溃（Mode Collapse）

• 问题：所有样本收敛到数据的一个子集
• 原因：$p(t)$ 先验不合理，低噪声权重过高
• 解决：

  # 使用 importance weighting
  weight = 1.0 / (sigma**2 + 1e-5)
  loss = (weight * (v_pred - v_target)**2).mean()
  

什么时候用/不用？

适用场景	不适用场景
高维数据（图像 >64×64）	低维玩具数据（<10D）
需要简化架构	需要精确控制噪声调度
3D 点云/隐式场景	视频生成（时序条件重要）
边缘设备部署	超高分辨率（需要渐进策略）

推荐场景：

• NeRF/3D Gaussian Splatting 的生成式先验
• 机器人路径规划（状态空间扩散）
• 蛋白质结构生成（3D 分子构象）

不推荐：

• 文本到图像（需要条件引导，标准方法更成熟）
• 实时视频生成（自主模型节省的计算量不明显）

与其他方法对比

方法	架构复杂度	训练稳定性	采样速度	适用场景
DDPM	高（time emb）	中等	慢（1000步）	通用图像
EDM	高（预条件）	高	中（50步）	高质量图像
Flow Matching	中	高	快（20步）	连续数据
本文（自主）	低	高	快（20步）	3D/点云

关键差异：

• 标准方法在条件生成（文本引导）上更成熟
• 自主方法在无条件/物理先验场景更优

我的观点

发展趋势

1. 几何化：从”去噪神经网络”到”学习 Riemannian 流形上的测地线”
2. 物理先验融合：在 3D 场景中，可以显式约束流形（如平面、曲面）
3. 多模态统一：自主模型天然适合联合建模（图像+点云+文本嵌入）

离实际应用还有多远？

已经可用：

• 3D 资产生成（如 Point-E, Shap-E 的后继）
• 分子构象采样（已有 AlphaFold3 类似思路）

需要突破：

• 条件生成：如何在自主框架下加入文本/图像引导？
• 大规模数据：在 ImageNet 规模上的验证（目前实验多在小数据集）
• 理论保证：采样分布的收敛性证明（目前是经验观察）

值得关注的开放问题

1. 数据流形的维度诅咒
   • 高维流形（如自然图像）的本征维度估计
   • 如何自适应调整 $g(\mathbf{u})$？
2. 离散时间的自主采样
   • 能否设计非 ODE 的离散迭代？
   • 类似 DDIM 的加速采样
3. 与物理模拟结合
   • 3D 流体、刚体模拟中，自主模型可作为隐式求解器
   • 需要理论刻画能量守恒性

---

核心启示：扩散模型的本质不是”去噪”，而是在数据流形上构造梯度流。自主模型通过边缘化噪声水平，学到了一个尺度不变的几何结构——这在 3D 领域尤为关键，因为空间尺度的一致性决定了重建质量。