《FourierPET：把低计数 PET 的噪声、细节丢失与 AC 偏差拆到 Fourier 域里，0.44M 参数做到可解释 SOTA》

核心速览

TL;DR

低计数 PET 重建的麻烦，不只是“噪声大”，而是多种物理退化同时存在：Poisson noise、photon starvation、attenuation correction (AC) error。传统方法通常在图像域用统一损失一起处理这些问题，结果是能缓解，但难以精准修复。

这篇工作提出的核心判断非常重要：这些退化在空间域里纠缠，但在 Fourier 域里是可分的。具体来说，高频 phase 更容易承载低计数带来的结构扰动，而低频 amplitude 更容易承载 AC bias 引起的全局强度压制。

基于这个观察，作者提出 FourierPET：一个基于 ADMM 的 deep unrolling 网络，包含 Spectral Consistency Module (SCM)、Amplitude–Phase Correction Module (APCM) 和 Dual Adjustment Module (DAM)。它既保留 model-based reconstruction 的物理可解释性，也引入针对性频域修复，在多个数据集上实现了更优精度和极低参数量。

背景定位

这项工作不是单纯“换个 backbone 刷榜”，而是在低计数 PET reconstruction 里提出了一个更本质的表征视角：把退化机制与频谱结构对齐。从学术坐标看，它属于“方法论视角升级 + 工程上拿到 SOTA”的工作，而不是纯经验型网络堆料。

---

痛点与动机

低计数 PET 是一个典型的 ill-posed inverse problem。输入是稀疏且噪声重的 sinogram，目标是恢复高质量 radiotracer 分布图像。困难来自三类退化同时出现：

• Poisson noise：低剂量或短时采集导致计数统计恶化，SNR 显著下降。
• photon starvation：光子数不足，细节和边缘结构被抹平。
• AC bias：attenuation correction 误差引入平滑但系统性的强度偏移。

问题在于，这三者在图像域里高度耦合。你看到的是“模糊 + 噪声 + 对比度偏差”的混合结果，但并不知道某个伪影究竟该用什么机制来修。

现有方法主要有三类：

• 传统迭代重建 + 物理先验；
• sinogram-to-image 的端到端网络；
• 对 OSEM 等初始重建做后处理增强。

它们共同的问题是：

• 通常在空间域统一优化，缺少退化类型的分治；
• 很多方法虽然有效，但本质上是 black-box regression；
• 对 PET 这种物理驱动问题，缺少与成像机理对齐的可解释建模。

作者的核心直觉是：空间域缠在一起，不代表频域里也缠在一起。

他们先做了一个很聪明的 preliminary study：把 full-count 和 low-count 图像分解到 Fourier 域，分别交换 amplitude 和 phase，然后看合成结果。

结论很有说服力：

• 换掉 phase，结构模糊和噪声变化最明显；
• 换掉 amplitude，全局对比度和强度偏差变化最明显；
• 高频 phase 偏差随计数下降而显著增大；
• 低频 amplitude 更容易被 AC bias 系统性压制。

这意味着，统一图像域惩罚其实在犯一个很典型的错误：把性质不同的误差，强迫用同一类先验去修正。

从研究策略看，这个 insight 非常关键，因为它把“为什么频域建模有效”从经验猜测提升成了可验证的谱分析结论。

---

方法论详解

作者从一个标准的正则化重建目标出发：

给定 PET 系统矩阵 (A)、观测 sinogram (y)、待恢复图像 (x)，经典问题写成：

[ x^*=\arg\min_x \frac12|y-Ax|_2^2+\lambda g(x) ]

然后他们没有停留在一般正则项 (g(x))，而是进一步把它拆成频域上的 amplitude 与 phase 两部分：

• 低频 amplitude correction，对应 AC bias；
• 高频 phase stabilization，对应低计数噪声与结构扰动。

于是得到更具物理含义的目标：

• 数据一致性项：保证重建结果和观测 sinogram 一致；
• (R_{amp})：针对低频 amplitude 的先验；
• (R_{phase})：针对高频 phase 的先验。

为什么用 ADMM unrolling？

这一步是整篇论文结构最稳的地方。

如果只做一个端到端网络，虽然可能也能学到类似规律，但：

• 很难保证 measurement consistency；
• 网络每一层在干什么不清楚；
• 频域修复和物理前向模型之间缺少明确接口。

ADMM 则天然适合把问题拆成：

• x-update：解数据一致性主问题；
• z-update：解先验正则问题；
• u-update：更新 dual variable，协调两者一致。

这样一来，作者就可以把“物理一致性”和“频域定向修复”放进不同模块中，各司其职。

---

方法论详解：三大核心模块

1. SCM：Spectral Consistency Module

ADMM 的 x-update 需要求解：

[ x^{k+1}=(A^ op A+\rho I)^{-1}(A^ op y+\rho(z^k-u^k)) ]

直接做矩阵求逆在大规模 PET 上代价很高，所以作者用 SCM 作为 learnable surrogate。

SCM 的设计有两层含义：

• 物理层面：通过 (A^ op) 引入 back-projection 约束，保留 measurement consistency；
• 表示层面：通过空间卷积 + 频域全局建模，逼近逆算子所需的结构与谱先验。

内部包含两部分：

• Spatial Module：并行 depthwise-separable conv，核大小 3×3 与 5×5，抓局部多尺度代谢结构；
• Spectral Module：一串 SSFNO blocks，在 Fourier 域处理全局依赖。

这里 SSFNO 很有意思。它不是传统 self-attention，而是把 FFT 后的实部、虚部送入 State-Space Duality 模块，借 recurrent hidden state 在 stage 间传递信息。直观上，它让每一轮 unrolling 都不仅仅是“局部修补”，而是进行全局频谱对齐。

这也是“Spectral Consistency”命名的真正含义：

• 对 sinogram 一致；
• 对全局频谱也一致。

2. APCM：Amplitude–Phase Correction Module

这是全文最有辨识度的模块，也是论文最核心的技术贡献。

作者把 z-update 看成某种 proximal operator 的学习近似，但这个 proximal 没有 closed-form。于是他们提出一个近似策略：

第一步：Spectral sharding

先做单层 Haar DWT，把图像拆成四个子带：

• LL：低低频
• HL：高低频
• LH：低高频
• HH：高高频

然后在每个 band 内做局部 2D FFT，得到复数频谱 (V_B)，并分解为：

• amplitude (A_B=|V_B|)
• phase (\Phi_B=\angle V_B)

这个设计非常精妙。它不是直接在整幅图上做一把梭的 FFT，而是先用 DWT 做粗频带切分，再在每个 band 中做局部频谱建模。这样更符合作者的两个假设：

• band-wise near separability；
• per-frequency amplitude/phase decoupling。

第二步：Directional corrections

然后进入双分支修正。

Amplitude branch

• 对各 band 的 amplitude 做卷积映射；
• 尤其重点处理 LL 低频 amplitude；
• 用 FFN + gated residual 恢复被 AC bias 压制的全局强度与对比度。

直觉上，这相当于告诉网络：不要把全频段都去“增亮”或“拉伸”，只改那些最可能承载 AC bias 的低频成分。

Phase branch

• 把 phase 编码成 ((\cos\Phi,\sin\Phi))，避免角度不连续带来的数值问题；
• 重点修正 HH 高频 phase；
• 用 cross-band fusion 维持谱一致性。

为什么 phase 对结构那么重要？因为在 Fourier 表征里，phase 决定了空间结构位置与几何布局。幅值更多决定“有多强”，phase 更决定“在哪里、边界怎么摆”。所以高频 phase 漂移，本质上就是边缘错乱、细节变钝、局部噪声化。

第三步：Spectral fusion

校正后的 (\hat A_B) 与 (\hat \Phi_B) 重新组合成复数谱，再做 inverse FFT 和 inverse DWT，得到 (z^{k+1})。

这一步的重要性在于：APCM 不是做一个抽象的 feature refinement，而是在可解释的频域变量上完成一次近似 proximal step。

3. DAM：Dual Adjustment Module

标准 ADMM 中 dual update 常写为：

[ u^{k+1}=u^k+\mu(x^{k+1}-z^{k+1}) ]

麻烦在于 (\mu) 很难调。太小，收敛慢；太大，容易震荡。低计数 PET 本身就是病态问题，这个敏感性会更强。

作者的做法很直接但有效：把 (\mu) 参数化成可学习标量，与网络一起训练。这样 DAM 不改变 ADMM 的数学结构，但把最烦人的超参数调度问题交给数据驱动学习。

这类设计的价值在于：

• 保留优化算法语义；
• 避免手工 tuning；
• 让 unrolled network 更稳定。

---

实验与结果

数据集与设置

作者在三个数据集上评估：

• BrainWeb：20 个模拟脑 PET，测试 20% / 40% count；
• In-House：60 个儿科全身 PET，构造 1% / 10% 剂量；
• UDPET：206 个脑 PET，DRF-100 超低剂量设置。

训练设置相对克制：

• unrolled stages (K=3)
• 模块深度 (N=2)
• GPU 为 RTX 4090
• 输入 sinogram 分辨率 128×128

值得注意的是，作者没有靠“大模型”取胜，而是通过结构设计提高参数效率。

与 SOTA 的定量对比

主表结果非常漂亮。

在三组代表性设置下，FourierPET 都是最优：

• BrainWeb 20% count

  • SSIM 0.9859
  • PSNR 35.36
  • RMSE 0.0198

• In-House 1% count

  • SSIM 0.9740
  • PSNR 35.19
  • RMSE 0.0188

• UDPET DRF-100

  • SSIM 0.9083
  • PSNR 27.98
  • RMSE 0.0437

更强的一点在于参数量：

• FourierPET：0.44M
• DGLM_u：0.68M
• FBPnet：21.35M
• RED：28.93M
• AutoContextCNN：42.56M
• DeepPET：62.94M
• LCPR-Net：75.93M

这说明它不是“更大更强”，而是更对题。

定性结果怎么看？

定性图里，FourierPET 的优势主要体现在三点：

• 肿瘤 ROI 附近的局部结构更清楚；
• 全局对比度更接近 full-count；
• error map 更少出现大片系统性残差。

这与方法设计是完全对上的：

• phase 分支解决结构保真；
• amplitude 分支解决全局偏置；
• SCM 保证不会为了“好看”而偏离观测。

---

消融实验：论文最能自证的一部分

这篇论文的 Ablation Study 做得比较到位，不只是证明“模块有用”，而且能证明“为什么这么拆是合理的”。

1. SCM 与 APCM 的贡献

从 baseline unrolled ADMM 出发：

• 不加任何模块：In-House 上 SSIM 0.940 / PSNR 33.15
• 只加 SCM：SSIM 0.971 / PSNR 34.62
• 只加 APCM：SSIM 0.967 / PSNR 34.05
• 两者都加：SSIM 0.974 / PSNR 35.19

结论很清楚：

• SCM 对数据一致性和全局重建提升很大；
• APCM 对定向频谱修复有效；
• 两者有明显互补性。

2. SCM 子模块分析

去掉 (A^ op) 物理约束后，性能直接崩到：

• SSIM 0.8328
• PSNR 22.55
• RMSE 0.0849

这个结果非常有说服力，说明在 PET 这种 inverse problem 里，单靠神经网络学习不够，measurement consistency 是地基，不是装饰。

去掉 SSFNO 或 Spatial Module 也都会退化，但不如去掉物理约束那么致命。这揭示了 SCM 的三层逻辑优先级：

1. 物理一致性必须有；
2. 全局频谱建模很重要；
3. 局部空间细节建模也重要。

3. Phase / Amp 分支作用分离

APCM 消融显示：

• 只用 phase branch：更擅长提高 SSIM，说明结构细节恢复更强；
• 只用 amp branch：更有利于 PSNR / RMSE，说明全局强度误差更小；
• 两者联合：总体最优。

这几乎和作者的频谱分析一一对应，是整篇论文“从观察到设计再到验证”闭环最完整的部分。

4. 定向修复优于全频修复

一个很值得注意的附录实验是：

• 全频段统一校正：RMSE 略低一点；
• 定向校正（只修低频 amplitude + 高频 phase）：SSIM 更高。

这意味着什么？

说明“修得更多”不一定更好。全频修正会误伤原本干净或稳定的频带，尤其是中频部分，导致结构保真下降。FourierPET 的关键不是用了频域，而是有选择地用频域。

---

更进一步：为什么这套方法有效？

1. 它不是简单的 Fourier trick，而是退化机制对齐

很多频域方法的问题在于：只是把 FFT 当作另一个特征空间，并没有说明为什么某类退化应该在这个空间里被区分。

FourierPET 不一样。它先通过：

• amplitude-phase swap；
• radial frequency deviation profiling；
• DWT 子带分析；

证明不同退化在频域中的统计落点不同，然后再把网络设计成“按落点修复”。这是一种mechanism-aligned representation design。

2. 它把 black-box denoising 变成了 structured correction

如果一个网络只是输出更干净的 PET 图像，我们并不知道它到底做了什么。但 FourierPET 的每一步都能解释：

• SCM：约束它别偏离观测；
• APCM-Amp：补低频 gain suppression；
• APCM-Phase：稳住高频结构相位；
• DAM：控制变量协调速度。

这让模型更像“被神经网络增强的优化器”，而不是“套了个医学名字的图像增强器”。

3. 小参数量是设计正确性的副产物

0.44M 参数做到 SOTA，说明性能不是来自过参数化，而是来自：

• 模块分工明确；
• 频谱操作聚焦；
• 物理约束减少了网络自由度需求。

这对医学成像尤其重要，因为临床上更在意：

• 稳定性；
• 解释性；
• 部署成本；
• 数据规模有限时的泛化。

---

局限性与批判性分析

这篇工作很强，但并非没有问题。

1. APCM 的理论基础仍偏经验化

作者自己也承认，APCM 本质上是对 proximal mapping 的 learnable surrogate。其背后两个核心假设：

• band-wise near separability；
• amplitude-phase decoupling；

目前还没有严格理论证明。也就是说，它“works well”，但近似误差界、收敛性质、与原始正则项的一致性都还不清楚。

这是一个典型的 deep unrolling 论文常见问题：形式上继承了优化框架，但神经模块的数学角色还不完全闭合。

2. 临床价值尚未被直接证明

当前指标主要是：

• PSNR
• SSIM
• RMSE
• 部分 SUV surrogate

这些能说明图像重建质量，但不能直接等价于：

• lesion detectability
• diagnosis confidence
• reader study performance

换句话说，图像更像 full-count，不一定自动意味着临床判读更可靠。真正走向临床还需要更强的任务级验证。

3. 固定频谱变换可能限制跨协议鲁棒性

当前方法依赖固定的 Fourier + Haar DWT 分解，这默认不同解剖区域、不同 tracer、不同 scanner protocol 下的谱结构差异仍能被相同模板捕捉。

这在当前实验里成立，但未来跨设备、跨示踪剂、跨器官时，可能需要：

• adaptive spectral basis；
• learnable wavelet / transform；
• protocol-aware dynamic frequency partition。

4. 推理效率仍有可优化空间

虽然参数量很小，但作者报告在 whole-body PET 上：

• (K=3)：20.25 s
• (K=10)：58.87 s

可见 unrolling stage 增多后，时间成本还是明显上升。对实际临床工作流而言，还需要继续优化吞吐。

---

未来展望

这篇工作最值得延伸的方向，我认为有三个。

1. 从固定频带走向自适应频带

当前“低频 amplitude / 高频 phase”的经验规律很强，但并不一定对所有场景严格成立。未来可以做：

• learnable band partition；
• adaptive frequency masks；
• protocol-conditioned spectral routing。

也就是说，不是作者手工规定哪里该修，而是让模型在物理先验约束下自动找到最该修的谱区域。

2. 从图像质量走向临床任务指标

下一步更重要的不是再涨 0.2 dB PSNR，而是验证它是否提升：

• 小病灶检出率；
• SUV 定量可靠性；
• 肿瘤边界 delineation；
• 下游 diagnosis / prognosis task。

如果 frequency-aware reconstruction 能稳定提升这些指标，它的临床影响会远大于单纯的重建 benchmark SOTA。

3. 向其他模态迁移

这套思想其实不止适用于 PET。凡是存在：

• 多类退化叠加；
• 不同退化对应不同频谱落点；
• forward model 明确；

的场景，都可以考虑类似范式，比如：

• 低剂量 CT
• accelerated MRI
• SPECT
• 超声重建
• 甚至显微成像与天文成像

真正可迁移的不是 FourierPET 这一个网络，而是它背后的方法论： 先找退化的谱签名，再把优化过程写成定向修复。

---

总结

FourierPET 的核心贡献，可以浓缩成一句话：

它把低计数 PET 重建从“统一图像去噪”推进到了“基于物理退化机制的频谱定向校正”。

它之所以值得重视，不是因为用了 Fourier，也不只是因为刷了榜，而是因为它给出了一个更合理的建模逻辑：

• 先分析退化在表示空间中的结构；
• 再把这个结构嵌入优化框架；
• 最后用神经模块近似不可解的子问题。

从结果看，这个逻辑是成立的：更高精度、更强可解释性、更小参数量，还具备一定 Zero-shot 跨域潜力。

如果你关注医学图像重建的下一步方向，这篇论文的启发很明确：未来真正有竞争力的模型，不会只是更深更大，而会是更懂物理、更懂表示、更懂该在哪个频带动刀。