从微正则HMC到亥姆霍兹定理：热力学基础与低维采样器

热力学基线：正则系综与MCMC

早期工作已确立，贝叶斯推断与MCMC可以通过统计物理的视角来描述。正则配分函数Z(T,J) = ∫ d^nθ d^nπ exp[−(1/T)(π²/2 − log(LΠ) − J·θ)]在T=1、J=0时退化为贝叶斯证据，而其关于J的导数给出后验的累积量[1]。这一正则框架成果丰硕：它启发了HMC的新收敛准则[1]，并且为利用马尔可夫采样器构建热力学循环过程奠定了基础——在闭合回路中改变温度和源可以诊断贝叶斯推断中的非高斯性[4]。正则系综在单位温度下的熵与后验的香农熵一致，S_can(T=1) = −∫ d^nθ p(θ|y) log p(θ|y)，这是一个高度直观的结果，将热力学与信息论的概念联系了起来[1]。

相比之下，微正则系综描述的是具有固定能量E、体积V和粒子数N的孤立系统。在分子模拟中，微正则蒙特卡洛方法已被使用了数十年，用于研究从硬球到Lennard-Jones团簇等各种系统[7, 9, 11]。这些早期的微正则方法通常应用于物理科学领域，其中能量是真实的物理量，熵则通过微观状态数来定义。本文所探讨的问题是，MCHMC——一种为贝叶斯推断设计的算法——是否真正实现了微正则系综，以及其热力学熵是否具有有意义的信息论解释[1]。

MCHMC满足亥姆霍兹定理：解析与数值证据

本文的核心技术贡献在于给出了一项形式化推导，表明MCHMC的构造对应于微正则热力学系综[1]。作者定义了微正则配分函数Ω₂(E,J) = ∫ d^nθ d^nπ δ(E − H₂(θ,π;J))，其中哈密顿量为H₂ = |π|²/2 − (1/2)(LΠ e^{J·θ})^{2/(n−2)}，并证明在E=0、J=0时，该配分函数约化为Ω₂(0,0) = Ω_{n−1} p(y)，正比于贝叶斯证据[1]。这与正则情形相对应，并确认了从微正则相空间密度中采样、再对动量进行边缘化后，能够得到正确的后验分布[1]。

Helmholtz定理是微正则力学系统热力学第一定律的另一种表述形式，它要求由体积熵S(E,J) = log φ₂(E,J)导出的温度T = ∂S/∂E与从采样器样本计算得到的温度相匹配。作者们对高斯似然进行了分析验证，得到T = 2E/n，并针对一个玩具问题和一个使用Pantheon+SH0ES Ia型超新星数据（包含1590颗超新星）的宇宙学推断问题进行了数值验证[1]。在宇宙学应用中，似然函数需要平移以确保max log L ≈ 0，并进行白化处理以应对κ ≈ 10⁴的条件数，但Helmholtz定理在数值精度范围内得到了确认[1]。这确立了MCHMC按照其命名所依据的热力学定律运行，至少对于H₂哈密顿量而言是如此。

基于体积的低维问题采样器

本文提出了一种基于体积熵 φ₂(E,J) = ∫ d^nθ d^nπ Θ(E − H₂) 的新采样算法，该算法可被解释为 MCHMC [1] 的低维推广。原始 MCHMC 是为高维问题设计的，在高维情形下典型集集中，微正则构造变得高效。在低维情形下，能量壳的体积表现出不同的行为，新算法仅在高维极限下趋近于 MCHMC [1]。这一推广在论文附录 A 中作了概述，对于处理低维推断问题（标准 MCHMC 可能不适用）的实践者而言，这是一项实用的贡献。

新采样器并非仅仅是技术上的变体；它直接源自热力学分析。通过研究Helmholtz定理所需的体积熵，作者识别出一种自然的算法扩展[1]。这说明热力学推理如何能够启发算法设计，这一主题在正则系综MCMC循环的构造中也有体现[4]。然而，该论文并未对新采样器与已有方法进行广泛的数值性能比较，其实际优势仍有待未来工作来确定[1]。

为什么正则MCMC更自然：熵与信息

这篇论文最具挑衅性的论点是，从热力学和信息论的视角来看，正则MCMC算法比MCHMC更为自然[1]。作者提出了三条论据。第一，微正则配分和的构造比正则配分和更为复杂，需要额外的动量自由度，而正则定义并不需要这些[1]。第二，在单位温度下，正则热力学熵恰好与后验的香农熵一致，而零能量处的微正则熵是一个证据型积分的对数，S₂(0,0) = log Ω_{n−2} + log ∫ d^nθ (1/n)(LΠ)^{n/(n−2)}，这对于推断问题而言并非有意义的信息熵度量[1]。第三，作者证明了不可能构造出一种微正则采样算法使其热力学熵等于香农熵，因为证据是似然与先验的全局泛函，而哈密顿量为了计算效率必须是局部的[1]。

这一论点与更广泛的观察相一致，即正则系综一直是MCMC热力学分析的主要框架。正则配分函数已催生了收敛判据[1]、用于诊断非高斯性的循环过程[4]，以及通过Jaynes的工作与信息论建立的联系[1]。微正则系综虽然在物理上对孤立系统有意义，但并不能自然地容纳贝叶斯推断所需的全局归一化。本文的结论并非MCHMC无效——它确实满足亥姆霍兹定理——而是其热力学基础与贝叶斯推断的信息论本质不太契合[1]。

证据的边界与开放问题

这些结论建立在理论推导以及针对一个玩具问题和一个三维宇宙学推断问题的数值实验之上[1]。作者明确指出，Helmholtz定理尚未在大规模、高维推断任务中得到检验，而新的低维采样器仅限于低维问题[1]。H₂哈密顿量存在实际局限：由于评估的是似然本身而非其对数，必须进行平移和白化等变换才能使采样器至少能够运行，并且作者指出H₀提供了性能更优的采样算法[1]。这表明，热力学验证虽然在数学上是可靠的，但其最相关的对象可能是H₂变体，而该变体在实践中并非首选。

这篇论文也留下了关于微正则方法更广泛适用性的未解问题。作者建议使用DALI或Gram-Charlier展开将Helmholtz定理的验证推广到非高斯似然，并更详细地研究新的基于体积的采样器的数值性能[1]。此外，微正则MCMC与其他系综（如宏正则Avalanche算法[1]）之间的关系仍有待探索。热力学视角使我们对正则、宏正则以及如今的微正则MCMC采样算法有了更好的理解，但其对贝叶斯推断工作流程的实际意义仍在显现[1]。