JEPA世界模型已经确立了哪些结论
联合嵌入预测架构通过联合训练编码器和预测器来学习潜在表示，而非重建未来像素；近期的实例化工作如DINO-WM和LeWorldModel表明，这些潜在预测能够在固定的帧间转移规律下支持下游规划与控制[1]。更广泛的JEPA路线如今已发展到足以引发自身的效率之争：一项冻结教师的视频自监督学习研究报告称，学生模型在冻结评估下优于V-JEPA 2，并在其精度-FLOPs帕累托前沿上占据主导，这表明精心设计的在线师生框架和EMA防坍缩机制对于高质量表示可能并非必要[6]。另一条世界-动作模型路线将JEPA特征推入操作领域，使用冻结的V-JEPA2.1编码器加上语义自编码器和扩散分支，在干净环境下50项RoboTwin任务上达到92.64%的平均成功率，在随机化条件下仅有2.84%的差距[2]。这些工作共同确立了JEPA潜在表示对控制任务的有效性，并且其训练方案仍在被积极简化，但它们留下了一个未决问题：所学习到的更新能否在长时程上复合，或泛化到分布外动力学[1]。
重力条件化加递归展开：SG-JEPA 的变革
SG-JEPA 通过动作条件化将支配物理规律的参数——重力——提供给时间模型，并借助带 SIGReg 正则化的折扣 K 步自回归展开损失联合训练编码器与预测器，从而扩展了 LeWorldModel [1]。训练时，重力从窄高斯分布中采样：对于二维平面形状和 Arm Catcher Ball 使用 N(4, 0.5^2)，对于其余三维数据集使用 N(9.8, 2.0^2)，而留出的测试集则使用更宽的网格，包括分布外取值 [1]。与 DINO-WM 相比——后者保持预训练的 DINOv2 编码器冻结，并训练一个动作条件化的 Transformer 预测器——SG-JEPA 在二维数据集上将开环预测误差最多降低 2 倍，并在使用独立训练的扩散策略的三维机器人数据集上将控制成功率最多提升 2.5 倍 [1]。这一比较之所以重要，是因为 DINO-WM 的冻结编码器无法使其特征适应展开目标，而 SG-JEPA 的编码器则是通过推理时将使用的同一递归损失进行训练的 [1]。
增益实际来自何处：编码器，而非预测器
该文的机制性主张是：优势存在于表征之中。从一个训练好的检查点出发，将编码器或预测器之一替换为全新初始化的版本并联合重训练，当编码器被重训练时性能保持不变，但当预测器被重训练时性能下降[1]。冻结表征的交叉实验讲述了同样的故事：一个全新的Transformer预测器在两种潜在来源上都适度降低了误差，在GRU训练的表征上为-0.107，在Transformer训练的表征上为-0.103，但GRU训练的表征总体上仍然更好[1]。GRU训练的表征对长上下文的依赖也更小：将上下文从20帧缩短到4帧，在前五次预测上产生的Transformer来源减GRU来源的历史惩罚仅为0.015，但在完整的44步展开上为0.089[1]。这与该文的线性特征模型一致，该模型将局部规律条件误差与其递归放大分离开来，并表明将多步展开损失反向传播到表征中会训练编码器保留预测器能够向前传递的特征[1]。
竞争性解释：新颖性检测、几何条件化与物理推理
一个竞争性方法主张，不完美的世界模型应在规划时加以调节，而非在表征中修正：WM-VAE在DINO-WM上增加了变分自编码器新颖性检测器，并将逐动作重建损失用作CEM代价，从而改善了NVIDIA FleX中颗粒、绳索和布料操作任务的规划性能[4]。这是一条不同的杠杆，而非对其的反驳，两者原则上可以结合，但所提供证据并未检验这种组合[1][4]。一个以几何为条件的扩散前驱模型在另一领域展现了同样的张力：一个以体素化气道解剖结构为条件、由符号距离场引导的DDPM，能够以10^-3至10^-2量级的Wasserstein距离恢复速度幅值统计量，然而对未见解剖结构的泛化仍从根本上受限于仿真几何的多样性——仅有九种仿真解剖结构，且在分布外案例上行为退化[3]。这为SG-JEPA自身的主张划定了一个有用的边界：已知定律内的参数泛化不同于跨几何或跨形态的泛化[1][3]。来自不同模态的一项验证式结果——PhysMent——发现LLM物理推理仅对部分模型随迭代次数增加而改善，Gemini 3.1 Pro从29.5%升至66.7%，而GPT-5.5则从51.4%略微下降至48.6%，且计算任务落后于比较任务[5]。其类比在于：更多的推演或更多的算力并不自动意味着更好；关键在于模型是否具备利用它们的正确结构[1][5]。
边界：标量、线性理论与非均匀形状迁移
论文自身的局限性已被明确指出。实验仅改变单一标量——重力，作者将向量值物理变量或直接从观测中推断动力学参数列为未来工作[1]。跨物体形状的迁移并不均衡：在二维三角形和正方形数据集上训练，可以迁移房屋的大部分平移动力学，但无法迁移其旋转，而五边形仍然具有挑战性，可能需要一个在多样化数据上训练的通用模型[1]。该理论使用线性特征模型，而神经预测器是非线性且依赖历史的，接触还可能扰动转移分支，因此半群界和定律覆盖界对于所部署的网络而言是解释性的，而非精确的[1]。因此证据边界是清晰的：结论建立在二维和三维特定重力场任务之上，并不能直接推广到真实机器人或所有物理系统[1]。相近的前驱工作也强化了这种审慎态度。一项关于紧凑到树枝状转变的时空早期预警研究报告了在反应速率条件下有限但系统性的可迁移性，随着推断条件偏离训练条件以及潜在状态动力学相应变化，性能会下降[7]。一个受物理启发的嗅觉混合物相似性潜在动力学模型以rho = 0.408零样本迁移到一个数据集，但在单分子气味特征上产生接近零的相关性，说明潜在动力学归纳偏置在一种机制中可能有用，而在另一种机制中则不提供信息[9]。生物学和化学中更广泛的潜在动力学框架采取了类似的做法，将学习到的潜在空间与物理或生物结构耦合，但它们并未检验特定的半群复合主张[8][10][11][12]。
关于这些来源
本研究页面基于12项研究（11篇同行评审，1篇预印本）——发表于2025年至2026年，其中12项来自2024年或之后——这些研究是从通过质量筛选的12项研究中选出的最相关研究，而这些研究又从超过5亿篇文献的数据库中检索到的66篇论文中筛选而来。
本文引用的文献
半群-JEPA：面向零样本物理泛化的潜在动力学一致性
Semigroup-JEPA将LeWorldModel风格的JEPA以重力为条件，并通过折扣自回归展开损失训练编码器和预测器，与DINO-WM相比，将2D开环误差最多降低2倍，将3D控制成功率最多提升2.5倍，交叉实验将增益主要归因于编码器的特征。
LeapBot-WA：通过预测性潜在对齐的世界锚点动作模型
LeapBot-WA使用冻结的V-JEPA2.1编码器，配合语义自编码器和扩散分支，在50项RoboTwin任务中于干净环境下达到92.64%的平均成功率，在随机化条件下达到89.80%，支持将JEPA特征作为操作策略的基础。
几何条件扩散生成人体气道中的拉格朗日粒子轨迹。
一种以几何为条件、并以符号距离场作为引导的DDPM能够恢复气道粒子轨迹速度统计量，其Wasserstein距离约为10^-3至10^-2，但向未见解剖结构的泛化从根本上受限于模拟几何数量较少。
通过新颖性检测界定世界建模中的分布偏移
WM-VAE在DINO-WM的基础上加入了一个变分自编码器新颖性检测器，并将逐动作重建损失用作CEM规划代价，从而改进了在NVIDIA FleX中颗粒、绳索和布料操作任务上的规划。
PhysMent：一种用于物理问题中LLM推理的交互式方法
PhysMent通过交互式工具调用场景评估大语言模型的物理推理能力，发现额外的迭代对某些模型有显著帮助，例如Gemini 3.1 Pro从29.5%提升至66.7%，而其他模型则趋于停滞或下降，其中计算任务落后于比较任务。
重新思考JEPA：基于冻结教师模型的计算高效视频自监督学习
一项冻结教师视频自监督学习研究报告称，其学生模型在冻结评估下优于V-JEPA 2，并在准确率-FLOPs帕累托前沿上占据主导地位，这表明基于EMA的防坍缩机制对于高质量表征可能并非必要。
通过从二维生长图像中进行时空学习，实现紧凑到枝晶转变的早期预警。
一项关于紧凑到枝晶转变的时空早期预警研究发现，从生长图像序列进行端到端学习能够在不同时间跨度上预判该转变，并且在反应速率条件下具有有限但系统性的可迁移性，这种可迁移性随着推断偏离训练条件而降低。
一个跨越物理学与生物学的信息流基底-过程-能动性框架：ODC动力学与N空间表观基因组。
一个基底-过程-能动性框架提出将N空间与秩序-无序-反身控制作为跨越物理学与生物学的统一信息论语法，并预测可证伪的统计特征，如瞬态协调与边界依赖沉降。
物理启发的潜在动力学用于预测嗅觉混合物相似性。
PhysSim将嗅觉混合物的相似性表示为描述符初始化的潜在场中的弛豫过程，并采用受物理启发的相互作用形式，在分子级交叉验证中达到Spearman rho = 0.610，在一个数据集上的零样本迁移中达到rho = 0.408，但在单分子气味特征上相关性接近零。
BindRNAgen：使用潜在扩散模型生成蛋白质结合RNA序列。
BindRNAgen将变分自编码器与条件潜在扩散模型相结合，从蛋白质嵌入生成RBP结合的RNA序列，为训练集RBP产生生物物理上可比的序列，其泛化能力受与训练RBP同源性的影响。
元动力学与拉曼光谱用于聚糖结构-光谱映射。
DynaSpec将机器学习潜在空间中的元动力学与群体加权DFT拉曼计算相结合，将聚糖构象集合映射到光谱，在13种N-聚糖中实现了超过85%的分类准确率，并能够对某些差异实现R2 > 0.99的混合物解混。
单细胞基因网络驱动的表型动力学的多尺度学习。
GRNvelo 将基因调控网络速度与非局部群体动力学相结合，利用物理信息神经网络重建多尺度细胞命运动力学，并在合成和真实数据集中预测遗传扰动下命运的改变。