通用能力假设与新探针的发现
指令微调被广泛认为赋予了语言模型一种领域通用的指令遵循能力，而该领域的综述也将指令遵循能力视为数据集与训练设计的核心目标[2]。机制可解释性研究为检验这一假设提供了工具，因为线性探针能够从网络表征中读取信息而不改变其计算过程[3]。锚定论文正是运用了这一逻辑，在三个指令微调模型中分别训练各任务的专家探针和覆盖全部九项任务的通用探针，然后比较准确率与行空间信息以量化表征共享程度[1]。通用探针总体上落后于专家探针，但这种差距是有选择性的而非均匀分布的：它在某些任务上与专家探针持平，如主题和情感，而在其他任务上则落后，作者将此解读为某些任务族存在共享结构，但并非所有任务族皆如此[1]。作者谨慎地指出，仅凭这一比较并不足以构成反对通用机制的证据，因为专家探针拟合的是单一分布，而通用探针需要容纳混合分布；更有力的证据来自迁移、消融和相似性结果，这些结果不带有这种优化上的不对称性[1]。
弱聚类迁移与稀疏非对称依赖
如果存在单一的任务不变约束表征，跨任务迁移就应当是广泛且大致均匀的。然而，锚定论文报告的是按技能相似性聚集的弱迁移：一些专家探针能很好地迁移到相关任务，例如Llama的主题探针在情感和术语排除上达到0.78-0.87，而其他探针在无关任务上则接近随机水平[1]。通过零空间投影进行的因果消融显示出稀疏、不对称的依赖模式，而非通过某种一般机制的稠密连通性；对于Llama而言，主题依赖于情感和术语排除，而通用探针所在列对大多数专家探针的影响极小，这表明它所捕获的内容对单个任务的表现并非必要[1]。秩匹配的随机子空间基线产生弥散、非特异性的准确率下降，与真实消融中稀疏、对角主导的模式形成对比，作者据此论证这些依赖关系是任务相关方向所特有的，而非移除任意方向所导致的伪影[1]。
跨层复杂度分层与在线约束信号
锚点论文还追踪了约束信息出现的位置与时机。任务按复杂度在网络深度上分层：字符计数、术语排除、JSON格式和词数等早期涌现的任务在前几层即达到0.9以上的准确率，而词语包含、语域、情感、主题和毒性等晚期涌现的任务则在更靠后的层达到峰值，这表明早期层捕捉结构与词汇技能，而后期层编码语义与文体能力[1]。时序分析显示，约束信号只有在生成开始后才可被解码，并在整个响应过程中持续可解码，作者认为这与存在一个专门的生成前约束检查模块不一致[1]。论文自身指出的局限包括：跨层投影可能引入对齐噪声，尽管基于PWCCA的树状图能将相关任务跨远距离层聚类；此外，九项任务涵盖四个语言维度，并未穷尽人机交互的分类体系，多约束提示仍是一个开放问题[1]。
协调账户如何与竞争性证据和验证性证据相对照
一个与之竞争的系统性解释来自TaoLive数字人工作，该工作将指令遵循视为一种可被训练和运行时设计保留或削弱的能力，而非固定的内部机制。在其消融实验中，固定框架的SFT将任务特定分数提高了9.2和12.8分，并将工具鲁棒性提高了12.5分，但提示鲁棒性下降了4.6分，IFE-P和IFE-I分别下降了7.7和5.3分；通用OPD主要在之后恢复了指令遵循能力，而SFT期间的框架状态增强将提示鲁棒性提高了4.5分，同时基本保持了基础IFEval性能[4]。这与锚点论文的观点一致，即指令遵循并非单一的整体能力，而是由多种技能组装而成，这些技能可以被不均衡地训练、迁移或削弱[1][4]。来自临床NLP的验证证据也指向同一方向：Lang1在800亿临床token与6270亿互联网token混合数据上预训练，表明临床预测不会仅从预训练中涌现，领域特定预训练提高了数据效率和跨任务迁移能力，并且一个联合微调的1B模型可以超越参数量高达其671倍的微调通用模型[5]。临床领域早期的跨任务迁移工作同样发现，稳定的跨十个概念抽取任务的迁移需要专门的预训练和任务无关架构，在仅有250个标注句子时增益可达47个F1点[7]。
协调结论的边界
锚定论文的结论受限于其设计：三个指令微调模型和九项诊断任务，并未声称可推广至所有大语言模型或所有指令类型[1]。作者也指出，探针质量在不同任务间存在差异，尽管用于INLP提取的探针达到了0.89至1.00之间的准确率，这将混淆因素限制在归一化准确率下降约±0.14的范围内，远低于所观察到的变异[1]。进一步的局限来自神经元锚定规则提取的研究，该研究指出基于消融的因果效应方法仍偏保守，并共享合成替换的局限性，这一警示适用于将任何单一的基于消融的依赖图解释为完整的回路描述[6]。其实践含义并非指令遵循缺乏结构，而是该结构看起来像是协调的、部分共享的技能，其几何形态、可组合性以及在竞争性多约束提示下的行为仍是未解问题[1]。
关于这些来源
本研究页面基于7项研究（6篇同行评审，1篇预印本）——发表于2022年至2026年间，其中6篇发表于2024年或之后，合计被引用1,838次——这些研究是从通过质量筛选的7项研究中选出的最相关研究，而这些研究又从超过5亿篇文献的数据库中检索到的88篇论文中筛选而来。
本文引用的文献
大语言模型如何遵循指令：巧妙的协调，而非通用机制
锚定论文在九项任务和三个指令微调模型上提供了趋同的诊断、迁移、消融和时间证据，表明指令遵循是多种语言能力的熟练协调，而非一种通用的约束检查机制。
大语言模型的指令微调：综述
这项综述确立了基础框架，即指令微调旨在通过数据集和训练增强语言模型的指令遵循能力，而这正是锚定论文从机制层面加以检验的假设。
打开黑箱：面向神经网络算法理解的机制可解释性研究综述
这篇机制可解释性综述提供了前驱方法背景：线性探针从网络表征中读取信息而不与网络交互，而锚定论文则将这一方法跨任务和模型进行了扩展。
TaoLive数字人智能体技术报告：训练智能体与其运行框架共同进化
TaoLive数字人技术报告提供了竞争系统的证据，表明指令遵循能力可能因固定框架SFT而退化，并可通过通用OPD恢复，且在SFT期间进行框架状态增强可保持IFEval性能，支持一种可训练、可分解而非固定通用的观点。
通用基础模型对医院运营而言临床能力不足。
Lang1提供了验证证据，表明领域特定的预训练和联合多任务微调能够产生跨任务迁移，并使一个1B的临床模型优于微调后的通用模型，后者规模最高可达其671倍，这进一步印证了任务结构和领域训练对迁移的影响大于单纯的通用规模。
基于对比分层消融的大语言模型神经元锚定规则提取
这项以神经元为锚点的规则提取工作通过指出消融下的因果效应方法是保守的，并且与合成替换具有相同的局限性，从而界定了一个局限性边界，并告诫人们不要过度解读任何单一的基于消融的依赖图。
CLIN-X：预训练语言模型及临床领域概念提取的跨任务迁移研究。
CLIN-X在临床领域提供了更早的跨任务迁移验证，表明专门的预训练和任务无关架构能够在十个概念抽取任务中实现稳定的迁移，在250个标注句子时增益最高可达47个F1点。