从精确匹配到执行精度：Text-to-SQL评估如何超越二元指标

从精确匹配到执行准确率：早期评估脉络所确立的内容

第一代 Text-to-SQL 评估依赖于与金标准 SQL 查询进行精确字符串匹配或精确集合匹配。Zhong 等人表明，该指标会对语义等价的查询产生假阴性，例如 EXCEPT 与 NOT IN，并提出测试套件准确率，通过在具有高代码覆盖率的蒸馏数据库集上执行预测来近似语义准确率 [7]。他们对 21 个 Spider 排行榜提交的分析发现，官方精确集合匹配平均有 2.5% 的假阴性率，最差情况下为 8.1%，并且单数据库指称评估可能产生假阳性 [7]。执行准确率（EX）作为务实的后继者出现：执行预测的 SQL 并将结果集与金标准结果集进行顺序无关的比较 [5]。这成为 Spider、BIRD 及其后继者的主要指标 [5][1]。

执行准确率解决了字符串匹配的问题，却引入了新的问题：它仍然是二元的。正如SQLMorph的作者所指出的，一个检索到大部分正确行但遗漏了某个边界条件的查询，与一个返回完全无关结果的查询得到相同的分数，而无害的额外列与真正的语义错误受到同等严厉的惩罚[1]。这一局限并非仅是理论上的。面向企业的基准测试EntSQL报告称，在提供长文档的情况下，表现最好的受评系统仅达到15.9%的执行准确率，其中WRONG_FILTER占失败案例的54.6%，WRONG_SCOPE占14.4%[5]。这些错误类别在二元执行准确率下是不可见的：一个过滤器几乎正确的系统和一个完全错误的系统得分都为零。该领域需要能够区分失败程度和方向的指标。

SQLMorph的两种变异技术：连接扩展与语言去自然化

SQLMorph 的第一项贡献是一个通过查询变异而非收集新标注数据来生成评估集的框架 [1]。连接查询扩展（JQE）通过向现有查询添加有效连接来系统性地提升结构复杂度，制造出针对特定流水线组件（如模式链接和连接规划）的定向瓶颈 [1]。文本查询增强（TQA）生成受控的自然语言扰动——将模式元素和自然语言查询重命名为大量使用缩写的形式，如将 WaterTemperature 改为 WtTp——同时保持语义和可执行性不变 [1]。这些并非随机损坏，而是旨在隔离特定故障模式。将其应用于 BIRD 开发集上的最先进系统时，JQE 提升了查询覆盖率，并揭示了随着连接数量增加而出现的准确率下降 [1]。TQA 则表明，大量缩写所引发的语言脆弱性可使各系统的执行准确率最多下降 17% [1]。

TQA 的结果尤其具有诊断价值，因为它将检索失败与生成失败区分开来。在 L/O 设置下（较不自然的自然语言、原始 SQL），Full-Schema 检索的 schema linking 召回率急剧下降（最高达 −69.1%），SCSL 和 TCSL 的下降则较为温和（−3.3% 和 −6.0%），同时假阳性率适度降低 [1]。在 O/L 设置下（原始自然语言、较不自然的 SQL），schema linking 召回率再次下降，SCSL 和 TCSL 的假阳性率上升 [1]。来自毒理学数据库的一个定性示例显示，当 schema 名称被缩写时，系统无法检索到 atom_id 或 connected.atom_id 等正确列，从而导致下游生成和执行错误 [1]。这将 SQLMorph 与 DIVER 联系起来，后者解决了一个相关的鲁棒性问题：现有系统在专家编写的证据不可用时会出现严重的性能崩溃，执行准确率下降超过 10%，而 DIVER 的动态交互式值链接将 EX 中的鲁棒性提升了最高 10.82% [3]。两篇论文识别出相同的底层脆弱性——脆弱的 schema 与值链接——但 SQLMorph 通过受控变异对其进行诊断，而 DIVER 则通过迭代探测对其进行修复。

执行精确率与召回率：让过度预测和预测不足变得可见

SQLMorph的第二个贡献是一组执行级指标，用以取代二元的EX，采用分级度量[1]。执行精确率（EXP）是预测单元格中正确的比例；执行召回率（EXR）是真实单元格中被恢复的比例；二者的调和平均数F1提供了统一的汇总指标[1]。这些指标支持可配置的匹配机制——精确列匹配、语义列匹配或无列匹配——以及可为精确或部分的行/单元格匹配，并可选择对多余的预测列进行惩罚或忽略[1]。这一设计直接弥补了诊断缺口：EXP低但EXR高的系统属于过度预测（返回了过多的行或列），而EXR低但EXP高的系统则属于预测不足（遗漏了所需结果）[1]。作者通过实验表明，这些放宽的指标能够揭示二元EX所掩盖的系统间差异[1]。

该指标设计关联到一个更广泛的讨论：评估究竟应该衡量什么。Zhong等人的测试套件准确率是早期尝试，旨在比精确匹配更忠实地逼近语义正确性，他们明确指出内存/时间效率和可读性等其他方面与语义准确性是互补的[7]。SQLMorph的EXP/EXR采取了不同的路径：它不是通过模糊测试来逼近语义等价，而是量化执行结果的部分正确性[1]。这更接近EntSQL手动执行的错误分析，其中WRONG_FILTER、WRONG_SCOPE和WRONG_AGGREGATION是在事后进行分类的[5]。SQLMorph通过使错误方向在指标本身中可见，将这一诊断过程的一部分自动化了。其实践意义在于，系统开发者可以区分其模型是需要更好的约束 grounding（低EXR）还是更好的结果剪枝（低EXP），而不是收到一个单一且不加区分的失败信号。

竞争性评估范式：交互、多目标信息检索与过程奖励

SQLMorph基于变异的评估并非近期超越静态单轮基准的唯一尝试。BIRD-INTERACT通过函数驱动的用户模拟器、分层知识库以及面向对话式和自主规划模式的双重评估设置，恢复了多轮交互[4]。其600项任务的完整集展开了多达11,796次动态交互，而GPT-5在对话式设置中仅完成8.67%的任务，在智能体设置中仅完成17.00%[4]。这是对同一问题的不同诊断：SQLMorph认为二元指标掩盖了失败结构，而BIRD-INTERACT则认为单轮基准掩盖了实际部署所需的交互技能[1][4]。两者互为补充——原则上，SQLMorph可以应用于BIRD-INTERACT生成的查询，而BIRD-INTERACT的交互轨迹可以揭示EXP/EXR失败是否与澄清失败相关。

第二种竞争性方法从不同角度针对评估指标本身。text2ql认为精确匹配指标不足以应对多目标查询生成，并报告在确定性模式下于Spider和BIRD子集上实现了100%的执行准确率，在LLM模式下执行准确率为84–91% [2]。其消融实验表明，模式感知提示贡献了+18.4个百分点的精确匹配提升，将模式质量而非模型规模确定为准确率的主导杠杆 [2]。这与SQLMorph的发现——模式去自然化会降低性能——相一致，但text2ql的确定性模式通过构造方式在其测试集上实现了完美的执行准确率——它只生成能够从其中间表示渲染出的查询 [2]。这是一种不同的评估哲学：将系统约束在其能够正确完成的范围内，而非衡量其尝试过程中的部分正确性。Reward-SQL则采取了另一种方法，利用过程监督奖励和执行感知推理，通过逐步CTE组合来提升复杂查询性能 [6]。这些方法与SQLMorph的指标并不冲突；它们在不同层面运作——训练信号、系统架构和评估——但它们共同表明，该领域正朝着在每个阶段都采用更细粒度信号的方向发展。

主张的边界：合成变异、公共系统与未经检验的企业泛化

SQLMorph的证据在控制最严格之处最为有力，而在最需要它的地方却最为薄弱。JQE和TQA变异已在公开基准和最先进系统上得到验证，其中TQA应用于BIRD开发集的1，534个NL–SQL查询对，系统级分析仅限于原始设置产生EX=1的查询[1]。这对于隔离变异效应而言是合理的设计，但这意味着所报告的退化率描述的是那些在原始查询上已经成功的系统。所提供材料中未包含该框架自身的局限性部分，但从实验设置可以清楚看出证据的边界：这些指标的优势是在合成变异和现有公开系统上展示的，而非在具有私有业务规则的真实企业模式上[1]。EntSQL说明了为何这一点至关重要：其96.0%的示例需要超出问题和模式之外的领域知识，而即使借助长文档，最佳系统也仅达到15.9%的执行准确率[5]。在该情境下——失败主要由约束落地而非连接复杂性或命名自然性所主导——EXP和EXR是否能提供有用的诊断信号，仍是一个未决问题。

第二个边界涉及指标本身。EXP 和 EXR 依赖于列匹配和单元格匹配的选择，而这些选择引入了各自的假设：语义列匹配使用带阈值（如 0.7）的嵌入相似度，对于固定模型是确定性的，但换用不同的嵌入模型可能会发生变化 [1]。惩罚多余项还是忽略多余项的选择，改变了对正确预测的界定，而论文并未规定哪种设置适用于哪种部署场景 [1]。这与其说是缺陷，不如说是一项将责任转移给评估者的设计决策。从评估发展脉络——从精确匹配 [7] 到执行准确率 [5] 到测试套件 [7] 再到基于变异的指标 [1]——得到的更广泛教训是：没有任何单一指标能涵盖正确性的所有维度。SQLMorph 为评估者的工具箱增添了精确率和召回率，但它并不能取代领域特定的错误分析、交互测试 [4]，或关于什么构成有用查询结果的人类判断。

关于这些来源

本研究页面基于7项同行评审研究构建——发表于2020年至2026年间，其中6项发表于2024年或之后，合计被引用251次——这些研究是从通过质量筛选的13项研究中选出的最相关研究，而这13项研究又从超过5亿篇文献的数据库中检索到的90篇论文中筛选而来。

本文引用的文献