SurveyAgent-HKA表明专家修订信号比单次LLM综述生成更重要

从单源RAG到多智能体综述工作流

此前的前沿工作将综述生成视为一个两阶段流水线：先检索文献，再生成文本。SurveyGen 将其形式化为一个质量感知框架，采用语义检索与引文扩展，并指出仅以召回率为基础的引文评估会高估模型性能，从而推动将精确率作为补充指标[2]。Citegeist 通过 arXiv 语料库上的动态 RAG、基于嵌入的相似度、多阶段过滤以及面向用户的广度、深度和多样性参数，将检索推进得更远，但其评估依赖 LLM 作为评判者，因为当时无法获得人工标注者[3]。SurveyAgent-HKA 继承了这种以检索为中心的视角，但拒绝了一次性生成的假设：它从多个数据库（Semantic Scholar、arXiv、PubMed）检索，应用共被引扩展以找回语义相似度遗漏的基础性论文，并使用引用次数、近期热度、作者与发表场所影响力以及内容多样性对候选文献重新排序[1]。

实际后果是，检索质量与生成质量被解耦并分别优化。在论文自身的分析中，纯基于相似度的检索表现最差，且随着Top-K增大几乎没有改善；而引用感知方法在K≈50之前持续提升，随后趋于饱和；作者的组合策略则继续改善，因为它还能捕捉到近期、尚未被高引用的工作[1]。这是一个关于综述智能体应当看到何种证据的方法论主张，而不仅仅是工程细节。

人工大纲与同行评审意见作为修订信号

锚点论文的独特之处在于将已发表的综述及其同行评审视为可复用的专家知识。[RETRIEVER]智能体在收集论文的同时，也收集人工撰写的综述大纲和与主题相关的同行评审意见；[OUTLINER]从聚类文献中构建初始大纲，然后利用这些人工大纲对其进行改进；[REVIEWER]通过对照专家在已发表综述评审中实际提出的问题来评估草稿，从而模拟同行评审员，而[REFINER]则对结果进行打磨[1]。这与SurveyGen的质量感知检索[2]或Citegeist的检索参数化[3]对人类知识的使用方式不同：在这里，人类输入塑造的是结构和修订，而不仅仅是候选内容的筛选。

少样本大纲分析支持了这一机制，但也对其作出了限定。随着人工撰写的大纲示例增多，一级和二级标题的结构一致性有所提升，在10个示例时达到峰值，随后因额外示例引入无关或冗余的结构线索而下降[1]。因此，这一收益是真实存在的但并非单调递增，而且论文并未确立如何自动选择最优示例集。

比较实际揭示了什么，又未能揭示什么

在与Naive-RAG、AutoSurvey、SurveyX、SurveyForge、SurveyGen和DeepResearch等基线方法的对比中，SurveyAgent-HKA在两个领域均报告了最佳的引用质量：计算机科学领域精确率14.95%、召回率19.53%、F1值16.94%，医学领域分别为16.78%、22.95%和19.39% [1]。它还报告了与人工撰写综述最高的结构匹配度以及最佳的LLM评判结构相关性（计算机科学3.5/5，医学3.9/5），以及53.85%和57.07%的关键点召回率 [1]。这些数字之所以重要，是因为它们是以人工撰写的综述作为金标准来衡量的，而不仅仅是与其他系统进行对比。

两项对比为这一核心结论提供了缓冲。首先，论文本身指出，其内容重叠度排名第二，仅次于商业化的DeepResearch模型，因此该框架并非在所有内容维度上都占据主导地位[1]。其次，分布分析显示，包括该模型在内的所有模型，在引用数量、作者H指数、期刊H指数和时间跨度方面，仍与人类参考选择存在显著差异；人类综述可能引用从未进入主流数据库的、发表已长达30年的论文[1]。作者直言，人类选择行为复杂且难以复现。

竞争性架构与评估效度问题

并非所有多智能体设计都会得出相同结论。CREW采用协作式多智能体强化学习，配合学习到的去中心化策略来生成相关工作，报告称相较于单智能体基线，整体质量提升0.06分，引用验证改善23.54%，同时token使用量减少12.90% [4]。其消融实验表明，移除反馈动作导致的性能下降最为严重，整体得分降至2.58，这独立支持了锚定论文对批判-修订循环的强调 [4]。然而，CREW运行于固定的候选池而非实时学术数据库之上，并承认其自动化奖励可能无法捕捉特定领域的学术惯例 [4]。

评估效度是更尖锐且尚未解决的问题。GREP表明，专业的最先进LLM在引用忠实度上与专家判断的一致率仅约53%，而其多轮框架达到78%和66%的一致率，并且最佳模型仅有20%的情况下能够连贯地引用先前工作[6]。另一项归因研究发现，检索增强而非引用范式才是引用准确性的主要驱动因素，其中事后引用更适合高风险覆盖场景，而生成时引用更适合精度关键的验证[7]。由于SurveyAgent-HKA依赖基于LLM的结构和内容评分以及人工调查金标准[1]，这些发现表明其报告的结构性增益应被解读为与某一评估协议的一致性，而非专家偏好的经过验证的代理指标。

边界：两个领域，无视觉内容，无法替代专家

论文明确界定了证据边界。实验仅覆盖计算机科学和医学，作者指出，对其他学科、发表场所、综述篇幅以及新兴领域的适用性仍未得到考察[1]。生成的综述不包含图表，且由于长文本API成本较高，评估集规模较小[1]。作者还指出了潜在的数据污染问题：GPT-4o的知识截止日期为2023年10月，Claude-3.5-Sonnet为2024年4月，这意味着一些人类撰写的参考综述可能已出现在预训练数据中，从而可能同时抬高生成质量和基于LLM的评估结果，尽管他们在实验中已排除了每个目标综述[1]。

作者自己的结论才是读者应当采用的理解框架：生成的综述在识别关键参考文献、维持均衡的提纲结构以及提供深入的跨论文比较方面，仍落后于专家撰写的综述，因此应被视为文献探索的辅助材料，而非替代品[1]。另有一个多智能体引文图谱框架据报告指出，人类撰写的综述在覆盖度上仍更胜一筹[5]，这与上述边界一致。因此，悬而未决的问题并非多智能体综述生成是否根本可行，而是如何在不发生过拟合的前提下选择人工修订信号、如何依据专家偏好而非LLM评判者进行评估，以及该方法能否迁移到两个已测试领域之外。

关于这些来源

本研究页面基于7项经过同行评审的研究——发表于2025年至2026年，其中7项发表于2024年或之后——这些研究是从通过质量筛选的8项研究中选出的最相关研究，而这些研究又从超过5亿篇文献的数据库中检索到的80篇论文中筛选而来。

本文引用的文献