[研报] CUDRT：LLM 生成文本检测的“全科考试”，揭秘 AI 文本隐藏的指纹

TL;DR

随着 GPT-4、Llama 3 和通义千问（Qwen）等模型的爆发，区分“人写”还是“AI 编”已变成一场猫鼠游戏。来自人大等机构的研究者提出了 CUDRT 框架。它不再仅仅测试简单的问答对，而是通过 Create, Update, Delete, Rewrite, Translate 五大维度，对现有的检测器进行了一场深度“体检”。结论很扎心：很多主流检测器在面对 AI 润色或翻译过的文本时，表现得像在“掷硬币”。

1. 为什么现在的 AI 检测器总是打脸？

现有的检测器（如 RoBERTa-based 或 GPTZero 等）大多是在早期的问答数据集（如 HC3）上训练的。但在现实中，用户很少直接复制 AI 的原始输出，而是让 AI 润色（Polish） 论文、压缩（Refine） 报告或 改写（Rewrite） 新闻。

作者发现，当 AI 的参与度从 100%（直接生成）降低到 25%（润色或改写）时，现有检测器的防御力会大幅瓦解。此外，中文语境下的检测研究严重滞后，导致这些工具在面对国产 LLM 时经常“水土不服”。

2. CUDRT 核心：五大操作定义 LLM 行为学

CUDRT 框架将 LLM 的操作标准化，这为我们理解 AI 文本指纹提供了全新的视角：

• Create (创建): 包含续写和问答，这是最容易被捕获的“纯 AI 属性”。
• Update (更新): 包含润色和扩张。AI 在原有基础上微调，指纹极淡。
• Delete (删除): 包含摘要和提炼。研究发现，这是检测训练的“神级数据集”。
• Rewrite (重写): 深度重组文字，挑战检测器的语义鲁棒性。
• Translate (翻译): 跨语言指纹捕捉，检测难度极高。

3. 深度洞察：困惑度（Perplexity）的迷思

研究通过对比发现，除了翻译操作，LLM 生成文本的困惑度（PPL）普遍比人类更低且更集中（见下方分布图）。这意味着 AI 写的文本虽然流畅，但缺乏人类那种“不可预测的随机性”。

4. 实验战果：谁才是检测界的“六边形战士”？

通过对 MPU (指标法)、RoBERTa (模型法) 和 XLNet (模型法) 的跨维度测试，本研究得出了几个违背直觉的结论：

跨操作检测：意外的赢家

如果你只有少量的训练数据，应该用哪种？实验得出：用“Delete（删除/摘要）”类数据训练出的模型泛化性最强。在英语测试中，基于 Delete 训练的 RoBERTa 在多个任务上的 Accuracy 甚至超过了 0.98。研究者推测，这是因为 AI 在精简文本时，其特定的结构化逻辑和删减模式最能暴露其本质。

跨模型检测：强者恒强

使用 GPT-4 或 Qwen1.5 训练出的检测器，在检测其他低阶模型（如 Llama 2 或百川）时表现极佳。这说明 Top-tier 模型的生成逻辑包含了更广泛的 AI 特征母集。

5. 局限性与行业启示

尽管 CUDRT 提供了强大的基准，但检测器依然面临难题：

1. 翻译检测的重灾区：所有检测器在 Translate 任务上的表现都远低于其他任务。
2. 对抗性的隐忧：如果用户故意加入人类特有的语法噪声，这些基于数据分布的检测器极易被误导。

总结建议：开发者应停止单纯通过“问答对”来训练检测器，转而引入包含 Update（润色） 和 Delete（摘要） 的混合语料库，并必须加强对 多语言环境 的适配。

本文基于 arXiv 论文《Towards Reliable Detection of LLM-Generated Texts: A Comprehensive Evaluation Framework with CUDRT》深度重构。