[arXiv 2024] 哪些 LLM 更难被捉住？深度剖析 AI 改写与检测的博弈战场

TL;DR

随着 LLM 走入千家万户，辨别一段文字是人类笔墨还是硅基生成的“数字幻觉”已成为学术诚信和搜索引擎质量的防线。本文通过 92 个分类器的详尽实验告诉我们：并非所有 AI 文本都一样容易被发现。OpenAI 家族（特别是 GPT-4o）在改写学生论文时展现出了惊人的“类人化”特征，使得传统检测器在大规模数据面前屡屡碰壁。

背景定位：从通用检测到精细化审计

过去我们往往认为只要训练一个大的 Transformer 分类器就能一劳永逸。但本文通过在不同领域（Reddit 评论、科学论文、故事创作、学生论文）的纵向对比发现，检测难度与 写作领域 和 模型族系 强相关。这是该领域内首次通过深度 AUC 最大化方案，对 27 种 LLM 及其 7 个主要家族进行细致的可检测性“审计”。

痛点深挖：消失的特征与不平衡的数据

现有的检测技术面临两大瓶颈：

1. 数据不平衡（Data Imbalance）：在真实场景中，人类文本往往远少于 AI 生成的泛滥文本，传统的 Cross-Entropy 损失函数容易导致分类器偏向多数类。
2. 伪装性增强：特别是用户通过特定的 Prompt 诱导（如“模仿原文语词习惯进行改写”）后，LLM 的输出分布会发生剧烈偏移，消除了明显的“AI 痕迹”。

核心方法论：深度 AUC 优化与改写攻击

为了解决上述痛点，作者采用了 LibAUC 库。其核心思想是直接优化接收者操作特征曲线下的面积（AUC），而非简单的准确率。

模型架构

作者选用了轻量化但性能强劲的 DistilRoBERTa 作为骨干网络。 图 1：通过变换不同的 LLM 家族（模型 A）来测试分类器的泛化能力。

实验设计

实验分为两个维度：

• Deepfake Text：包含 Scigen（科学）、WP（故事）、CMV（意见）三个领域。
• RIP (Rewritten Ivy Panda)：针对学生论文，诱导 LLM 进行“人类模仿”改写。

实验与结果：OpenAI 的“隐形斗篷”

实验结果令人警醒：在 RIP 数据集上，如果分类器没有专门用 OpenAI 的数据训练过，那么它在面对 GPT-3.5 或 GPT-4o 生成的文本时几乎是失效的。

图 2：跨家族检测表现对比。注意 OpenAI 的垂直列：大部分非 OpenAI 训练的分类器在其面前的 AUC 显著低于其他家族。

为什么 OpenAI 这么难抓？

作者引入了两个关键的统计维度进行消融分析：

1. 海农熵 (Shannon Entropy)：反映了词汇的复杂度和不可预测性。如图 4 所示，OpenAI 文本的熵分布曲线（黄色）相较于 Llama2（紫色）和 Mistral（红色），明显向右侧——也就是人类文本（蓝色）的方向偏移了。
2. 未登录词率 (OOV Ratio)：OpenAI 模型能够更自然地从原始人类论文中“借用”生僻词汇，从而在分布图上与人类表现极其相似。

图 3：熵分布曲线，OpenAI 的分布（黄色）与人类（蓝色）的重合度最高。

深度洞察与总结

核心贡献 (Takeaways)

• 领域敏感性：故事创作最容易检测（AUC 甚至能到 0.99），而科学写作（Scigen）由于术语固定、结构严谨，AI 生成的痕迹最难剥离。
• 泛化之王：用 Claude 训练的分类器对其他模型的泛化性相对较好，但面对“狡猾”的 OpenAI，必须依赖针对性的对抗样本。

局限与未来

目前的分析主要集中在长文本（Long-context）领域。在 Amazon 评论、Twitter 等短文本场景中，文本的统计特征会更加微弱，熵值的判别力将下降。未来的研究焦点应转向如何基于极短文本挖掘 LLM 架构固有的“计算指纹”。

总结： 随着 GPT-4o 等模型越来越能通过“高熵”表达来模仿人类，AI 检测不再是一个简单的二分类问题，而是一场关于词法分布与信息熵的动态博弈。