媒体偏见检测器之前已有研究奠定的基础
媒体偏见研究长期以来一直区分选择偏见与框架偏见：前者关注媒体机构选择报道哪些议题和事件，后者关注已选议题如何通过语言、语气、语境和省略来呈现[1]。系统性综述表明，这种概念上的丰富性并未转化为方法论共识：Rodrigo-Ginés等人识别出17种媒体偏见形式和18个可用数据集，结论是自动检测仍处于起步阶段，准确性和稳健性有限[2]。Castillo-Campos等人同样发现，2019年至2023年间28项同行评审研究在偏见定义上存在显著异质性，问题定义、结果测量和比较评估均不一致[9]。因此，早期的计算工作确立了相关概念和对可扩展测量的需求，但并未建立共享的操作化方案。
在建模前沿，监督式方法提供了一条路径。BABE引入了3，700条经专家标注的句子，带有词级和句级偏见标签，基于该数据微调的BERT模型达到了0.804的宏F1值[8]。Chen等人表明，当模型利用关于偏见句子频率和位置的二阶信息而非仅依赖词汇特征时，文章级偏见检测效果会有所提升[10]。Eisele等人将主题建模、关键词辅助主题建模和监督式机器学习与人工编码的金标准进行了比较，覆盖了12家奥地利报纸11年的数据，发现监督式机器学习表现更优，而半监督的keyATM方法似乎不适合框架分析[7]。这些研究界定了此前的前沿：高质量但领域特定的监督式模型，而框架分析在方法论上仍存在争议。
媒体偏见检测器的贡献：规模、粒度与近实时标注
媒体偏见检测器将大语言模型与近实时抓取相结合，每天从数百篇文章中提取结构化标注，涵盖政治倾向、语气、主题、文章类型和重大事件，覆盖句子、文章和出版商三个层面[1]。其流水线每天对主页进行五次快照，根据位置、字体大小和图片有无识别出最突出的30篇文章，并对其中的前20篇进行标注发布。配套数据集涵盖10家知名出版商于2024年发布的超过14万篇文章，并于2025年5月新增了11家出版商[1]。这一设计优先关注在主页获得大量曝光的文章，从而能够分析编辑层面的突出呈现与省略，而非将所有网站内容一视同仁。
论文报告的验证结果支持该流程在多项任务上的可靠性。事件聚类取得了0.919的F1值，精确率为0.941，召回率为0.918，且模型与标注者在事件归属上的一致性在统计上与标注者间一致性无显著差异，Cohen's κ = 0.922 [1]。句子级焦点显示出较高的一致性（标注者间平均κ = 0.731，模型与标注者间为0.685），而句子类型和语气则显示出中等程度的一致性（κ约在0.45–0.60之间），在所有情况下模型与标注者间一致性和标注者间一致性在统计上均无显著差异[1]。作者将这一模式解读为反映了任务本身的固有难度，而非模型的缺陷，并认为随机误分类会在数百或数千篇文章中相互抵消[1]。
该框架的实质性结果展示了这一数据集能够支撑哪些分析。2024年，在所有发布者中，聚焦选举赛马的文章数量是所有政策议题文章总和的四倍以上[1]。在同一发布者内部，政治倾向因议题而异：《纽约时报》在环境议题上始终偏左，但在技术议题上立场相对中立，而福克斯新闻在这两个议题上都偏右[1]。《华尔街日报》在该样本中显得最为中立，作者将此部分归因于其聚焦商业与经济，并提醒这种中立性是相对于这一特定发布者集合而言的[1]。标题往往比相关文章正文更偏向共和党，且报道更多聚焦于对立党派，而非发布者自身所属阵营[1]。
竞争性与验证性证据如何界定该主张
Hoxha和Qirici构建了一个基于LLM的竞争性流水线，分析了来自GDELT的8，358篇阿尔巴尼亚语新闻文章，将文章按主题和事件分组，添加命名实体和情感标注，并通过人物提及、来源层面语气和事件层面报道模式对来源进行比较[4]。他们的结果显示，在情感和实体提取方面与GDELT的自动标注具有中等程度的一致性，并且他们发现更严格的情感验证规则消除了标签-分数不一致的问题，但增加了执行时间并降低了标注覆盖率[4]。这与Media Bias Detector的设计选择不同：Hoxha和Qirici优先考虑在低资源语言中实现更广泛的来源覆盖，并接受中等程度的一致性，而Media Bias Detector则优先考虑对少数主要出版商的重要文章进行高精度抓取[1][4]。两种方法没有严格的优劣之分；它们针对不同的研究问题进行优化，并在覆盖范围与精度之间进行权衡。
来自Wang等人的验证证据测试了LLM在人机协作新闻偏见标注中的表现。在使用全文文章时，GPT-4的最高准确率达到68%，F1为0.69，而经过微调的BERT模型达到72%的准确率，F1为0.64；在较短内容上，GPT的准确率为42% [5]。该研究还发现，参与者的判断受到GPT解释的影响，既有正确的决策改变，也有错误的决策改变，并且LLM生成的解释可能反映潜在的偏见，而非中立的解读 [5]。这对Media Bias Detector而言意义重大，因为它使用零样本LLM标注而不进行微调，并依赖人在回路中的验证，而非详尽的人工标注 [1]。Wang等人的结果表明，LLM标注对于聚合模式是有用的，但不应被视为单篇文章的基准真相，尤其是在语气和类型等主观维度上。
Pastorino等人针对框架检测给出了最为直接的警示。他们在GVFC枪支暴力框架数据集上评估了GPT-3.5、GPT-4、FLAN-T5和Llama 3在零样本、少样本和基于解释的提示下的表现，发现模型性能对提示设计高度敏感，且容易出现系统性错误，包括将情感化语言与框架混为一谈[3]。在134条经人工审核的争议性标题上，GPT-4的F1降至3.60，跨模型共识往往反映的是与现有标注的分歧，而非单纯的模型错误[3]。Media Bias Detector与框架相关的标签（如语气和政治倾向）经验证具有中等程度的一致性，作者也承认某些任务的一致性系统性地低于其他任务[1]。Pastorino等人的发现表明，Media Bias Detector的框架测量在聚合层面上比单篇文章更为可靠，而提示敏感性仍是一个尚未解决的脆弱环节。
数据集无法支持的方面：出版商覆盖范围、时间范围和因果推断
媒体偏见检测器的证据边界在论文中有明确说明。数据收集在2024年初始版本中覆盖了10家出版商，2025年5月又新增了11家，时间范围从2024年1月开始[1]。作者指出，这并未提供对所有在线新闻的穷尽覆盖，地方和在线来源被遗漏，未进入前20或仅短暂出现的文章可能会被错过[1]。付费墙和失效链接也造成了额外的缺口[1]。因此，该数据集无法代表所有新闻媒体，出版商层面的平均值仅针对此样本；作者自己也指出，将《华尔街日报》描述为最中立是相对于这一特定集合而言的，很可能无法推广[1]。
标注流程还存在其他局限。作者使用的是专有的GPT-4o和GPT-4o-mini模型，未与其他模型系列（如Claude、Gemini或Grok）进行比较，也未对任何模型进行微调[1]。他们承认，专有模型可能变得不可用，届时需要切换模型，从而影响数据一致性，并且未来的模型可能需要对过往数据重新标注[1]。零样本提示方法意味着该流程无法受益于少样本或基于解释的改进——Pastorino等人发现这些改进在某些情境下可以提升性能[3]。不同标注任务之间的一致性差异相当大，文章类型、句子语气和句子焦点的一致性系统性地低于事件聚类[1]。
最重要的是，该框架识别的是相关关系和模式，而非因果关系。论文指出，中立性并不意味着没有偏见，因为在规范性意义上评估偏见需要了解一种不可观察的基准真相，而该真相可能偏向某一方[1]。党派媒体更多关注反对党的发现，在方向上与先前的假设一致，但并不能排除为本方摇旗呐喊的可能，因为关注度指标将正面提及和负面提及混为一谈[1]。赛马式报道与政策报道之间的失衡是一种描述性模式，并不能证明赛马式报道导致了任何特定结果。Rees和Twedt关于盈利公告的研究表明，媒体偏见可以影响市场结果，如价格反应、交易量和波动性[6]，但那是不同的领域和设计；媒体偏见检测器并不测量受众效应或因果影响。该数据集支持对其报道范围内选择模式和框架模式进行描述性和相关性研究，作者将其定位为未来研究的资源，而非因果识别策略[1]。
框架的适用范围与尚待解决的问题
媒体偏见检测器是对PeakMetrics、GDELT和Media Cloud等现有大规模新闻数据集的补充，而非替代。这些数据集提供了更大规模的语料，但对整个网站的内容一视同仁，且存在数据缺失和质量问题[1]。其独特贡献在于以高可靠性捕捉首页显著报道，从而支持对编辑显著性和省略行为的研究，并生成句子级和文章级的细粒度标签，这是早期数据集通常所缺乏的[1]。与BABE由专家标注的3，700个句子[8]以及Eisele等人对12家报纸进行的监督式框架分析[7]相比，媒体偏见检测器以标注深度换取了规模和时效性。与Hoxha和Qirici的阿尔巴尼亚语流水线[4]相比，它以来源广度换取了精确性和出版商显著性。在方法论版图中，这些定位互为补充，而该领域在偏见定义和评估指标上仍缺乏共识[2][9]。
若干问题仍悬而未决。第一，鉴于在语气和类型上仅存在中等程度的一致性[1]，以及Pastorino等人发现框架检测在有争议的案例上会失效[3]，框架相关标签在单篇文章层面的可靠性尚不确定。第二，出版商层面倾向估计的可推广性在超出这10家出版商的样本范围后尚不可知，且作者指出中立性主张本质上是相对的[1]。第三，该流程对专有模型的依赖引发了可复现性问题，作者对此予以承认[1]，而Wang等人表明，大语言模型的解释可能以传播模型偏见的方式影响人类判断[5]。第四，该框架不测量受众接触、消费或效果，因此无法回答所观察到的选择与框架模式是否会改变读者的想法或行为。媒体偏见检测器拓展了在大规模层面上可测量的新闻生产内容；它并未解决该领域关于偏见定义、规范性基准真相或因果影响的更深层问题。
关于这些来源
本研究页面基于10项研究（8项同行评审，2项预印本）——发表于2021年至2026年，其中5项发表于2024年及以后，4项发表于Q1期刊，合计被引用161次——这些研究是从通过质量筛选的13项研究中选出的最相关研究，而这13项研究又从超过5亿篇文献的数据库中检索到的137篇论文中筛选而来。
本文引用的文献
媒体偏见检测器：一个用于标注和分析新闻的框架
媒体偏见检测器引入了一个基于大语言模型的可扩展框架，能够在句子、文章和出版商层面近实时地标注政治倾向、语气、主题、文章类型和事件，并于2024年发布了来自10家出版商的超过14万篇文章，展示了诸如赛马报道主导政策报道以及政治倾向随主题变化等模式[1]。
媒体偏见检测的系统综述：什么是媒体偏见，它如何表达，以及如何检测它
Rodrigo-Ginés等人的系统综述识别了17种媒体偏见形式和18个数据集，结论是自动媒体偏见检测仍处于起步阶段，准确性和稳健性有限，且该领域在偏见定义和评估方面缺乏共识[2]。
解码新闻叙事：大语言模型在框架检测中的批判性分析
Pastorino等人系统评估了GPT-3.5、GPT-4、FLAN-T5和Llama 3在框架检测上的表现，发现模型对提示设计高度敏感，系统性地将情感语言与框架混为一谈，并且在有争议的新闻标题上性能崩溃，GPT-4的F1值降至3.60 [3]。
从实体提及到语气：一种基于大语言模型的媒体偏见分析流程
Hoxha和Qirici提出了一种基于LLM的竞争性媒体偏见分析流程，应用于8,358篇阿尔巴尼亚新闻文章，比较了来源层面的语气、人物提及和事件报道模式，并发现与GDELT标注具有中等程度的一致性，以及在更严格的验证规则与标注覆盖率之间存在权衡[4]。
“解释说得通”：关于LLM在新闻分类中的表现及其对人机协作标注中判断影响的实证研究
Wang等人实证研究了LLM在新闻分类和人类—AI协作标注中的表现，发现GPT-4在全文偏见分类上达到了高达68%的准确率，并且GPT的解释会在正确和错误两个方向上影响人类判断[5]。
媒体对企业财报公告报道中的政治偏见
Rees和Twedt考察了媒体对企业盈利公告报道中的政治偏见，发现当媒体的政治倾向与企业的意识形态不一致时，媒体会对报道进行负面倾斜，而这种倾斜报道会影响市场结果，包括价格反应、交易量和波动性[6]。
捕捉新闻框架——比较不同监督程度的机器学习框架分析方法
Eisele等人将主题建模、关键词辅助主题建模和监督机器学习用于框架分析，并以人工编码的金标准为基准，在12份奥地利报纸跨越11年的数据上进行比较，发现监督机器学习表现更优，而keyATM不适合框架分析[7]。
使用远程监督与BABE进行神经媒体偏见检测——由专家标注的偏见
Spinde等人介绍了BABE，一个包含3，700个经专家标注的句子的数据集，带有词级和句级的媒体偏见标签，以及一个基于BERT的模型，该模型在远程监督下进行微调，在偏见诱导句检测任务上达到了0.804的宏F1值[8]。
使用人工智能和自然语言处理自动检测媒体偏见：一项系统综述
Castillo-Campos等人系统综述了2019年至2023年间28篇同行评审文章中利用自然语言处理进行的自动化媒体偏见检测，发现偏见定义存在显著异质性，问题定义、结果测量和比较评估也不一致[10]。
使用高斯偏置分布检测新闻文章中的媒体偏见
Chen等人表明，当模型在高斯混合模型中使用关于偏置句子频率和位置的二阶信息时，文章级媒体偏见检测会得到改善，其中频率和位置对文章级偏见有强烈影响，而顺序排列则是次要的[12]。