从文本编码器到检测分类器
RoBERTa 与 DeBERTa 是预训练语言模型架构,可以作为下游文本分类系统的基础。使用这些架构并不意味着模型天然具备 AI 文本检测能力:还需要确定标签、准备样本、训练分类器,并在独立数据上评估。
在 AIGC Detector 中,AI 率是模型对文本 AI 生成风险的评分,不是 AI 生成字数占比,也不能未经校准解释为文本由 AI 生成的真实概率。本文介绍通用技术路线,不声明本产品采用下述具体架构,也不提供未经实测的准确率。
RoBERTa:预训练方式与下游分类
RoBERTa 的研究重新评估 BERT 的预训练设计,说明训练配置与数据规模会影响下游表现。其论文结果针对所列自然语言处理基准,不能直接作为 AI 文本检测效果的证据。
用于检测时,一种实现方式是以编码器提取文本表示,再训练分类层区分标注样本。训练集中的生成模型、领域、语种、文本长度及人工编辑方式都会影响评估范围;需要另行验证新分布上的误报与漏报。
DeBERTa:内容与位置的建模
DeBERTa 论文提出解耦注意力,将词的内容与位置信息分开表示;增强的掩码解码器用于预训练时的掩码词预测。这些设计改善了论文所评估任务上的表现,但不证明任意 DeBERTa 分类器都能可靠识别 AI 文本。
模型名称不能证明中文、多语言、跨领域或人工润色后的检测能力,也不能据此判断优于另一架构。比较必须使用相同的任务定义、数据划分和评估条件。
如何核验检测系统的能力
- 明确样本来源、标签规则、领域、语种和生成模型;区分完全生成、人工编辑及混合写作。
- 隔离训练与评估数据,避免重复文本或同源改写造成评估泄漏。
- 同时报告误报与漏报,并说明阈值、样本量和测试条件;不能只展示一个准确率数字。
- 对训练范围之外的输入单独验证,不将某个公开基准成绩直接推广到产品用户。
这些是评估时应核对的条件,不是本产品已经完成相应实测的声明。
分类、定位与改写的边界
分类评分、段落定位和文本改写是不同任务。注意力权重本身不能证明某些文字由 AI 生成,分类器也不会因为采用某个编码器便自动获得改写能力。修改文本后评分可能变化,但不能保证下降,也不能把低分当作原创性证明。