深度学习模型在AI率识别中的应用

发布:更新:

介绍 RoBERTa、DeBERTa 作为文本分类基础的方式,区分预训练、检测评估与改写任务,说明风险评分、误报漏报及跨领域使用的边界。

从文本编码器到检测分类器

RoBERTa 与 DeBERTa 是预训练语言模型架构,可以作为下游文本分类系统的基础。使用这些架构并不意味着模型天然具备 AI 文本检测能力:还需要确定标签、准备样本、训练分类器,并在独立数据上评估。

在 AIGC Detector 中,AI 率是模型对文本 AI 生成风险的评分,不是 AI 生成字数占比,也不能未经校准解释为文本由 AI 生成的真实概率。本文介绍通用技术路线,不声明本产品采用下述具体架构,也不提供未经实测的准确率。

RoBERTa:预训练方式与下游分类

RoBERTa 的研究重新评估 BERT 的预训练设计,说明训练配置与数据规模会影响下游表现。其论文结果针对所列自然语言处理基准,不能直接作为 AI 文本检测效果的证据。

用于检测时,一种实现方式是以编码器提取文本表示,再训练分类层区分标注样本。训练集中的生成模型、领域、语种、文本长度及人工编辑方式都会影响评估范围;需要另行验证新分布上的误报与漏报。

DeBERTa:内容与位置的建模

DeBERTa 论文提出解耦注意力,将词的内容与位置信息分开表示;增强的掩码解码器用于预训练时的掩码词预测。这些设计改善了论文所评估任务上的表现,但不证明任意 DeBERTa 分类器都能可靠识别 AI 文本。

模型名称不能证明中文、多语言、跨领域或人工润色后的检测能力,也不能据此判断优于另一架构。比较必须使用相同的任务定义、数据划分和评估条件。

如何核验检测系统的能力

  • 明确样本来源、标签规则、领域、语种和生成模型;区分完全生成、人工编辑及混合写作。
  • 隔离训练与评估数据,避免重复文本或同源改写造成评估泄漏。
  • 同时报告误报与漏报,并说明阈值、样本量和测试条件;不能只展示一个准确率数字。
  • 对训练范围之外的输入单独验证,不将某个公开基准成绩直接推广到产品用户。

这些是评估时应核对的条件,不是本产品已经完成相应实测的声明。

分类、定位与改写的边界

分类评分、段落定位和文本改写是不同任务。注意力权重本身不能证明某些文字由 AI 生成,分类器也不会因为采用某个编码器便自动获得改写能力。修改文本后评分可能变化,但不能保证下降,也不能把低分当作原创性证明。

实际使用时,应结合正文、引用、草稿和写作记录人工复核。可进入检测工作台查看风险评分,并阅读使用指南了解操作与适用边界。

了解检测结果后,可进入工作台粘贴或上传正文,结合报告人工复核。

开始检测

参考来源