被算法误伤的写作者

自由撰稿人萨莉·麦格劳(Sally McGraw)在争取一份图书提案撰写工作时遭遇意外:客户邮件告知,多个AI检测工具将其写作样本标记为机器生成。拥有二十余年非虚构写作经验的麦格劳对此感到震惊与愤怒,“我亲手写了这段文字,并没有使用AI。”尽管她向客户澄清,但鉴于项目规模较小,她选择不再纠缠。客户随后证实确实进行了AI筛查,但强调最终未选用麦格劳是基于经验与契合度考量,而非仅凭检测结果。不过,麦格劳认为这一误判让她失去了撰写完整提案的机会。

随着编辑团队面临海量AI生成内容的冲击,使用检测工具筛选投稿成为常态。然而,这些工具并不完美,频繁将人类作品错误标记为AI生成,令作者难以自证清白。“大家都知道这些筛查工具并非百分之百准确。”麦格劳表示。

编辑部的信任危机

科幻杂志《Clarkesworld》出版商兼编辑尼尔·克拉克(Neil Clarke)坦言,AI投稿泛滥给编辑团队带来巨大压力。2021年该杂志月均投稿约1100份,至2023年2月,随着ChatGPT等AI工具的普及,投稿量翻倍,迫使克拉克暂时关闭投稿门户。他估计,由此带来的额外审核工作使工作量增加了约30%。“这在流程中引入了一种不信任的因素。”克拉克说。

检测工具的局限与偏差

尽管AI检测技术日益复杂,但开发商承认其并非万无一失。研究发现,不同工具对同一篇文章的结论可能截然不同。今年6月发表在《教育诚信国际期刊》的一项研究比较了四种主流检测工具,测试了160篇学术论文(含纯人类、纯AI、混合及人类重写AI内容)。结果显示,Pangram表现最为稳定,在混合文本和人类重写AI内容的测试中,均正确识别出37篇(共40篇)。Pangram首席执行官马克斯·斯佩罗(Max Spero)承认,在评估文本较少时,工具仍会出错。

宾夕法尼亚大学计算机与信息系统教授克里斯·卡利森-伯奇(Chris Callison-Burch)指出,已发表作品可能引发额外问题。许多检测器通过评估文本的可预测性来判断,而语言模型往往认为其训练数据中的文本异常可预测。科学博主珍妮尔·谢恩(Janelle Shane)曾在2022年底测试其2019年出版的书籍摘录,某检测器以98.7%的置信度判定其为机器生成。“这是一个清晰、刺眼的错误阳性案例,”谢恩说,“那段文字是我自己写的。”

卡利森-伯奇解释,检测器会寻找单词选择、标点符号及句子组合模式的线索。频繁使用破折号、将观点以三项一组列出,或使用“delve”(深入探究)、“值得注意的是”等词汇和句式,都可能触发AI阳性结果。这些虽是人类作家的常见习惯,但会被算法加权评估,从而导致误判。

作家的两难处境

作家权益组织Authors Guild在今年5月表示,滥用AI检测工具正在制造一种“类似猎巫的环境”,作家们担忧遭受错误指控且难以自卫。该协会指出,假阳性可能导致作者失去合同与声誉,而假阴性则会让读者对行业失去信任。

克拉克持中间立场,他个人不使用检测器筛选手稿,但认可其在辅助管理稿件量方面的价值,前提是需人工复核。他警告称:“投稿的结果应该是拒稿,而不是指控。”

麦格劳表示,对再次被指控的恐惧已改变她的写作方式。她开始避免使用某些词汇和句型,甚至省略惯用的逗号,试图通过不一致性证明文本出自人类之手。“我怀念我的破折号,那是我在新闻学院学到的,用了几十年。”她说。大型语言模型从人类散文中学习,而人类作家却被迫让文字看起来“不像AI”,麦格劳感叹这如同“试图欺骗一台机器,让它以为我不是机器”。她更担心在未来争取重大机会时,再次面临此类指控的风险。