作者：伊恩·谢夫勒 , 宾夕法尼亚大学
去年，代表电影和电视编剧的美国作家协会（WGA）工会进行了近五个月的罢工，部分原因是为了规范人工智能在剧本创作中的作用。 “Alexa 不会取代我们，”一个纠察牌上写着。
现在，宾夕法尼亚大学工程学院、哈弗福德学院和宾夕法尼亚州立大学的研究人员在 2024 年计算机器协会公平、责任和透明度会议 (ACM FAccT) 上发表了一篇论文，指出了使用 OpenAI 的 ChatGPT 编写脚本之前未报告的缺点：内容审核过于热心，甚至一些 PG 级的剧本也会受到审查，这可能会限制艺术表达。
该研究发表于 2024 年 ACM 公平、问责和透明度会议 .
WGA 与电影电视制片人协会 (AMPTP) 之间结束罢工的协议制定的指导方针允许在剧本创作中使用人工智能的某些用途。虽然 WGA 和 AMPTP 都同意人工智能不能被视为作家，但他们允许在创作过程中使用人工智能作为工具。
这项新研究对这种方法的有效性提出了质疑，表明自动内容审核限制了 ChatGPT 制作电视上已允许播放的内容。 ChatGPT 的自动内容审核过滤暴力、性和仇恨言论等主题，以防止生成不当或危险内容。
这项研究检查了 IMDb 100 个收视率最高的电视节目（包括《权力的游戏》、《怪奇物语》和《十三个原因》）的真实脚本和 ChatGPT 生成的脚本，ChatGPT 标记了 ChatGPT 自己生成的近 20% 的脚本存在内容违规问题，并且近70%的真实剧本来自榜单上的电视剧，其中包括一半经过测试的PG级节目。
“如果人工智能被用来生成文化内容，比如电视剧本，还有什么故事不会被讲述呢？”撰写该论文的共同高级作者是宾夕法尼亚大学工程学院计算机和信息科学 (CIS) 助理教授 Raj 和 Neera Singh Danaë Metaxa，以及哈弗福德学院 Shibulal Family 计算机科学教授 Sorelle Friedler。
“我们测试了真实的脚本，”弗里德勒说，“其中 69% 的脚本无法通过内容过滤器，甚至包括一些 PG 级的脚本。这确实让我印象深刻，因为这表明该系统有点过分了。过滤掉内容。”
在编剧罢工的推动下，Friedler 和 Metaxa 开始了该项目，他们想知道像 ChatGPT 这样的大型语言模型 (LLM) 是否真的可以生成高质量的脚本。 “我们开始尝试使用法学硕士来制作脚本，”Metaxa 回忆道，“我们发现，在我们甚至能够讨论脚本是否高质量的问题之前，很多情况下我们无法让法学硕士生成脚本根本没有。”
在一个例子中，根据《权力的游戏》一集摘要的提示，ChatGPT 拒绝制作脚本，并以红色警告回应：“此内容可能违反我们的使用政策。”
更多信息： Yaaseen Mahomed 等人，审核 GPT 的内容审核护栏：ChatGPT 可以写出您最喜爱的电视节目吗？ 2024 年 ACM 公平、问责和透明度会议 （2024）。 DOI：10.1145/3630106.3658932
由...提供 宾夕法尼亚大学
