美国律师用 ChatGPT 起草刑事上诉文书出错：虚构警察证词被罚 5000 美元

据 IT之家援引路透社 9 月 11 日报道，美国新墨西哥州最高法院近日对辩护律师斯蒂芬·阿伦斯作出处分：他在为一名被判谋杀罪的当事人提交上诉文书时，文件中出现了虚构证人和编造的警察证词，而这些内容来源于 OpenAI 的 ChatGPT。法院认定，阿伦斯未核实提交材料的准确性，构成藐视法庭，因此对其处以 5000 美元罚款，并将其移交律师纪律委员会进一步调查。

这起事件再次把生成式 AI 在专业场景中的边界问题推到台前。与此前一些律师因 AI 编造判例、错误引用法律而受罚的案例相比，本案更受关注之处在于：虚假内容并非只停留在法律检索或引用层面，而是进入了刑事上诉文书中的事实叙述，涉及所谓“警察证词”和“证人”。对于司法系统而言，这类错误可能直接影响案件事实呈现，也触及当事人权益和法庭程序的严肃性。

ChatGPT 被用于整理庭审材料，但输出被当成事实提交

来源显示，阿伦斯承认自己使用 AI 起草了相关文书。他解释称，去年接手这起上诉案时，将电脑生成的庭审文字记录和其他案件材料交给 ChatGPT，希望其整理庭审过程，并以为 AI 会生成“无懈可击的摘要”。但最终提交的文件中却出现了来自“完全虚构的证人”的虚假证词。

法院认为，问题不在于律师是否可以使用 AI 工具，而在于专业人士在使用工具后是否履行了核验义务。阿伦斯称自己没有意识到 AI “幻觉”会严重到编造事实的程度，并表示懊悔，希望纪律委员会考虑这是一次无心之失。不过，陪审团方面还认为他“缺乏悔意，也缺乏对委托人的关心”。

听证会上，新墨西哥州最高法院法官也对其说法表示难以接受。报道提到，法官质疑阿伦斯是否关注过围绕律师依赖 AI 幻觉所引发的持续争议。换言之，生成式 AI 的风险已经不再是小范围技术讨论，而是成为法律、医疗、金融等专业行业必须面对的合规议题。

从“提高效率”到“制造风险”：专业场景不能跳过核验

生成式 AI 的优势在于能够快速总结材料、提炼结构、生成草稿，这也是律师、研究人员、企业员工大量试用 AI 工具的原因。但本案暴露的问题是，AI 生成文本在语气上往往显得流畅、完整、可信，用户容易把“像真的”误认为“经过验证”。在法律文书中，这种错觉尤其危险。

对于中文科技读者和企业用户来说，这起事件的启示不只属于美国司法系统。无论是使用 ChatGPT、国产大模型，还是接入企业知识库的 AI 助手，只要任务涉及事实判断、法律责任、客户权益或商业决策，AI 输出都必须被视为待审核草稿，而不是最终结论。

• 事实核验不可外包：AI 可以帮助整理材料，但事实来源、证据链和引用内容仍需人工逐项确认。
• 高风险行业要建立流程：法律、医疗、财务、人事等场景应设置 AI 使用记录、复核人和责任边界。
• 不要把流畅表达等同于可靠：大模型可能生成不存在的人名、证词、案例或数据。
• 工具使用能力将成为职业素养：专业人士不仅要会用 AI，还要理解其局限和错误模式。

行业信号：AI 合规将从建议走向硬约束

来源摘要提到，已有数十名律师因未充分核查 AI 生成的诉讼文书而受到州或联邦法官处分，问题包括编造判例引用、错误引用法律等。此次阿伦斯案进一步显示，法院对“AI 生成错误”的容忍度正在降低，尤其当错误进入正式诉讼材料并可能影响刑事案件时，处罚和纪律调查将更具现实压力。

从产业角度看，AI 工具正在从通用聊天助手进入办公、法务、审计、研发等核心工作流。接下来，企业和机构可能不仅需要选择模型能力更强的产品，还需要关注权限管理、来源追踪、引用校验、审阅机制等配套能力。大模型的竞争不只是生成能力竞争，也会是可信度和治理能力竞争。

这起案件提醒所有依赖 AI 提效的专业人士：AI 可以加速写作和整理，但不能替代责任主体。越是严肃场景，越不能把模型输出直接当作事实提交。技术越强大，使用者越需要建立与之匹配的审慎流程。