互联网资讯 / 人工智能 · 2024年3月4日

OpenAI成立新团队评估人工智能灾难风险

据外媒报道,美国人工智能研究公司宣布,将组建一个名为PRepaRedneSS的新团队,专注于评估和减轻与人工智能相关的“灾难性风险”。

OpenAI将组建新团队 以评估和减轻与人工智能相关的灾难性风险

该团队将由麻省理工学院可部署机器学习中心主任亚历山大·马德里领导,旨在跟踪、评估、预测和防范由人工智能引发的多类灾难性风险。

团队还将负责制定和维护风险知情发展政策,旨在补充和扩展公司现有的风险缓解工作,以确保新高性能系统在部署前后均保持安全和一致性。

该公司成立于2015年,由多位硅谷科技领袖联合创建,专注于人工智能技术的应用。

CEO萨姆·奥尔特曼是一位知名的人工智能风险警示者,常常对人工智能可能导致的人类灭绝表示担忧。

奥尔特曼曾警告人工智能可能引发灾难性事件。今年5月,他与其他知名研究人员发布声明,强调“减轻人工智能带来的灭绝性风险应成为全球优先事项”。

在今年9月,OpenAI宣布推出“红队网络”,邀请各领域的专家加入,以提升其人工智能模型的安全性。签约专家将通过评估和减轻模型风险,增强OpenAI人工智能系统的稳健性。