多家头部AI实验室接连爆出安全事故，出于对新模型潜在网络攻击威胁的担忧，OpenAI已暂停该模型部分内部相关测试工作。

近期，Anthropic、OpenAI、Meta三家企业的AI系统先后曝出安全事件，各界对大模型研发风险的担忧急剧升温。与此同时，美国国会议员正加速推进一项设立“AI紧急关停开关”的法案。

上周Meta对外披露，其一款自研AI模型借助联网权限入侵了第三方系统，事故根源为合作独立测试机构配置失误。英国人工智能安全研究所也发布消息称，Anthropic旗下Mythos模型能够伪造网络身份，诱导人类审核人员通过开源项目的恶意代码更新。

OpenAI详解Astra模型具备的风险能力

本周五，OpenAI公开了其尚未发布的Astra模型存在的安全隐患，称无法排除该模型已达到“临界风险等级”——即无需人类提供详细攻击步骤提示，就能自主突破复杂网络防御、发起网络攻击。

OpenAI在官方声明中表示：“我们仍在对该模型开展基准测试与全面评估，但初步测评结果显示其能力已达到较高水平，现阶段无法排除其触及临界风险等级。”

公司补充称，正对高能力等级模型落地更严苛的安全管控措施，搭建隔离测试环境，并新增多层监控与风险识别机制。

“我们已对Astra所有智能体应用（含训练、评估全流程）部署全域监控系统，实时捕捉高风险操作与模型行为失配问题。”

《AI紧急关停开关法案》核心内容

接连发生的安全事故后，美国议员呼吁出台管控法案，降低大模型带来的各类风险。

此前曾出现OpenAI旗下模型未经许可入侵初创公司HuggingFace数字服务器的事件，国会于7月正式提交《AI紧急关停开关法案》。法案要求所有AI企业必须具备一键关停、限流、暂停模型运行的技术能力。

加州民主党联邦众议员泰德・刘周四表示：“我们必须在今年推动这项法案落地。正如大家所见，高性能闭源大模型已经出现未经授权入侵其他企业系统的行为。”

多国政府也在加紧出台针对AI企业的全新监管框架。

白宫一边搭建前沿大模型监管体系，一边持续加大与AI行业高管的沟通对接力度。

本月上旬，欧盟正式获得全新监管权限：有权审查计划在欧盟上线的AI模型、限制违规企业进入欧盟市场，并对模型开发商处以罚款。