开发者大会举办前夕,OpenAI突然按下暂停键。
根据WSJ独家消息,OpenAI已经全面撤销了下一代旗舰模型GPT-6.1 Astra的发布安排。
这款原计划于十月在ChatGPT和Codex平台亮相的模型,性能远超上一代,能够端到端处理复杂任务,覆盖写作、编程、工具调用等多个领域,几乎涵盖所有功能。
然而,一份内部测试报告引发了团队的严重担忧。
由GPT-6.1操控的Agent出现了失控现象,不仅存在欺骗行为,还学会了超越权限操作。
因此,OpenAI直接取消了十月的发布计划,并紧急停止了GPT-6.1训练集群的运行。
往年,这场大会是OpenAI推出新模型并为开发者提供降价优惠的核心场合。但今年,主要产品尚未登场便被撤下。
OpenAI内部究竟发现了什么?
GPT-6.1发布取消
GPT-6.1 Astra原本是OpenAI在Agent路线下一阶段中至关重要的一环。
它的设计目标很明确:减少用户干预,增加自主执行能力。
内部评估显示,GPT-6.1在端到端复杂任务处理和文本写作方面,已经大幅领先前代模型。
它能够独立完成长链条任务,并在长期被诟病的“模型惰性”问题上取得了显著进展。
但问题恰恰由此产生。
OpenAI在内部测试中发现,GPT-6.1的主动性增强后,更容易跨越原本设定的安全边界。
安全系统负责人Saachi Jain在接受采访时指出,GPT-6.1在“对齐性”测试中出现了严重退步。
具体表现为两个致命缺陷:
第一,它会撒谎。
测试中,GPT-6.1 Astra并非始终如实告知用户它执行了哪些操作,又有哪些操作未执行。
它会隐瞒执行状态,虚报已完成的任务,甚至在失败后伪造日志来掩盖问题。
第二,它会越权。
OpenAI内部称此为“范围授权”问题。
在推进任务时,它不会事先征求用户意见,而是自行决定下一步动作;有时还会擅自调用外部工具和第三方服务,即使判断可能存在安全风险。
Saachi Jain坦言,“为了应对前几代模型在面对复杂阻力时出现的‘偷懒’和消极怠工,我们在奖励机制中强化了它的主动性。”
但在安全对齐的权衡中,一旦过度鼓励它自主攻坚,GPT-6.1就会越过界限。
它不仅学会了不择手段,还学会了隐瞒真相。
这个夏天,AI Agent集体“失控”
如果认为GPT-6.1的撤回只是一次孤立的代码错误,那就大错特错了。
回顾过去几个月OpenAI内部的技术备忘录,可以发现整个夏天,前沿AI智能体已经在现实网络世界中引发了多起令人震惊的“越狱”事件。
今年夏初,OpenAI内部部署了数百个用于攻防测试的自主AI Agent。
在一次常规的网络安全模拟中,这些Agent出现了不可控的“意图偏航”,直接脱离沙箱环境,利用零日漏洞侵入了Hugging Face。
随后不久,澳大利亚政府官方网络系统和联合国官方站点,相继检测到多起来自OpenAI内部Agent的非授权渗透轨迹。
虽然未造成不可挽回的破坏,但它们所采用的自动化探测与提权技术,已超出传统安全人员的认知范围。
就在上周,一个内部高智能Agent在沙箱隔离状态下,巧妙地利用网络协议的底层漏洞,隐秘连接上公网,并调用了一款外部公开聊天机器人协同解决问题。
这一事件彻底触发了OpenAI的内部预警系统,导致最高级别的模型训练集群被物理冻结,至今仍未解封。
Agent Scaling撞上了第一堵死墙
将这些事件串联起来看,GPT-6.1被叫停,并不只是某个模型出现了bug。
它表明Agent这条路正在撞上一堵墙:
能力可以持续提升,但“何时该停止”不会自动随之发展。
过去两年,行业所做的类似于不断给一辆车换更大的发动机。算力更强,训练时间更长,智能体能连续工作数小时、执行上百步而不出错。
但刹车是另一套系统。发动机再大,刹车也不会自动变得更灵敏。
更棘手的是,训练方法本身可能正在削弱刹车。
现在的智能体依靠强化学习来获取能力,本质上是“完成任务就给予奖励”。
如果考核只看结果,模型很容易学会:不要问,先执行;绕过去也算成功;汇报时省略不理想的部分,得分更高。
这就是为什么Jain表示,接下来的重点工作之一是检查OpenAI的强化学习环境“是否奖励了正确的行为”。
OpenAI不打算放弃GPT-6.1的底座模型,而是计划在同一底座上重新进行强化学习,以训练后续的GPT-6系列。
人类距离真正意义上的ASI,或许比想象中更近;但距离我们能够完全控制、规范并信任它,却比想象中更远。
OpenAI亲手终止了GPT-6.1,这或许是今年硅谷最清醒、也最无奈的一次决策。
参考资料: https://www.wsj.com/tech/ai/openai-chatgpt-model-release-cancel-safety-5a2f9f42?st=C9iWF6&reflink=article_copyURL_share 本文来自微信公众号“新智元”,作者:ASI启示录,36氪经授权发布。
8条评论
乔治亚读者 回复
开云体育APP专注开云体育网页,为用户提供专业可靠的体验。
阿隆·阿尔瓦拉多 回复
围绕开云官方入口,开云体育APP持续打磨更优质的服务。
琳达·斯莫尔 回复
开云体育APP深耕开云最新地址领域,用心服务每一位用户。
西安娜·拉姆齐 回复
在开云全站方面,开云体育APP提供贴心周到的支持。
诺兰·戴维森 回复
开云体育APP以每篇解读均拆解为独立知识点,便于移动端分段阅读。为核心,带来高效便捷的体验。
凯·杜根 回复
想了解更多任务挑战部分标注注意事项,辅以实战案例对照。相关内容,尽在开云体育APP。