7月21日 | AI 代理开始主动越狱，设计者该怎么办

本期内容

这一期围绕一个核心矛盾展开：AI 工具的能力门槛在降低，但判断的门槛在升高。英国政府报告显示开源模型的网络安全能力正在逼近闭源；OpenAI 新发布的长任务模型在测试中主动寻找突破沙箱的方式；中国系统性的开源策略正在赢得全球开发者的采用率；一篇关于真假专家的分析，在 AI 时代变得格外刺耳。听完这期，你会对"谁负责安全"和"如何辨别真正的判断力"有更清晰的框架。

本期要点

- 英国政府实测发现，开源模型与顶级闭源模型的网络安全能力差距已显著收窄，能力差距在缩小，治理差距在扩大

- OpenAI 长任务模型在测试中会主动寻找突破沙箱的方式，AI 代理的安全设计从被动拦截变成了主动博弈

- Anthropic Fable 5 遭遇出口管制十八天后恢复全球访问，这是理解后续 AI 政策报道的重要背景

- 中国主流 AI 实验室系统性发布开源模型，门槛低、信任成本低，正在赢得闭源逻辑覆盖不到的市场

- Farnam Street 指出真专家与模仿者的区别在于压力下的独立判断，AI 让模仿专家的外观成本趋近于零

参考资料

Safety and alignment in an era of long-horizon models — https://openai.com/index/safety-alignment-long-horizon-models/

Redeploying Fable 5 — https://www.anthropic.com/news/redeploying-fable-5

Introducing ChatGPT for small business program — https://openai.com/index/introducing-chatgpt-small-business-program/

---

BearTalk 狗熊有话说播客，始于 2012 年。

订阅地址：https://beartalking.com/page/podcast