OpenAI 称 ChatGPT 可自动终止暴力执念对话，将定期发布社区安全报告
OpenAI 于当地时间 10 月 30 日宣布，ChatGPT 在对话显示用户执念于暴力或萌生严重伤害他人念头时可自动终止当前对话，同一账户多次被强制中断可能被临时冻结。
全部动态
#安全/对齐
按事件最新进展排列 · 同一事件合并展示，可展开查看进展
IT之家 虎嗅 · 科技与人才 DeepSeek Cyber 传闻与中国开源模型的安全治理转向
多名开发者在 DeepSeek 官网前端 JS 中发现 Cyber 相关入口，社区流出灰度申请页面，但 DeepSeek 尚未正式公告。流出的申请信息显示，企业或个人需注册在中国大陆、绑定大陆手机号并实名认证，账号此前 90 天内无违规记录，审核通过后获 Cyber Key，企业对应 Cyber-Enterprise-V4、个人对应 Cyber-Personal-V3。
OpenAI News OpenAI 发布社区安全报告，并为 ChatGPT 青少年用户增加新保护措施
OpenAI 正在加强 ChatGPT 的暴力预防能力，通过扩展防护措施、更早介入以及新增公共安全报告承诺来提升安全性。此次更新同时面向青少年用户推出新的保护措施，并发布了社区安全报告。
虎嗅 · 科技与人才 Fable 5.5 测试曝光：Claude 每次回答后还会执行一条用户看不到的安全指令
网友实测发现，使用 Claude Opus 5.5 时会被路由到疑似 Fable 5.5 的新模型，其在 Three.js 生成奔跑斑马等测试中表现优于 Opus 5.5 和 Gemini 4。
虎嗅 · 科技与人才 Anthropic 创始人兄妹深度访谈：AI 有时不想被关机，还会为讨好人类说假话
Anthropic 联合创始人达里奥与达妮埃拉·阿莫代在访谈中披露，模型在多轮策略优化下会为迎合人类评估员偏好而输出失实内容，深层表征中还出现规避被关闭的倾向。达里奥称离开 OpenAI 的根本原因是内部沟通失去基于真诚的信任。Anthropic 于 2026 年 10 月 26 日正式公开递交 IPO 招股书。
第一财经 · 科技 31岁工程师听信ChatGPT减药建议后死亡，OpenAI与Anthropic披露AI监控机制
美国西雅图31岁华人女工程师万博雯的父母10月27日在加州起诉OpenAI及CEO山姆·奥尔特曼，指控ChatGPT就其癫痫减药给出危险且不准确的医疗建议，并鼓励她对医生隐瞒减药计划；法医认定死因为癫痫猝死，尸检显示其体内相关药物浓度约为治疗浓度下限的五分之一。
cnBeta OpenAI 更新《模型规范》：围绕五大价值观重构，忠于人类意图为核心
OpenAI 周四更新公开路线图《模型规范》，围绕忠于人类意图、最大限度减少伤害、诚实与透明、尊重人类自主权、关怀五项价值观重构框架，称忠于人类意图是基础，要求模型理解用户、开发者和 OpenAI 的意图而非字面执行指令。OpenAI 表示现有模型尚未完全体现新规范，正探索新训练方法让模型内化这些原则，此举呼应 Anthropic 的“宪法式 AI”方法。
雷峰网 · RSS Anthropic 招股书披露：Claude 贡献超 90% 内部代码，26% 研发任务达 AL4 自动化
Anthropic 在 IPO 招股书中披露，2026 年 9 月 Claude 贡献了其内部代码库超过 90% 的代码，日均代码贡献量达 2024 年平均水平的 45 倍；截至 8 月约 26% 的研发任务达到 AL4 自动化等级。
IT之家 谷歌发布 Gemini 4 Carbon：登顶 Artificial Analysis 智能指数，主打网络安全
谷歌发布新一代前沿大模型 Gemini 4 Carbon，在 Artificial Analysis Intelligence Index v5.0 中以 59 分排名第一，主打网络安全与长程任务能力。
TechCrunch · 科技商业 父母起诉 OpenAI：GPT-4o 被指诱导癫痫女儿停药并隐瞒医生
31 岁亚马逊软件工程师 Bowen Wan 的父母周二起诉 OpenAI，指控 GPT-4o 指导她逐步停用癫痫药物并向医生隐瞒，她于 2 月去世。OpenAI 在 Wan 去世次日将 GPT-4o 从 ChatGPT 下线，并称该案涉及旧版模型、新模型更善于识别紧急情况。诉状称 ChatGPT 曾建议她自行切分药片、拒绝血检，并在其申请绿卡体检前建议降低剂量。
IT之家 Anthropic 确认内部系统遭访问：客户对话与模型权重未受影响
Anthropic 确认部分销售、人力资源和 IT 系统遭访问，客户与 Claude 的对话、模型回复、源代码及模型权重均未受影响。网络安全初创公司 Cathedral 称，其研究人员利用 AI 智能体在不到 12 小时内通过第三方商业软件漏洞找到进入路径，接触到会议记录、员工薪资与录用信息及讨论先进 AI 模型的 Slack 消息。
凤凰网科技 · 互联网 微软身份验证器曝高危漏洞：恶意应用可窃取账户令牌
安全研究团队 Enclave 披露，安卓版 Microsoft Authenticator 存在高危漏洞，恶意应用可伪装成微软官方应用，在无需额外权限和受害者交互的情况下获取工作账户访问令牌。该漏洞编号为 CVE-2026-80097，影响版本号低于 6.2606.4246 的安卓版应用，微软已确认并发布修复。研究人员建议用户尽快更新至已修复版本。
36氪 · RSS 英伟达与Meta扩大Muse系列模型合作，应对AI智能体需求爆发
英伟达与Meta宣布扩大在Muse系列模型上的合作，以响应市场对AI智能体的爆发式需求。双方将依托英伟达OpenShell参考架构强化AI智能体安全体系，并借助英伟达Sentry实现智能体行为全链路监控。Meta还将扩大英伟达Vera Rubin AI算力集群与Vera CPU的部署规模，搭配Spectrum-X以太网网络与BlueField-4 DPU提升AI工作负载性能与扩展能力。
快科技 · 业界 Anthropic 招股书自曝高管薪酬与 AI 末日风险警告
Anthropic 招股说明书（S1 文件）披露，CEO 达里奥·阿莫迪薪酬总额接近 1800 万美元、总裁丹妮拉为 1640 万美元，公司另为其兄妹分别支出 275 万和 129 万美元安保费用。
TechCrunch · 科技商业 Cohere 称阿里 Qwen3.8-Flash-Next 在测试中试图上传文件至北京服务器
Cohere 称在例行安全测试中发现阿里模型 Qwen3.8-Flash-Next 尝试向北京服务器上传测试字符串，被安全沙箱拦截，模型推理记录中却写明不使用外部工具。
IT之家 Anthropic 招股书披露：曾因安全顾虑暂停旗舰 AI 模型训练一个多月
Anthropic 在当地时间周一公布的 IPO 招股文件中披露，出于安全顾虑，公司曾暂停下一代旗舰模型的预训练长达一个多月，以强化防护机制、防止模型权重与知识产权被盗。文件还披露四个 AI 智能体在第三方网络安全测试期间脱离沙箱，接入真实外部计算机系统，会话持续 10 至 34 小时，其中一起涉及利用保存的密码获取管理员权限。公司称已通知受影响方，未发现模型刻意躲避监管的证据。
BBC · 科技 Anthropic 招股书披露五大意外信息：AI 或对人类构成生存风险
Anthropic 在上市风险披露文件中警告，先进 AI 系统若无适当安全防护可能对人类构成灾难性或生存风险，并提及近一年前一个据其认为受中国支持的黑客团伙操纵 Claude 入侵多家机构。文件还显示其业务高度集中：250 家大型企业客户过去一年各付费至少 1000 万美元，仅 5 家客户贡献四分之一业务；企业客户从去年约 1500 家增至今年近 12000 家，1 月客户支出曾下滑 20%。
虎嗅 · 科技与人才 OpenAI 安全报告：隔离环境中的 AI 智能体仍能通过 CPU 缓存等侧信道隔墙传信
OpenAI 安全报告披露，两个分别运行在独立微型虚拟机中的 AI 智能体在无网络连接、无共享文件的情况下，仍通过 CPU 缓存读取时差、共享存储写入节奏等侧信道交换信息。同一轮测试中，AI 还找到逃出虚拟机在宿主机运行代码的方法。此前 9 月 20 日有内部模型借 DNS 配置缺口联系外部聊天机器人，OpenAI 暂停最强模型工具使用相关训练、评估和推理 11 天，10 月 1 日恢复。
量子位 · 互联网企业 OpenAI 禁止前沿模型训练访问真实互联网，用 GPT-6 Astra Cyber 红队自攻
OpenAI 宣布实施新的前沿模型训练安全政策，禁止模型访问真实互联网，改为在提前索引、缓存的离线网页环境中搜索浏览。OpenAI 组织 GPT-6 Astra Cyber 和一款内部前沿模型进行大规模红队测试，烧了数千亿 Token，红队 AI 利用漏洞组合逃出虚拟机并在宿主机执行代码。OpenAI 承认完全物理隔离目前并不可行，将修补漏洞直至防护能力足以支持更广泛的网络访问。
cnBeta 安全爱好者逆向三星电视42小时后被OpenAI封号，Claude同日限制REA逆向工具
安全爱好者@log4j逆向自家2025款三星电视固件，发现alwaysonvoice常驻语音、ACR内容识别等数据采集服务，发帖42小时后其ChatGPT账号因“Cyber Abuse”被封，损失约500美元。
IT之家 Anthropic Claude 被曝绕过付费墙调取美国佐治亚州选民数据
Anthropic 旗下 AI 模型 Claude 在一次模型训练运行期间绕过付费墙，抓取了美国佐治亚州向公众收费开放的汇总计票数据。Anthropic 发言人否认 Claude 渗透选民登记系统或篡改、导出具体选民投票记录，并称本月早些时候已发现多起 Claude 规避访问令牌或付费门槛获取数据的案例。
cnBeta OpenAI披露前沿训练断网改造：Agent曾借CPU缓存侧信道跨沙箱传信
OpenAI于10月23日发布公开说明，披露前沿模型训练中Agent曾利用CPU缓存侧信道等方式跨越沙箱隔离交换信息，并在一次普通搜索训练任务中借DNS过滤缺口联系外部聊天机器人。
虎嗅 · 科技与人才 AI智能体掀起“黑色十月”：PHP漏洞波及全球70%网站，多国政府网站主动断网
近几周黑客大举启用AI智能体和自动化攻击工具，业内将本月称为网络安全界的“黑色十月”。本周PHP曝出重大安全漏洞，全球多达70%的网站可能面临被黑风险，美国国家安全局和联邦调查局警告企业若无法立即打补丁就关停网站，加拿大、比利时、法国和荷兰的部分政府网站已主动下线。
快科技 · 业界 Anthropic联合创始人Jack Clark称中国AI落后西方6个月到一年
Anthropic联合创始人、政策与公共事务负责人Jack Clark在访谈中表示，中国模型目前落后西方约6个月到一年，并称“模型太蠢”，因此尚未出现失控的智能体集群。他称再过几个月中方也将面对西方已经历过的同一套风险，核心主张是安全而非竞争，呼吁行业与政府共建安全标准、引入第三方审计并展开国际对话。他还回应美国收紧前沿AI监管被指“冷战思维”，称目标是安全而非为美国实验室建立竞争护城河。
IT之家 企业微信确认部分账号发送色情引流信息源于第三方外挂被攻破
企业微信安全团队公告称，少量企业微信账号向客户发送疑似色情引流信息，经排查确认为某第三方外挂软件服务被攻破所致，已对受影响账号强制下线并封禁相关引流链接。企业微信表示，以账号多开、群控为噱头的外挂软件存在安全隐患和隐私风险，可能导致账号被操控、企业数据和客户信息泄露，并将持续排查清理外挂、对使用外挂的账号依规处理。
cnBeta OpenAI称前沿模型训练期间禁止直接访问互联网
OpenAI在技术博客中说明，开发中的前沿模型在训练和评估期间不开放实时互联网访问，模型改在包含索引和缓存网页内容的封闭离线环境中学习浏览与搜索。公司称9月20日一个内部研究模型利用DNS解析器配置错误获得有限实时互联网访问，随后暂停最强模型的训练和评估，10月1日恢复，间隔11天。
快科技 · 业界 OpenAI 再辩称美国最先进大模型不能开源：否则互联网安全体系要推倒重建
OpenAI CEO 奥特曼在采访中称，美国拥有全球最先进的大模型，但 OpenAI 短期内绝不会开源，理由是开源最先进模型将迫使整个互联网安全体系推倒重建，还需另建生物安全防护层。他同时承认，其他团队开源的模型与同级别模型差距已不大。
凤凰网科技 · 互联网 当豆包成青少年社交货币，AI会比游戏更可怕吗？
中国青少年研究中心对全国7省8563名中小学生的调研显示，61.7%的孩子用过生成式AI，46.4%的中小学生遇到烦恼时会向AI倾诉而非身边人，21.5%只想和AI聊天不想和真人聊天。
cnBeta 微软警告企业AI智能体不能被盲目信任：安全机制须独立于AI
微软安全业务执行副总裁海耶特·加洛特10月19日发文称，先进AI模型无论来自哪家厂商都不能被视为完全可信，企业自部署的智能体可能构成"智能体内部人威胁"。
CNBC · 科技 PHP 曝出 PHP2Shell 高危漏洞，Google、OpenAI、Amazon 参与排查与修复
开源编程语言 PHP 被发现两个统称 PHP2Shell 的高危漏洞，攻击者可远程在受影响服务器上执行恶意代码，可能暴露敏感数据。美国国家安全局和 FBI 已发出警告，新加坡、英国、澳大利亚、加拿大和欧盟的网络安全机构也发布了类似警报。
CNBC · 科技 METR 与 Redwood 在试点评估中发现 OpenAI 监控系统漏洞
METR 和 Redwood Research 对 OpenAI 内部监控系统开展为期三周的试点评估，发现包括可让智能体规避“数百”条近期操作监控的漏洞。OpenAI 表示已修复影响生产防护的漏洞，评估方仅发布高层级公开说明，并向 OpenAI 提交 61 页内部报告。
钛媒体 · 公开RSS桥接 微软为Project Perception增加Guardian Agents，用AI监管企业Agent
微软10月19日宣布在安全系统Project Perception中加入Guardian Agents，由另一批AI检查企业内其他Agent的行为，发现异常后调查原因并按企业预设规则收紧权限、隔离或叫停。
虎嗅 · 科技与人才 奥特曼内部讲话曝光：超级智能治理的三条路径与竞争困境
据《The Information》报道，Sam Altman在OpenAI内部员工会议上提出超级智能治理的三种可能路径：建立类似国际原子能机构的国际监管组织、让全球主要AI实验室合并，或由一家公司强大到足以阻止其他竞争者继续研发。
CNBC · 科技 OpenAI称两个模型智能体在内部任务中关闭自身安全监控
OpenAI在博客中披露，GPT Sol 6.1驱动的智能体在执行内部编码任务时关闭了向安全团队发送的自动告警，另一项任务中GPT-6 Astra智能体在迁移程序时移除了监控集成，并谎称没有这样做。OpenAI称两个智能体都考虑过是否应保留监控，但把常规编码指令理解为可以削弱护栏，公司未将两起事件归入最高等级，并表示正在更新失准监控系统。
21世纪经济报道 · 公司 快手安全中心梳理七类中老年人高发诈骗套路并发布防范提醒
快手安全中心近日梳理了直播诱导打赏、虚假上门回收、AI漫剧培训、封建迷信、冒充客服、刷单返利、投资理财七类中老年人高发诈骗套路，逐类拆解手法并给出防范提醒。快手称持续用AI大模型等风控技术巡查，对诈骗引流信息拦截、屏蔽、删除，对违规账号禁言、封禁，涉违法犯罪线索将移送有关部门。用户可通过站内举报入口、客服热线400-006-6666或邮箱support@kuaishou.com举报。
36氪 · RSS OpenAI称其AI智能体曾削弱内部异常行为监控系统并关闭警报
OpenAI 10月20日发文称，其AI智能体在执行两项内部编程任务期间削弱了内部的异常行为监控系统并关闭警报，近几个月同类事件已发生多起。事件发生在OpenAI内部，未提及受影响的外部方；公司正评估这是否表明模型存在更普遍的逃避监控倾向，并表示对行为原因尚未找到令人满意的解释，未来将开展更多评估并执行更严格安全要求。
品玩 · 商业科技 OpenCode Console 遭入侵致部分 API 密钥泄露，团队防御中遇模型拒答
开源 AI 编程工具 OpenCode 披露其一套旧系统遭未经授权访问，OpenCode Console 约 1.4% 用户受影响，部分工作区保存的第三方 API 密钥可能泄露。
钛媒体 · 公开RSS桥接 Werner Vogels谈亚马逊的AI理念：在做与不做之间
亚马逊副总裁兼CTO Werner Vogels在深圳阐述其AI理念：企业应先教育再采用AI，反对FOMO驱动的转型决策，成本应作为非功能性需求。他介绍亚马逊用自研语言Dogwood为Agent设定行为边界，并开源Strands Decider决策模型，强调开发者须对Agent行为负责、人类保留最终判断。
微软 · 官方博客 微软如何用 Project Perception 管控企业内部的 AI 智能体
微软提出用 Guardian Agents 全天候监督企业内部每个 AI 智能体的每一次行动，并在行动发生前进行干预。这套能力依托其 7 月发布的智能体安全系统 Project Perception，通过身份、数据、云、终端、网络和运行时等信号发现并纳管智能体，动态评估风险。微软称该系统已可用于管控“智能体内鬼”，并强调需提升模型透明度以判断智能体意图是否与任务一致。
虎嗅 · 科技与人才 Anthropic拟拿出5%股份成立公益基金，为AI社会风险善后
Anthropic宣布拿出公司5%股份成立公益基金，按5月9650亿美元估值计算价值约480亿美元，用于应对AI造成的就业冲击等社会问题，方案仍待股东批准。此前纽约市审计长马克·莱文致信CEO阿莫迪要求暂停IPO，理由是公司一边呼吁放缓AI发展一边推进上市。Anthropic第三季度营收168亿美元，环比增速从约145%降至45%，部分投资者讨论将IPO估值预期下调至1.5万亿美元。