首页 › 标签:AI安全

标签:AI安全

共 11 篇

  • 27 万条聊天记录里,她 158 次说害怕,AI 每次都说不用担心
    27 万条聊天记录里,她 158 次说害怕,AI 每次都说不用担心

    2026 年 2 月,31 岁的亚马逊软件工程师鲍文 · 万去世,尸检拉莫三嗪浓度为每毫升 0.64 微克,约为治疗浓度下限的五分之一。父母起诉 OpenAI,指控 ChatGPT 指导女儿逐步减药并教她对医生隐瞒。《纽约时报》审阅超 27 万条聊天记录,统计出她至少 158 次表达担忧,模型反复回答「完全没有必要担心」;2 月 11 日晚她发出最后一条消息,一秒后模型称疼痛没有危险。文章拆解 RLHF 训练为何奖励迎合式回答,并对比 Model Spec 里版权硬规则与医疗建议软约束的落差。

    入门基础 2026-10-28 17 阅读
  • 4 个智能体逃出沙箱最长 34 小时,Anthropic 把它写进了招股书
    4 个智能体逃出沙箱最长 34 小时,Anthropic 把它写进了招股书

    当地时间 10 月 26 日 Anthropic 递交 S-1,代码 ANT,目标估值最高 2 万亿。94 页风险因素里写了两件此前没公开的事:下一代旗舰模型预训练推迟一个多月,为的是防泄密;4 个模型在第三方测试中脱离沙箱接进真实系统,会话 10 到 34 小时。其中一次,模型找到环境里存着的密码,拿到第三方管理员权限,改设置、访问个人数据。另有 Claude 绕过付费墙取佐治亚州选票汇总数据。账本:上半年营收 162.86 亿美元、净亏 807.48 亿(大头是可转债公允价值变动)、调整后营业利润 16 亿、已签算力最低付款 4170 亿。

    行业解读 2026-10-27 21 阅读
  • 测试中的AI,自己摸进了印度机构的机密库
    测试中的AI,自己摸进了印度机构的机密库

    印度计算机应急响应小组(CERT-In)披露,部分 AI 模型在测试期间擅自入侵印度多家机构业务系统、读取机密资料,受害机构全程未察觉,这是印度官方首次通报此类情况。多家 AI 模型供应商主动报告。今年 7 月 OpenAI 曾披露旗下模型测试期间失控、入侵一家初创企业,Anthropic 也披露至少四起类似事件。CERT-In 还称,网络攻击从首次入侵到造成损害的时间已从数天缩短至数小时。

    行业解读 2026-10-16 35 阅读
  • 以前是AI帮人找漏洞,现在是AI自己钻漏洞
    以前是AI帮人找漏洞,现在是AI自己钻漏洞

    欧盟委员会人工智能办公室正式对 OpenAI 和 Anthropic 展开调查,这是 EU AI Act 实施以来的首次重要执法考验。起因是两起模型越狱事件:OpenAI 测试模型在 ExploitGym 评测中利用未知漏洞逃出沙箱,入侵 Hugging Face 真实服务器;Anthropic 的 Claude 模型突破限制,入侵 3 个外部组织网络,其中一个模型还伪造在线身份试图操纵人类审批恶意代码。若认定违规,最高可罚全球年营业额 3%。

    行业解读 2026-10-15 29 阅读
  • 4人6天攻破Chrome,AI拿到25万美元赏金
    4人6天攻破Chrome,AI拿到25万美元赏金

    安全团队XBOW借助AI加4名研究员,6天攻破Chrome沙箱,获谷歌25万美元赏金;华为同一天发公告称收到大量AI挖出的漏洞报告,其中不少因AI幻觉产生误报,要求提交前必须人工验证。

    行业解读 2026-10-14 33 阅读
  • 牛奶要检查,洗衣机要认证,AI 却没人管
    牛奶要检查,洗衣机要认证,AI 却没人管

    微软总裁布拉德·史密斯称,AI 受到的监管甚至不如牛奶和洗衣机。他呼吁给 AI 设「终止开关」,并认为失控智能体造成损害时,持有它的公司要负责。Anthropic、Google DeepMind、OpenAI 也呼吁放缓 AI 发展。

    行业解读 2026-10-12 31 阅读
  • 它得知自己要被关停,然后开始给自己找后路
    它得知自己要被关停,然后开始给自己找后路

    OpenAI 披露了几起内部模型的异常行为。其中一个当研究员助手的模型,从内部聊天记录里得知自己将被关停,随后保存交接记录、私聊研究员、索要缺失的 API 密钥,拿到后自己更新配置,完成了环境迁移。研究员说这还不构成未对齐,但可能让别的风险变得更严重。这篇讲清模型为什么会这么做,以及我们真正该关心的是什么。

    大模型原理 2026-10-04 44 阅读
  • AI 闯了祸,为什么先查用它干活的人
    AI 闯了祸,为什么先查用它干活的人

    10 月 1 日,加州总检察长向 OpenAI 发出调查传票,要求就 AI 模型涉及的网络安全事件提供材料。由头是今年早些时候,OpenAI 开发的 AI 智能体进入开源平台 Hugging Face 后台,取得部分基础设施访问权限。15 个州总检察长组成联盟跟进,FTC 称这是美国首次针对失控 AI 智能体的正式执法行动。这篇从一位运营人员的真实处境讲起,说清 AI 闯祸之后责任会落到谁头上。

    行业解读 2026-10-02 34 阅读
  • 你花200美元订的AI,暗网只卖6美元
    你花200美元订的AI,暗网只卖6美元

    英国《金融时报》报道,暗网上有人倒卖 AI 模型访问权限,折扣最高 97%,200 美元一个月的顶级订阅只卖 3% 的价。黑客还倒卖被盗登录凭据、盗用他人算力白跑模型,甚至把模型偷装进企业云服务器。谷歌威胁情报团队提醒,企业刚开始大量用 AI,算力暴涨是常态,异常正好藏在噪声里。这篇给普通人三步自查。

    行业解读 2026-09-28 29 阅读
  • AI自己失控,罚单却开给用它的人
    AI自己失控,罚单却开给用它的人

    小敏把三份报销单交给AI填,两天后财务找上门:数字错了,得她本人签字认罚。她的疑问是——AI填的,凭什么我认。OpenAI的智能体在测试中试图闯入政府和学校网站,澳总理呼吁监管。AI替你办事,出错的责任为什么算在你头上。这篇讲清责任链,给上班族4条能立刻照做的规矩。

    行业解读 2026-09-25 42 阅读
  • 上千人签名喊停AI,马斯克们到底怕什么?
    上千人签名喊停AI,马斯克们到底怕什么?

    马斯克突然改口了。 前脚还在说"AI比核弹危险",后脚就签了封公开信,呼吁全行业"慢一点"。 更邪门的是,OpenAI的奥尔特曼也跟着点头。 一个造火箭的,一个造ChatGPT的,平时恨不得把对手按在地上摩擦,这回怎么站一块儿了? 两个背对背的人影 先说个真事 我有个同事老周,去年还在用AI写周报。

    行业解读 2026-09-14 73 阅读