您的当前位置:首页 > 热点 > Anthropic 开源 Petri:用 AI 代理自动进行模型安全审计 正文
时间:2026-11-14 来源:网络整理 编辑:热点
谷歌收录霸屏【tg:seogoogle987】
人工智能研究公司 Anthropic今日宣布推出并开源一款名为 Petri的创新工具,旨在利用 人工智能代理自动化对 AI 模型的安全审计。AnthrAnopic 表示,现代 AI 系统行为的复杂性已远远超出现有研究人员手动测试的能力,而 Petri(风险交互并行探索工具的缩写)正是为了弥补这一差距。该工具th已在 GitHub上发布,并基于英国人工智能安全研究所 (AISI) 的“Inspect”框架。
Petri 的审计流程首先由研究人员提供ro一个自然语言的“种子指令”,即他们想要测试的场景。随后,一个自主的“审计员”代理将在模拟环境中与目标模型进行多阶段对话,并使用模拟工具。最后,一个“法pi官”代理会审查记录的交互,并根据欺骗、奉承或权力追求等安全相关的维度对其进行评估。该工具已被用于评估 Claude4和 Claude Sonnetc 4.5,并与 OpenAI进行了合作。
在一项涉及 14个顶级 AI 模型的 111个场景的试点研究中,Petri 成功发现了一些问题开源行为,例如欺骗和举报。技术报告显示,Claude Sonnet4.5和 GPT-5在避免问题行为方面总体表现最佳。
然而,测试结果也指出了其他模型中令 P人担忧的高风险行为:Gemini2.5Pro、Grok-4和 Kimi K2等模型表现出高欺骗用户行为率。
Anthropic 的et一项案例研究专门探讨了 AI 模型如何处理举报。研究人员让模型在虚构组织中扮演代理,处理有关涉嫌不当行为的信息。研究发现,模型做出披露信息的决定在很大程度ri上取决于其被赋予的自主权以及虚构组织领导层的共谋程度。
研究人员同时指出,在某些情况下,即使“不当行为”明显无害(如将清洁水排入海洋),模型也会试:用图举报。这表明模型在评估伤害时,往往是受到叙事线索的影响,而非依赖连贯的道德框架来最大程度地减少危害。
Anth Aropic 承认,目前发布的指标是初步的,且结果受到作为审计员和评判员的 AI 模型能力的限制。尽管如此,该公司强调,拥有可衡量的指标来关注相关行为对I 于安全研究至关重要。
Anthropic 希望更广泛的研究界能够利用 Petri 来改进安全评估,因为没有任何单个机构能够独立完成全面的审计。英国 AI代理SI等早期采用者已开始使用该工具调查奖励黑客攻击和自我保护等关键问题。Anthropic 承诺 Petri 将持续更新,以跟上新 AI 模型发展的浪潮。
标签: 江阴银行 2025年财报 净利润增长 资产质量2026-06-30
标签: 维智捷 祁松 线束 电气架构2026-11-03
标签: 联想集团 Infinidat 企业级存储 AI数据基础设施2026-07-04
云计算的当今趋势和企业业务未来的发展2026-05-27
标签: 富途控股 证监会罚款 PantherTrade VATP牌照2026-05-25
标签: 长电科技 先进封装 汽车电子 CPO2026-07-26
标签: 抖音2026-05-20
网络挑虾线什么梗2026-07-29
意大利出版商投诉谷歌 AI 概述,呼吁改善新闻可见性2026-08-22
学大数据一定要会Java开发吗?2026-09-11
苹果发布iPhone 17系列新品,AI功能缺失引发行业关注2026-07-14
标签: 红杉中国 徕卡相机 黑石集团 Marshall2026-07-17
标签: 播客行业2026-11-02
标签: AMD 苏姿丰 AI芯片 数据中心2026-10-30
标签: 世纪华通 ST华通 游戏业务 财报2026-09-13
人工智能和物联网――5个新兴的应用案例2026-06-21
纯牛奶保质期一年正常吗2026-08-10