微软近日开源了两款全新工具——Rampart与Clarity，旨在将AI安全检测大幅提前至智能体开发生命周期的早期阶段。

微软AI红队创始人Ram Shankar Siva Kumar在一篇安全博客中表示："我们开发这些工具，是因为我们坚信AI安全必须成为一项持续的工程学科，而非仅是定期进行的检查节点。我们认为，实现这一目标的最佳方式，就是将实用的开源工具交到实际构建系统的人手中。"

此次发布的背景，是AI智能体正从聊天机器人式助手演变为拥有实际操作权限的系统。微软指出，新一代智能体带来了传统应用安全流程无法应对的风险，包括提示注入、不安全的工具调用、权限升级以及意外的自主行为等。

Rampart是两款工具中定位更偏向实际操作层面的一个。该框架旨在帮助开发者将红队发现的问题转化为可重复执行的测试用例，并将其嵌入开发和部署流水线中持续运行。

Rampart基于微软面向生成式AI系统红队测试的开源自动化框架PyRIT构建，支持以结构化、自动化的方式对AI智能体执行对抗性与良性测试场景。其核心理念是打破一次性安全审查的局限，将持续检测直接集成到CI/CD工作流中。Kumar解释说："PyRIT针对的是系统构建完成后由安全研究人员进行的黑盒发现，而Rampart则是为工程师在系统构建过程中所设计的。"

Rampart能够在应用上线之前发现跨提示注入、不安全数据处理、不安全工具执行等智能体特有的攻击路径。此外，它还支持将AI红队发现转化为可重复的自动化测试，帮助工程师随着智能体的迭代持续检测回归问题。

与Rampart聚焦于系统构建阶段的测试不同，Clarity的介入时间更早，位于代码编写开始之前。

微软将Clarity定位为一款用于审查和验证AI智能体设计决策背后假设前提的工具，涵盖对智能体预期行为、权限范围、与工具及外部系统的交互方式，以及信任边界的评估。

Kumar介绍："Clarity可作为桌面应用、网页界面运行，也可直接嵌入编码智能体中。它通过结构化对话引导工程师完成问题梳理、方案探索、故障分析和决策追踪等环节。"他补充说，这些对话内容将以Markdown文件形式写入代码仓库中的".clarity-protocol/"目录，可像源代码一样提交、在Pull Request中审查和进行差异比较。

Rampart与Clarity是微软过去数月来持续构建开源"智能体治理"与安全技术栈这一整体战略的组成部分，而非独立发布的单一产品。上月，微软已推出智能体治理工具包，重点面向常规控制、策略执行以及针对AI智能体的OWASP对齐防护能力。

Q&A

Q1：Rampart是什么？它与PyRIT有什么区别？

A：Rampart是微软开源的AI智能体安全测试框架，基于PyRIT构建。两者的核心区别在于：PyRIT面向安全研究人员，用于系统构建完成后的黑盒发现；而Rampart面向工程师，在系统构建过程中使用，支持将红队发现转化为可重复的自动化测试，并集成到CI/CD流水线中，实现持续安全检测。

Q2：Clarity工具的主要作用是什么？

A：Clarity是一款在代码编写之前介入的AI安全工具，用于审查和验证AI智能体设计决策背后的假设前提，包括智能体的预期行为、权限范围、与外部系统的交互方式及信任边界。它可以桌面应用、网页界面或嵌入编码智能体等多种形式运行，通过结构化对话引导工程师进行问题梳理与决策追踪，并将结果以Markdown文件形式保存在代码仓库中。

Q3：微软开源智能体安全工具是出于什么考虑？

A：随着AI智能体从聊天助手演变为拥有实际操作权限的系统，传统应用安全流程已无法有效应对提示注入、权限升级、不安全工具调用等新型风险。微软希望通过开源Rampart和Clarity，推动AI安全从定期审查转变为持续的工程学科，并将实用工具直接交给开发者，使安全检测贯穿整个智能体开发生命周期。