OpenAI：开发 Agent 时，这些要点需留意

这两天我参加了 OpenAI 的一些活动，其中一部分活动聚焦于探讨 Agent/智能体系统在落地过程中遇到的各类问题，以及一些可行的实践方法。下面是我整理的相关笔记。

01 关于 Agent

Agent 原本是 AI 的一种应用方式，但随着语境的变化，它逐渐从「AI 应用」中独立出来。打个不太准确的比方，这就如同 H5 从 html5 里分离出来一样。

按照当前的语境，我们通常把 ChatGPT 视为一种普通的 AI 应用，它能理解用户的问题并给出相应回答。而像 GPTs 这种经过订制、可以调用外部功能、能够自主处理复杂任务的产品，我们则称之为 Agent。

Agent 和一般 AI 应用（如 ChatGPT）的区别与联系，主要体现在“代理性”（agenticness）的程度上。如果一个 AI 系统能够在没有人类直接监督的情况下运行，并且自主性越高，我们就说它的代理性越强。这是一个连续的概念，并非简单的非黑即白的判断，而是要根据其在特定环境中的表现来评估代理性的程度。

在这样的定义下，正统的 Agent 不仅能回答问题，还能自主决定行动方案。它可以通过生成文本来“思考”，进而做出操作，甚至能创造更多的 AI 帮手协助工作，如下图所示。

然而，尽管 Agent 看起来很有前景，但在实际落地场景中，却面临诸多困难和风险，而且一旦出现问题，责任划分也十分棘手。例如，如果我让某个 Agent 帮我进行微信收款，结果它展示给别人的却是付款码，那么这个责任该由谁来承担呢？

正是由于这些问题，才有了本次的讨论话题：「从实践角度出发，落地 Agent 有哪些注意点」。主要包含 7 个方面：执行效果评估、危险行为界定、默认行为确定、推理透明展示、Agent 行为监控、Agent 作恶追责、危险事故叫停。

02 Agent 落地难点

由于活动中的 PPT 不便分享，我在消化吸收后，重新制作了一份，大家可以放心参考。

1. 执行效果评估

在商业环境中，确保工具的可靠性是基本要求。

但 AI Agent 的复杂之处在于其工作场景和任务具有不确定性。例如，一辆在模拟环境中表现出色的自动驾驶车辆，在现实世界中可能会因天气变化、道路条件等不可预测的变量而表现不稳定。

目前，我们还缺乏有效的方法来准确评估 AI Agent 在实际环境中的性能。

2. 危险行为界定

AI Agent 在执行高风险操作前，需要获得用户的明确批准。例如，在金融领域，AI 进行大额转账前必须得到用户的同意。

但需要注意的是，频繁的审批请求可能会导致用户出现审批疲劳，从而无视风险盲目批准操作，这不仅会削弱批准机制的效果，还可能增加操作风险。

3. 默认行为确定

当 AI Agent 遇到执行错误或不确定的情况时，需要有一个默认行为。例如，一个客服机器人在不确定用户需求时，其默认行为可以是请求更多信息，以避免错误操作。

然而，频繁的请求可能会影响用户体验，因此需要在保障系统安全性和保持用户体验之间找到平衡。

4. 推理透明展示

为了保证 AI Agent 决策的透明性，系统需要向用户清晰展示其推理过程。比如，一个健康咨询机器人应该详细解释其提出特定医疗建议的逻辑。

但如果推理过程过于复杂，普通用户可能难以理解，所以需要在确保透明性和易理解性之间找到平衡。

5. Agent 行为监控

假设一个用于监控仓库库存的 AI 系统出现误报，误认为某项商品缺货而不断进货，这可能会导致库存严重积压，造成巨大损失。

由此我们思考：是否需要另一个 Agent 来监控这个 Agent？成本该如何计算？

6. Agent 作恶追责

对于一个匿名发布内容的 AI Agent，如果它发布了违规内容，要追踪到具体负责的人或机构可能非常困难。在这种情况下，建立一个能够确保责任可追溯的系统至关重要，同时还需要平衡隐私保护和责任追究的需求。

7. 严重事故叫停

想象一个用于自动化工厂管理的 AI Agent，当系统检测到严重故障需要立即停机时，不仅要停止主控系统，还要同步关闭所有从属设备和流程。如何设计一个能够迅速且全面响应的紧急停止机制，以防止故障扩散或造成更大损失，是一个技术和策略上的复杂挑战。

以上就是本次笔记的全部内容。