
(点击上方图片观看本课程视频)
代理式 RAG
本课程全面概述了代理式检索增强生成(Agentic RAG),这是一种新兴的AI范式,其中大型语言模型(LLM)在从外部来源获取信息的同时自主规划其下一步。与静态的“先检索后读取”模式不同,代理式RAG涉及对LLM的迭代调用,并穿插工具或函数调用以及结构化输出。系统评估结果,优化查询,根据需要调用其他工具,并持续此循环,直到达到满意的解决方案。
引言
本课程将涵盖
- 理解代理式RAG: 了解AI领域中新兴的范式,其中大型语言模型(LLM)在从外部数据源获取信息的同时自主规划其下一步。
- 掌握迭代的“生成-检查”模式: 理解对LLM的迭代调用循环,穿插工具或函数调用以及结构化输出,旨在提高正确性并处理格式错误的查询。
- 探索实际应用: 识别代理式RAG表现出色的场景,例如正确性优先的环境、复杂的数据库交互和扩展的工作流。
学习目标
完成本课程后,您将了解如何/理解
- 理解代理式RAG: 了解AI领域中新兴的范式,其中大型语言模型(LLM)在从外部数据源获取信息的同时自主规划其下一步。
- 迭代的“生成-检查”模式: 掌握对LLM的迭代调用循环的概念,穿插工具或函数调用以及结构化输出,旨在提高正确性并处理格式错误的查询。
- 掌握推理过程: 理解系统掌握其推理过程的能力,即决定如何解决问题而不依赖预定义路径。
- 工作流: 理解代理模型如何独立决定检索市场趋势报告、识别竞争对手数据、关联内部销售指标、综合发现并评估策略。
- 迭代循环、工具集成和记忆: 了解系统对循环交互模式的依赖,在各个步骤中保持状态和记忆,以避免重复循环并做出明智的决策。
- 处理故障模式和自我纠正: 探索系统强大的自我纠正机制,包括迭代和重新查询、使用诊断工具以及退回到人工监督。
- 代理的边界: 理解代理式RAG的局限性,重点关注特定领域自主性、基础设施依赖性和对护栏的尊重。
- 实际用例和价值: 识别代理式RAG表现出色的场景,例如正确性优先的环境、复杂的数据库交互和扩展的工作流。
- 治理、透明度和信任: 了解治理和透明度的重要性,包括可解释的推理、偏差控制和人工监督。
什么是代理式RAG?
代理式检索增强生成(Agentic RAG)是一种新兴的AI范式,其中大型语言模型(LLM)在从外部来源获取信息的同时自主规划其下一步。与静态的“先检索后读取”模式不同,代理式RAG涉及对LLM的迭代调用,并穿插工具或函数调用以及结构化输出。系统评估结果,优化查询,根据需要调用其他工具,并持续此循环,直到达到满意的解决方案。这种迭代的“生成-检查”模式提高了正确性,处理格式错误的查询,并确保高质量的结果。
系统主动掌握其推理过程,重写失败的查询,选择不同的检索方法,并在最终确定答案之前集成多种工具——例如Azure AI Search中的向量搜索、SQL数据库或自定义API。代理式系统的显著特点是其掌握推理过程的能力。传统的RAG实现依赖预定义路径,而代理式系统则根据其找到的信息质量自主决定步骤序列。
定义代理式检索增强生成(Agentic RAG)
代理式检索增强生成(Agentic RAG)是AI开发中一种新兴的范式,其中LLM不仅从外部数据源获取信息,还自主规划其下一步。与静态的“先检索后读取”模式或精心编写的提示序列不同,代理式RAG涉及对LLM的迭代调用循环,并穿插工具或函数调用以及结构化输出。在每个回合中,系统评估其获得的结果,决定是否优化查询,根据需要调用其他工具,并持续此循环,直到达到满意的解决方案。
这种迭代的“生成-检查”操作模式旨在提高正确性,处理结构化数据库(例如NL2SQL)的格式错误的查询,并确保平衡、高质量的结果。系统不再仅仅依赖精心设计的提示链,而是主动掌握其推理过程。它可以重写失败的查询,选择不同的检索方法,并在最终确定答案之前集成多种工具——例如Azure AI Search中的向量搜索、SQL数据库或自定义API。这消除了对过于复杂的编排框架的需求。相反,一个相对简单的“LLM调用→工具使用→LLM调用→……”循环可以产生复杂且有根据的输出。

掌握推理过程
使系统“代理式”的显著特点是其掌握推理过程的能力。传统的RAG实现通常依赖人类为模型预定义路径:一个概述何时检索和检索什么的思维链。但当系统真正代理式时,它会内部决定如何解决问题。它不仅仅是执行脚本;它会根据其找到的信息质量自主决定步骤序列。例如,如果要求它创建产品发布策略,它不会仅仅依赖一个详细说明整个研究和决策工作流的提示。相反,代理模型会独立决定
- 使用Bing Web Grounding检索当前市场趋势报告
- 使用Azure AI Search识别相关竞争对手数据。
- 使用Azure SQL Database关联历史内部销售指标。
- 通过Azure OpenAI Service协调将发现综合成一个连贯的策略。
- 评估策略是否存在差距或不一致,并在必要时触发另一轮检索。所有这些步骤——优化查询、选择来源、迭代直到对答案“满意”——都是由模型决定的,而不是由人类预先编写脚本的。

代理系统依赖循环交互模式
- 初始调用: 用户的目标(即用户提示)呈现给LLM。
- 工具调用: 如果模型识别出缺失信息或模糊指令,它会选择一个工具或检索方法——例如向量数据库查询(例如Azure AI Search在私有数据上的混合搜索)或结构化SQL调用——以收集更多上下文。
- 评估与优化: 审查返回的数据后,模型决定信息是否足够。如果不够,它会优化查询,尝试不同的工具,或调整其方法。
- 重复直到满意: 此循环持续进行,直到模型确定它有足够的清晰度和证据来提供最终的、有充分理由的响应。
- 记忆与状态: 由于系统在各个步骤中保持状态和记忆,它可以回忆之前的尝试及其结果,避免重复循环并在进行过程中做出更明智的决策。
随着时间的推移,这会产生一种不断发展的理解感,使模型能够处理复杂的、多步骤的任务,而无需人类不断干预或重塑提示。
处理故障模式和自我纠正
代理式RAG的自主性还涉及强大的自我纠正机制。当系统遇到死胡同——例如检索到不相关文档或遇到格式错误的查询时——它可以
- 迭代并重新查询: 模型会尝试新的搜索策略、重写数据库查询或查看替代数据集,而不是返回低价值的响应。
- 使用诊断工具: 系统可能会调用旨在帮助它调试推理步骤或确认检索数据正确性的附加功能。Azure AI Tracing等工具对于实现强大的可观察性和监控至关重要。
- 退回到人工监督: 对于高风险或反复失败的场景,模型可能会标记不确定性并请求人工指导。一旦人类提供纠正反馈,模型就可以将该经验教训融入未来的处理中。
这种迭代和动态的方法使模型能够持续改进,确保它不仅仅是一个一次性系统,而是一个在给定会话中从错误中学习的系统。

代理的边界
尽管代理式RAG在任务中具有自主性,但它不等同于通用人工智能。其“代理式”能力仅限于人类开发者提供的工具、数据源和策略。它无法发明自己的工具或超越已设定的领域边界。相反,它擅长动态协调现有资源。与更高级的AI形式的关键区别包括
- 特定领域自主性: 代理式RAG系统专注于在已知领域内实现用户定义的目标,采用查询重写或工具选择等策略来改善结果。
- 基础设施依赖性: 系统的能力取决于开发者集成的工具和数据。它无法在没有人工干预的情况下超越这些边界。
- 尊重护栏: 道德准则、合规规则和业务策略仍然非常重要。代理的自由始终受到安全措施和监督机制的约束(希望如此?)。
实际用例和价值
代理式RAG在需要迭代优化和精度的场景中表现出色
- 正确性优先环境: 在合规性检查、法规分析或法律研究中,代理模型可以反复验证事实、查阅多个来源并重写查询,直到生成经过彻底审查的答案。
- 复杂数据库交互: 在处理结构化数据时,查询可能经常失败或需要调整,系统可以利用Azure SQL或Microsoft Fabric OneLake自主优化其查询,确保最终检索与用户意图一致。
- 扩展工作流: 较长时间的会话可能会随着新信息的出现而演变。代理式RAG可以持续整合新数据,随着对问题空间的深入了解而调整策略。
治理、透明度和信任
随着这些系统在推理方面变得更加自主,治理和透明度至关重要
- 可解释的推理: 模型可以提供其所做查询、查阅的来源以及得出结论所采取推理步骤的审计跟踪。Azure AI 内容安全和Azure AI Tracing / GenAIOps等工具可以帮助保持透明度并降低风险。
- 偏差控制和平衡检索: 开发者可以调整检索策略,以确保考虑平衡、有代表性的数据源,并定期审计输出,以使用自定义模型(适用于使用Azure Machine Learning的高级数据科学组织)检测偏差或倾斜模式。
- 人工监督和合规性: 对于敏感任务,人工审查仍然至关重要。代理式RAG不会取代人类在高风险决策中的判断——它通过提供更彻底审查的选项来增强判断。
拥有提供清晰行动记录的工具至关重要。没有它们,调试多步骤过程可能非常困难。请参阅 Literal AI(Chainlit 背后的公司)提供的代理运行示例。

结论
代理式RAG代表了AI系统处理复杂、数据密集型任务方式的自然演进。通过采用循环交互模式、自主选择工具并优化查询直到获得高质量结果,系统超越了静态提示遵循,成为一个更具适应性、上下文感知能力的决策者。尽管仍然受限于人类定义的基础设施和道德准则,但这些代理式能力使企业和最终用户能够实现更丰富、更动态、最终更有用的AI交互。
关于代理式RAG还有更多问题吗?
加入 Azure AI Foundry Discord,与其他学习者交流,参加办公时间,并获得您的 AI Agent 问题解答。
额外资源
学术论文
上一课
工具使用设计模式
下一课
构建可信赖的 AI 代理