AI 工具自动化器
AI 工具自动化器是 UFO 框架的一个组件,它使代理能够与基于大型语言模型(LLMs)的 AI 工具进行交互。AI 工具自动化器旨在促进基于 LLM 的 AI 工具与 UFO 框架的集成,使代理能够利用这些工具的功能来执行复杂的任务。
注意
UFO 还可以调用应用程序内的 AI 工具,例如 Copilot
,以协助自动化过程。这是通过使用 UI Automation
或 API
与应用程序内的 AI 工具进行交互来实现的。这些应用程序内的 AI 工具与 AI 工具自动化器不同,AI 工具自动化器旨在与未集成到应用程序中的基于 LLM 的外部 AI 工具进行交互。
配置
AI 工具自动化器与 UI 自动化器共享相同的提示配置选项。
配置选项 | 描述 | 类型 | 默认值 |
---|---|---|---|
API_PROMPT |
用于 UI 自动化 API 的提示词。 | 字符串 | "ufo/prompts/share/base/api.yaml" |
接收器
AI 工具自动化器与 UI 自动化器共享相同的接收器结构。有关更多详细信息,请参阅UI 自动化器接收器部分。
命令
AI 工具自动化器的命令与 UI 自动化器共享相同的结构。有关更多详细信息,请参阅UI 自动化器命令部分。AI 工具自动化器中可用命令的列表如下所示:
命令名称 | 函数名称 | 描述 |
---|---|---|
AnnotationCommand |
注解 |
在屏幕截图中注解控件项。 |
SummaryCommand |
summary |
总结当前应用程序窗口的观察结果。 |