AI 工具自动化器

AI 工具自动化器是 UFO 框架的一个组件,它使代理能够与基于大型语言模型(LLMs)的 AI 工具进行交互。AI 工具自动化器旨在促进基于 LLM 的 AI 工具与 UFO 框架的集成,使代理能够利用这些工具的功能来执行复杂的任务。

注意

UFO 还可以调用应用程序内的 AI 工具,例如 Copilot,以协助自动化过程。这是通过使用 UI AutomationAPI 与应用程序内的 AI 工具进行交互来实现的。这些应用程序内的 AI 工具与 AI 工具自动化器不同,AI 工具自动化器旨在与未集成到应用程序中的基于 LLM 的外部 AI 工具进行交互。

配置

AI 工具自动化器与 UI 自动化器共享相同的提示配置选项。

配置选项 描述 类型 默认值
API_PROMPT 用于 UI 自动化 API 的提示词。 字符串 "ufo/prompts/share/base/api.yaml"

接收器

AI 工具自动化器与 UI 自动化器共享相同的接收器结构。有关更多详细信息,请参阅UI 自动化器接收器部分。

命令

AI 工具自动化器的命令与 UI 自动化器共享相同的结构。有关更多详细信息,请参阅UI 自动化器命令部分。AI 工具自动化器中可用命令的列表如下所示:

命令名称 函数名称 描述
AnnotationCommand 注解 在屏幕截图中注解控件项。
SummaryCommand summary 总结当前应用程序窗口的观察结果。