控件检测

我们支持不同的控件检测方法来检测应用程序中的控件，以适应标准 (UIA) 和自定义控件 (Visual)。控件检测方法包括

机制	描述
UIA	UI 自动化 (UIA) 框架用于检测应用程序中的标准控件。它提供一组 API 来访问和操作 Windows 应用程序中的 UI 元素。
视觉	视觉控件检测方法使用 OmniParser 视觉检测来检测应用程序中的自定义控件。它使用计算机视觉技术根据 UI 元素的视觉外观来识别和交互它们。
混合	混合控件检测方法结合了 UIA 和视觉检测方法来检测应用程序中的控件。它首先尝试使用 UIA 方法，如果失败，则回退到视觉方法。

配置

要配置控件检测方法，您可以在 config_dev.yaml 文件中设置 CONTROL_BACKEND 参数。可用选项是 uia 和 onmiparser。如果要使用混合方法，可以将其设置为 ["uia", "onmiparser"]。

CONTROL_BACKEND: ["uia"]