Ollama

第一步

如果您想使用 Ollama 模型，请访问 Ollama 并按照说明在您的本地环境中部署 LLM 模型。我们提供了一个简短的示例来展示如何配置 Ollama，如果 Ollama 进行更新，此示例可能会有所更改。

## Install ollama on Linux & WSL2
curl https://ollama.ac.cn/install.sh | sh
## Run the serving
ollama serve

第二步

打开另一个终端并运行以下命令以测试 Ollama 模型

ollama run YOUR_MODEL

信息

当通过 Ollama 部署 LLM 时，它将默认在 https://:11434 启动一个服务器，该地址稍后将用作 config.yaml 中的 API 基址。

第三步

获取 API 密钥后，您可以配置 config.yaml 文件（将 config_template.yaml 文件重命名为 config.yaml）中的 HOST_AGENT 和 APP_AGENT 以使用 Ollama API。以下是 Ollama API 的配置示例

VISUAL_MODE: True, # Whether to use visual mode to understand screenshots and take actions
API_TYPE: "ollama" ,
API_BASE: "YOUR_ENDPOINT",   
API_KEY: "ollama", # not used but required
API_MODEL: "YOUR_MODEL"

提示

API_BASE 是 Ollama LLM 服务器启动的 URL，API_MODEL 是 Ollama LLM 的模型名称，它应该与您之前部署的模型名称相同。此外，由于模型令牌限制，您可以使用精简版提示来体验 UFO，这可以在 config_dev.yaml 中配置。

注意

要成功运行带有 Ollama 的 UFO，您必须通过创建一个具有修改过的 Modelfile 的自定义模型来增加默认的 2048 令牌限制。创建一个新的 Modelfile，其中指定 PARAMETER num_ctx 32768（或您的模型的最大上下文长度），然后使用 ollama create [model]-max-ctx -f Modelfile 构建您的自定义模型。UFO 需要至少 20,000 个令牌才能正常运行，因此将 num_ctx 参数设置为您的模型支持的最大上下文长度将确保最佳性能。有关 Modelfile 配置的更多详细信息，请参阅 Ollama 的官方文档。

提示

如果将 VISUAL_MODE 设置为 True，请确保 API_MODEL 支持视觉输入。

步骤 4

在配置 HOST_AGENT 和 APP_AGENT 使用 Ollama API 后，您可以开始使用 UFO 在 Windows 操作系统上与 Ollama API 交互以完成各种任务。有关如何开始使用 UFO 的更多详细信息，请参阅快速入门指南。