autogen_ext.models.llama_cpp#

类 LlamaCppChatCompletionClient(model_info: ModelInfo | None = None, **kwargs: Unpack)[源代码]#

基类：ChatCompletionClient

LlamaCpp 模型的聊天完成客户端。要使用此客户端，您必须安装 llama-cpp 额外组件。

pip install "autogen-ext[llama-cpp]"

此客户端允许您与 LlamaCpp 模型交互，可以通过指定本地模型路径或从 Hugging Face Hub 下载模型。

参数:

  • model_info (可选, ModelInfo) – 模型的详细信息。默认为 DEFAULT_MODEL_INFO。

  • model_path (可选, str) – LlamaCpp 模型文件的路径。如果未提供 repo_id 和 filename，则为必需项。

  • repo_id (可选, str) – Hugging Face Hub 仓库 ID。如果未提供 model_path，则为必需项。

  • filename (可选, str) – Hugging Face Hub 仓库中模型的 filename。如果未提供 model_path，则为必需项。

  • n_gpu_layers (可选, int) – 放置在 GPU 上的层数。

  • n_ctx (可选, int) – 上下文大小。

  • n_batch (可选, int) – 批处理大小。

  • verbose (可选, bool) – 是否打印详细输出。

  • **kwargs – 要传递给 Llama 类的附加参数。

示例

以下代码片段展示了如何使用本地模型文件与客户端交互

import asyncio

from autogen_core.models import UserMessage
from autogen_ext.models.llama_cpp import LlamaCppChatCompletionClient


async def main():
    llama_client = LlamaCppChatCompletionClient(model_path="/path/to/your/model.gguf")
    result = await llama_client.create([UserMessage(content="What is the capital of France?", source="user")])
    print(result)


asyncio.run(main())

以下代码片段展示了如何使用 Hugging Face Hub 中的模型与客户端交互

import asyncio

from autogen_core.models import UserMessage
from autogen_ext.models.llama_cpp import LlamaCppChatCompletionClient


async def main():
    llama_client = LlamaCppChatCompletionClient(
        repo_id="unsloth/phi-4-GGUF", filename="phi-4-Q2_K_L.gguf", n_gpu_layers=-1, seed=1337, n_ctx=5000
    )
    result = await llama_client.create([UserMessage(content="What is the capital of France?", source="user")])
    print(result)


asyncio.run(main())
DEFAULT_MODEL_INFO: ModelInfo = {'family': 'unknown', 'function_calling': True, 'json_output': True, 'structured_output': True, 'vision': False}#
async create(messages: Sequence[Annotated[SystemMessage | UserMessage | AssistantMessage | FunctionExecutionResultMessage, FieldInfo(annotation=NoneType, required=True, discriminator='type')]], *, tools: Sequence[Tool | ToolSchema] = [], tool_choice: Tool | Literal['auto', 'required', 'none'] = 'auto', json_output: bool | type[BaseModel] | None = None, extra_create_args: Mapping[str, Any] = {}, cancellation_token: CancellationToken | None = None) → CreateResult[源代码]#

从模型创建单个响应。

参数:

  • messages (Sequence[LLMMessage]) – 要发送给模型的消息。

  • tools (Sequence[Tool | ToolSchema], 可选) – 与模型一起使用的工具。默认为 []。

  • tool_choice (Tool | Literal["auto", "required", "none"], 可选) – 单个 Tool 对象，用于强制模型使用，"auto" 允许模型选择任何可用工具，"required" 强制使用工具，"none" 禁用工具使用。默认为 "auto"。

  • json_output (Optional[bool | type[BaseModel]], 可选) – 是否使用 JSON 模式、结构化输出或两者都不使用。默认为 None。如果设置为 Pydantic BaseModel 类型，它将用作结构化输出的输出类型。如果设置为布尔值，它将用于确定是否使用 JSON 模式。如果设置为 True，请确保在指令或提示中指示模型生成 JSON 输出。

  • extra_create_args (Mapping[str, Any], 可选) – 传递给底层客户端的额外参数。默认为 {}。

  • cancellation_token (Optional[CancellationToken], 可选) – 用于取消的令牌。默认为 None。

返回:

CreateResult – 模型调用的结果。

async create_stream(messages: Sequence[Annotated[SystemMessage | UserMessage | AssistantMessage | FunctionExecutionResultMessage, FieldInfo(annotation=NoneType, required=True, discriminator='type')]], *, tools: Sequence[Tool | ToolSchema] = [], tool_choice: Tool | Literal['auto', 'required', 'none'] = 'auto', json_output: bool | type[BaseModel] | None = None, extra_create_args: Mapping[str, Any] = {}, cancellation_token: CancellationToken | None = None) → AsyncGenerator[str | CreateResult, None][源代码]#

从模型创建字符串块流，以 CreateResult 结束。

参数:

  • messages (Sequence[LLMMessage]) – 要发送给模型的消息。

  • tools (Sequence[Tool | ToolSchema], 可选) – 与模型一起使用的工具。默认为 []。

  • tool_choice (Tool | Literal["auto", "required", "none"], 可选) – 单个 Tool 对象，用于强制模型使用，"auto" 允许模型选择任何可用工具，"required" 强制使用工具，"none" 禁用工具使用。默认为 "auto"。

  • json_output (Optional[bool | type[BaseModel]], 可选) –

    是否使用 JSON 模式、结构化输出或两者都不使用。默认为 None。如果设置为 Pydantic BaseModel 类型，它将用作结构化输出的输出类型。如果设置为布尔值，它将用于确定是否使用 JSON 模式。如果设置为 True，请确保在指令或提示中指示模型生成 JSON 输出。

  • extra_create_args (Mapping[str, Any], 可选) – 传递给底层客户端的额外参数。默认为 {}。

  • cancellation_token (Optional[CancellationToken], 可选) – 用于取消的令牌。默认为 None。

返回:

AsyncGenerator[Union[str, CreateResult], None] – 生成器，产生字符串块并以 CreateResult 结束。

actual_usage() → RequestUsage[源代码]#
属性 capabilities: ModelInfo#
count_tokens(messages: Sequence[SystemMessage | UserMessage | AssistantMessage | FunctionExecutionResultMessage], **kwargs: Any) → int[源代码]#
属性 model_info: ModelInfo#
remaining_tokens(messages: Sequence[SystemMessage | UserMessage | AssistantMessage | FunctionExecutionResultMessage], **kwargs: Any) → int[源代码]#
total_usage() → RequestUsage[源代码]#
async close() → None[源代码]#

关闭 LlamaCpp 客户端。