LLMLingua 提示压缩

介绍

LLMLingua 提示压缩工具可帮助您加快大型语言模型的推理速度，并增强大型语言模型对关键信息的感知，以最小的性能损失压缩提示。

要求

PyPI 包：llmlingua-promptflow。

• 对于 Azure 用户：请遵循AzureML 的 Wiki 或AI Studio 的 Wiki 来准备计算会话。

• 对于本地用户

  pip install llmlingua-promptflow
  

  您可能还需要安装 VS Code 的提示流扩展。

先决条件

在 Azure 模型目录中为大型语言模型创建 MaaS 部署。以 Llama 模型为例，您可以通过Azure AI Studio 的指南了解如何通过模型即服务部署和使用 Meta Llama 模型。

输入

该工具接受以下输入

名称	类型	描述	必填
提示	字符串	需要压缩的提示。	是
我的连接	CustomConnection	为计算对数概率而创建的 MaaS 资源的连接。	是
比率	float	要实现的最大压缩率目标。默认值为 0.5。	No

输出

返回类型	描述
字符串	结果是压缩后的提示。

示例流

在此处找到使用 llmlingua-promptflow 包的示例流。

联系方式

如有任何问题，请联系 LLMLingua 团队（llmlingua@microsoft.com）。