内容安全（文本）

Azure 内容安全是 Microsoft 开发的一项内容审核服务，可帮助用户检测来自不同模态和语言的有害内容。此工具是 Azure 内容安全文本 API 的包装器，允许您检测文本内容并获取审核结果。有关更多信息，请参阅Azure 内容安全。

要求

• 对于 AzureML 用户，该工具已安装在默认映像中，无需额外安装即可使用。

• 对于本地用户，请运行 pip install promptflow-tools

[!注意] 内容安全（文本）工具现已并入最新的 promptflow-tools 包。如果您之前安装了 promptflow-contentsafety 包，请卸载它以避免本地工具列表中出现重复。

先决条件

• 创建 Azure 内容安全 资源。

• 在 prompt flow 中添加“Azure 内容安全”连接。使用所创建资源“密钥和终结点”部分中的“主密钥”填充“API 密钥”字段。

输入

您可以将以下参数用作此工具的输入

名称	类型	描述	必填
text	字符串	需要审核的文本。	是
hate_category（仇恨类别）	字符串	仇恨类别的审核敏感度。您可以从四个选项中选择：disable（禁用）、low_sensitivity（低敏感度）、medium_sensitivity（中敏感度）或 high_sensitivity（高敏感度）。disable 选项表示对仇恨类别不进行审核。其他三个选项表示过滤掉仇恨内容的严格程度不同。默认选项是 medium_sensitivity。	是
sexual_category（性内容类别）	字符串	性内容类别的审核敏感度。您可以从四个选项中选择：disable（禁用）、low_sensitivity（低敏感度）、medium_sensitivity（中敏感度）或 high_sensitivity（高敏感度）。disable 选项表示对性内容类别不进行审核。其他三个选项表示过滤掉性内容的严格程度不同。默认选项是 medium_sensitivity。	是
self_harm_category（自残类别）	字符串	自残类别的审核敏感度。您可以从四个选项中选择：disable（禁用）、low_sensitivity（低敏感度）、medium_sensitivity（中敏感度）或 high_sensitivity（高敏感度）。disable 选项表示对自残类别不进行审核。其他三个选项表示过滤掉自残内容的严格程度不同。默认选项是 medium_sensitivity。	是
violence_category（暴力类别）	字符串	暴力类别的审核敏感度。您可以从四个选项中选择：disable（禁用）、low_sensitivity（低敏感度）、medium_sensitivity（中敏感度）或 high_sensitivity（高敏感度）。disable 选项表示对暴力类别不进行审核。其他三个选项表示过滤掉暴力内容的严格程度不同。默认选项是 medium_sensitivity。	是

有关更多信息，请参阅 Azure 内容安全

输出

以下是该工具返回的示例 JSON 格式响应

输出

{
    "action_by_category": {
      "Hate": "Accept",
      "SelfHarm": "Accept",
      "Sexual": "Accept",
      "Violence": "Accept"
    },
    "suggested_action": "Accept"
  }

action_by_category 字段为每个类别提供一个二进制值：Accept（接受）或 Reject（拒绝）。此值表示文本是否符合您在请求参数中为该类别设置的敏感度级别。

suggested_action 字段根据四个类别提供总体建议。如果任何类别的值为 Reject，则 suggested_action 也将为 Reject。