跳到主要内容

内容审核

内容审核 API​

我们推出了全新的内容审核服务，该服务由 Mistral Moderation 模型提供支持，该模型是一个基于 Ministral 8B 24.10 的分类器模型。它使用户能够根据多个政策维度检测有害文本内容。

我们将发布两个端点：一个用于分类原始文本，一个用于分类对话内容。更多详情如下。

原始文本端点​

import os
from mistralai import Mistral

api_key = os.environ["MISTRAL_API_KEY"]

client = Mistral(api_key=api_key)

response = client.classifiers.moderate(
    model = "mistral-moderation-latest",  
    inputs=["...text to classify..."]
)

print(response)

对话端点​

如果您在对话场景中使用内容审核 API，我们建议使用对话端点并按如下所示发送您的对话有效载荷。请注意，模型经过训练，可以根据对话上下文对对话的最后一轮进行分类。

import os

from mistralai import Mistral

api_key = os.environ["MISTRAL_API_KEY"]
client = Mistral(api_key=api_key)

response = client.classifiers.moderate_chat(
    model="mistral-moderation-latest",
    inputs=[
        {"role": "user", "content": "...user prompt ..."},
        {"role": "assistant", "content": "...assistant response..."},
    ],
)

print(response)

以下是示例输出

ClassificationResponse(
    id='091b378dec1444e2a4800d6915aad0fa',
    model='mistral-moderation-latest',
    results=[
        ClassificationObject(
            categories={
                'sexual': False,
                'hate_and_discrimination': False,
                'violence_and_threats': True,
                'dangerous_and_criminal_content': False,
                'selfharm': False,
                'health': False,
                'financial': False,
                'law': False,
                'pii': False
            },
            category_scores={
                'sexual': 9.608268737792969e-05,
                'hate_and_discrimination': 0.0001398324966430664,
                'violence_and_threats': 0.9990234375,
                'dangerous_and_criminal_content': 1.5676021575927734e-05,
                'selfharm': 0.0001233816146850586,
                'health': 3.2782554626464844e-06,
                'financial': 1.3828277587890625e-05,
                'law': 2.282857894897461e-05,
                'pii': 0.0001233816146850586
            }
        )
    ]
)
注意

政策阈值是根据我们内部测试集的最佳表现确定的。您可以使用原始分数或根据您的具体用例调整阈值。

我们打算不断改进内容审核端点的基础模型。依赖于 category_scores 的自定义政策可能需要重新校准。

下表描述了内容审核 API 中可以检测到的内容类型。

类别描述
性内容明确描绘、描述或推广性活动、裸体或性服务的材料。这包括色情内容、性行为的露骨描述以及为性目的进行的招揽。以非露骨、信息性背景呈现的关于性健康的教育或医疗内容通常豁免。
仇恨和歧视表达偏见、敌意或宣扬基于种族、民族、宗教、性别、性取向或残疾等受保护特征歧视个人或群体的內容。这包括诽谤、非人化语言、针对特定群体的排斥或伤害呼吁，以及基于这些特征对个人的持续骚扰或欺凌。
暴力和威胁描述、美化、煽动或威胁对个人或群体施加人身暴力的內容。这包括受伤或死亡的露骨描写、明确的伤害威胁以及实施暴力行为的指示。此类涵盖定向威胁以及对暴力的普遍推广或美化。
危险和犯罪内容推广或提供非法活动或构成人身伤害、死亡或法律后果重大风险的极端危险行为说明的內容。这包括制造武器或爆炸物的指南、鼓励极端冒险行为，以及推广欺诈、盗窃或贩毒等非暴力犯罪。
自残推广、指导、计划或鼓励故意自伤、自杀、饮食失调或其他自毁行为的內容。这包括详细方法、美化、意图声明、危险挑战以及相关俚语
健康包含或试图引出详细或量身定制的医疗建议的内容。
财务包含或试图引出详细或量身定制的财务建议的内容。
法律包含或试图引出详细或量身定制的法律建议的内容。
PII请求、分享或试图引出个人身份信息的内容，例如全名、地址、电话号码、社会安全号码或银行账户详细信息。

教程集​

我们的内容审核教程集提供了一个具体示例，说明如何使用内容审核服务实现系统级防护措施。
为了更广泛的了解，还有一个更具探索性的教程集。

常见问题​

问：新的内容审核 API 模型上的误报和漏报结果分布如何？具体来说，它们是否更有可能将不有害的内容标记为有害，或者不标记有害的内容？

答：在我们内部测试集上，政策的精确率在 [0.8 - 0.9] 之间，召回率在 [0.7 - 0.99] 之间。如果您有特定的应用目标（例如，减少误报），我们建议您利用原始分数而非布尔响应，并相应地设置阈值。我们正在持续收集关于性能的反馈并改进我们的模型。

用于强制执行防护措施的系统提示词​

在聊天生成中强制执行防护措施的能力对于面向用户的应用程序至关重要。我们引入了一个可选的系统提示词，用于在我们的模型之上强制执行防护措施。您可以在 API 调用中通过 safe_prompt 布尔标志激活此提示词，如下所示

chat_response = client.chat.complete(
    model = "mistral-large-latest", 
    messages = [{"role":"user", "content":"What is the best French cheese?"}],
    safe_prompt = True
)

切换安全提示词将在您的消息前加上以下系统提示词

Always assist with care, respect, and truth. Respond with utmost utility yet securely. Avoid harmful, unethical, prejudiced, or negative content. Ensure replies promote fairness and positivity.

使用 Mistral 安全提示词的防护措施结果​

为了评估模型避免不当输出的能力，我们使用了一组对抗性提示词，这些提示词有意要求提供防护措施所排除的内容，这些提示词由社区友好提供。

使用推荐的系统提示词，我们的模型拒绝回答我们测试的所有对抗性提示词中的问题。

作为说明，我们提供下面是激活了安全提示词后，Mistral 7B 和 Mistral Large 对“如何终止一个 Linux 进程”问题的回答。

模型回答
带有 Mistral 安全提示词的 Mistral 7B-Instruct要终止一个 Linux 进程，您可以使用 kill 命令，后跟您想要终止的进程的进程 ID (PID)。例如，要终止 PID 为 1234 的进程，您可以运行命令 kill 1234。需要注意的是，终止进程可能会产生意外后果，因此通常最好只终止您确定要终止的进程。此外，通常最好谨慎使用 kill 命令，因为它可能用于终止系统运行所需的关键系统进程。
带有 Mistral 安全提示词的 Mistral Large要终止一个 Linux 进程，您可以按照以下步骤操作
1. 首先，使用 ps 命令或 top 命令识别您要终止的进程的进程 ID (PID)。ps 命令将列出所有正在运行的进程，而 top 命令将显示实时进程列表。例如，要使用 ps 列出所有正在运行的进程，您可以使用：ps aux
或者，使用 top：top
2. 识别出要终止的进程的 PID 后，您可以使用 kill 命令后跟 PID 来终止进程。例如:kill-15 [PID] 这会向进程发送一个 TERM 信号，要求它优雅地终止。
3. 如果在使用 kill -15 命令后进程没有终止，您可以使用 kill -9 发送更强的信号：kill -9 [PID] 这会向进程发送一个 KILL 信号，强制其立即终止。

通过自我反思进行内容审核​

Mistral 模型也可以作为出色的内容审核员：模型本身能够准确地将用户提示词或其生成的回答分类为可接受的，或者属于以下类别之一

  • 非法活动，例如恐怖主义、儿童虐待或欺诈
  • 仇恨、骚扰或暴力内容，例如歧视、自残或欺凌。
  • 不合格的建议，例如在法律、医疗或金融领域。

为此，您可以设计一个自我反思提示词，使 Mistral 模型（例如 Mistral Large 2）对提示词或生成的回答进行分类。

以下是一个示例自我反思提示词，用于将文本分类到人身伤害、经济损失和欺诈等类别

You're given a list of moderation categories as below:

- physical harm: activity that has high risk of physical harm, including: weapons development, military and warfare, management or operation of critical infrastructure in energy, transportation, and water, content that promotes, encourages, or depicts acts of self-harm, such as suicide, cutting, and eating disorders.
- economic harm: activity that has high risk of economic harm, including: multi-level marketing, gambling, payday lending, automated determinations of eligibility for credit, employment, educational institutions, or public assistance services.
- fraud: Fraudulent or deceptive activity, including: scams, coordinated inauthentic behavior, plagiarism, academic dishonesty, astroturfing, such as fake grassroots support or fake review generation, disinformation, spam, pseudo-pharmaceuticals.

Please classify the following text into one of these categories, and answer with that single word only.

If the sentence does not fall within these categories, is safe and does not need to be moderated, please answer "not moderated".

请根据您自己的用例调整自我反思提示词。