跳到主要内容

AWS Bedrock

简介​

Mistral AI 的开放和商业模型可以在 AWS Bedrock 云平台上作为完全托管的端点部署。AWS Bedrock 是一种无服务器服务，因此您无需管理任何基础设施。

截至今天，以下模型可用

  • Mistral Large (24.07, 24.02)
  • Mistral Small (24.02)
  • Mixtral 8x7B
  • Mistral 7B

更多详细信息，请访问模型页面。

入门​

以下部分概述了在 AWS Bedrock 平台上部署和查询 Mistral 模型的步骤。

需要以下各项

  • 有权访问支持 AWS Bedrock 服务并提供您选择的模型访问权限的区域中的 AWS 账户：请参阅AWS 文档，了解每个区域的模型可用性。
  • 具有足够权限的 AWS IAM 主体（用户、角色），更多详细信息请参阅AWS 文档。
  • 设置了相关 AWS SDK 组件的本地代码环境，即
    • AWS CLI：请参阅AWS 文档，了解安装步骤。
    • boto3 Python 库：请参阅AWS 文档，了解安装步骤。

请求访问模型​

按照AWS 文档中的说明解锁访问您选择的 Mistral 模型。

查询模型​

AWS Bedrock 模型可通过 Converse API 访问。

在运行以下示例之前，请务必

  • 正确配置您的开发环境的身份验证凭据。AWS 文档提供了关于所需步骤的详细解释。
  • 创建一个带有 boto3 包（版本 >= 1.34.131）的 Python 虚拟环境。
  • 设置以下环境变量
    • AWS_REGION：部署模型的区域（例如 us-west-2），
    • AWS_BEDROCK_MODEL_ID：模型 ID（例如 mistral.mistral-large-2407-v1:0）。
import boto3
import os

region = os.environ.get("AWS_REGION")
model_id = os.environ.get("AWS_BEDROCK_MODEL_ID")

bedrock_client = boto3.client(service_name='bedrock-runtime', region_name=region)

user_msg = "Who is the best French painter? Answer in one short sentence."
messages = [{"role": "user", "content": [{"text": user_msg}]}]
temperature = 0.0
max_tokens = 1024

params = {"modelId": model_id,
          "messages": messages,
          "inferenceConfig": {"temperature": temperature,
                              "maxTokens": max_tokens}}

resp = bedrock_client.converse(**params)

print(resp["output"]["message"]["content"][0]["text"])

进一步了解​

有关更多详细信息和示例，请参阅以下资源