Snowflake Cortex

介绍

Mistral AI 的开源模型和商业模型可以在 Snowflake Cortex 平台上作为完全托管的端点使用。Snowflake Cortex 上的 Mistral 模型是无服务器服务，因此您无需管理任何基础设施。

截至今日，以下模型可用：

• Mistral Large
• Mistral 7B

更多详细信息，请访问模型页面。

开始

以下部分概述了在 Snowflake Cortex 平台上查询最新版本的 Mistral Large 的步骤。

获取模型访问权限

需要以下各项：

• 关联的 Snowflake 账户必须位于兼容的区域（参见 Snowflake 文档中的区域列表）。
• 调用模型的主体必须具有 CORTEX_USER 数据库角色。

查询模型（聊天补全）

可以通过 SQL 或使用 Snowpark ML 在 Python 中直接调用该模型。它通过COMPLETE LLM 函数公开。

SQL

SELECT SNOWFLAKE.CORTEX.COMPLETE('mistral-large2', 'Who is the best French painter? Answer in one short sentence.');

Python

可以从托管的 Snowflake Notebook 或您的本地机器执行此代码。

对于本地执行，您需要：

• 使用以下软件包创建虚拟环境：
  • snowflake-ml-python（已用 1.6.1 版本测试）
• 确保您的系统上有名为 mistral 并已正确配置的连接的配置文件，其中包含正确的凭据。以下示例假设您有一个名为 mistral 并已正确配置的连接。

from snowflake.snowpark import Session
from snowflake.ml.utils import connection_params
from snowflake.cortex import Complete

# Start session (local execution only)
params = connection_params.SnowflakeLoginOptions(connection_name="mistral")
session = Session.builder.configs(params).create()

# Query the model
prompt = "Who is the best French painter? Answer in one short sentence."
completion = Complete(model="mistral-large2", prompt=prompt)
print(completion)

进一步了解

有关更多信息和示例，您可以查阅 Snowflake 文档，了解：

• LLM 函数
• SQL 和 Python 中 COMPLETE 函数的 API。