使用 Cloudflare Workers AI 部署

Cloudflare 是一家提供内容分发网络 (CDN)、DDoS 防护、互联网安全和分布式域名服务器服务的网络性能和安全公司。Cloudflare 推出了 Workers AI，它允许开发者在 Cloudflare 的全球网络上运行由无服务器 GPU 提供支持的 LLM 模型。

要了解更多关于 Workers AI 上的 Mistral 模型，您可以阅读专门的 Cloudflare 文档页面。

设置

要在 Cloudflare 上设置 Workers AI，您需要在 Cloudflare 控制面板上创建一个账户，获取您的账户 ID，并生成一个具有 Workers AI 权限的令牌。然后您可以发送一个完成请求。

curl
typescript
python

curl https://api.cloudflare.com/client/v4/accounts/{ACCOUNT_ID}/ai/run/@cf/mistral/mistral-7b-instruct-v0.1 \
  -X POST \
  -H "Authorization: Bearer {API_TOKEN}" \
  -d '{ "messages": [{ "role": "user", "content": "[INST] 2 + 2 ? [/INST]" }]}'

async function run(model, prompt) {
  const messages = [
    { role: "user", content: prompt },
  ];

  const response = await fetch(
    `https://api.cloudflare.com/client/v4/accounts/{ACCOUNT_ID}/ai/run/${model}`,
    {
      headers: { Authorization: "Bearer {API_TOKEN}" },
      method: "POST",
      body: JSON.stringify({ messages }),
    }
  );
  const result = await response.json();
  return result;
}

run("@cf/mistral/mistral-7b-instruct-v0.1", "[INST] 2 + 2 ? [/INST]").then(
  (response) => {
    console.log(JSON.stringify(response));
  }
);

import requests

API_BASE_URL = "https://api.cloudflare.com/client/v4/accounts/{ACCOUNT_ID}/ai/run/"
headers = {"Authorization": "Bearer {API_TOKEN}"}

def run(model, prompt):
  input = {
    "messages": [
      { "role": "user", "content": prompt }
    ]
  }
  response = requests.post(f"{API_BASE_URL}{model}", headers=headers, json=input)
  return response.json()

output = run("@cf/mistral/mistral-7b-instruct-v0.1", "[INST] 2 + 2 = ? [/INST]")
print(output)

您应该收到的输出如下

{'result': {'response': '2 + 2 = 4.'}, 'success': True, 'errors': [], 'messages': []}

设置​

设置