集成与上线

模型与提供商

你的工作区能用到哪些模型、由谁的账号付费,以及怎样在它们之间做出合理选择。

自带密钥

在此接入提供商凭据: 集成 ,之后每次调用都走你的账号:你的费率、你的配额、你与该提供商之间的数据协议。运维方的共享密钥存在的唯一意义,就是让全新工作区在接入任何东西之前能用起来。

为什么这样设计

自带密钥是一项数据治理属性,不只是计费上的便利。你的提示词、文档和查询结果会送到一家由 你 选定、并与之签有合同的提供商——包括那份合同关于「是否用你的数据训练」的所有条款。接入自己的密钥,是「某个厂商看到了这些」与「我们批准过的那家厂商看到了这些」之间的区别。

支持的提供商——共 16 家

下面是对话路由接受的提供商 id。其他任何值都会在发起调用之前被拒绝。

提供商 id名称你需要配置什么
openaiOpenAIAPI 密钥;组织 id 可选
anthropicAnthropicAPI 密钥
geminiGoogle GeminiAPI 密钥
vertexGoogle Vertex AI服务账号凭据 + 项目与区域
bedrockAmazon BedrockAWS 凭据 + 区域。当数据必须留在你自己的 AWS 账号内时使用。
azure_openaiAzure OpenAI端点 + 部署名 + 密钥
oci_genaiOCI 生成式 AIOracle Cloud 租户凭据
grokGrok(xAI)API 密钥
qwenQwenAPI 密钥
deepseekDeepSeekAPI 密钥。相比转售同款模型,直连可享一手价格与上下文缓存。
moonshotMoonshot AI(Kimi)API 密钥 + 基础 URL——api.moonshot.cn(中国大陆)与 api.moonshot.ai(国际站)是两个彼此独立的账号。
groqGroqAPI 密钥——小模型的快速推理
nvidiaNVIDIA NIMAPI 密钥
openrouterOpenRouter一把密钥、多个模型——想试几家时最省事的方式
ollamaOllama你的 Ollama 主机的基础 URL。本地模型,任何东西都不离开你的机器。
vllmvLLM你的 vLLM 服务的基础 URL。规模化自托管开放权重模型。

注意

ollama 和 vllm 是唯二能把推理完全留在你自己掌控的基础设施上的选项——如果你自托管的理由正是「提示词一点都不能离开内网」,这两个值得了解。

密钥加密存储。建议把它们放进 密钥 并以引用方式使用,这样轮换只需改一处,不必把每个连接器翻一遍。

配置云平台提供商

十六家里有十家只需要一把 API 密钥。剩下这六家要的更多,把确切字段摊在眼前是值得的——大多数连接失败都是这些值填错了格子。

提供商字段说明
bedrockregion, accessKeyId, secretAccessKey,另有可选的 sessionToken会话令牌只用于临时 STS 凭据——如果是长期有效的 IAM 用户,请留空。
vertexprojectId, location, serviceAccountJson把整个服务账号 JSON 文件粘贴进来。保存时会解析它,因此粘贴不完整会立即失败,而不是等到第一次使用。
azure_openaiendpoint, apiKey,另有可选的 apiVersion端点是资源根地址,例如 https://my-resource.openai.azure.com。API 版本默认为 2024-08-01-preview.
oci_genairegion, compartmentId, tenancyOcid, userOcid, fingerprint, privateKeyPem六个字段,全部取自你的 OCI API 密钥配置文件。 style 用于选择 GENERIC 还是 COHERE 的请求格式。
anthropicapiKey列在这里是因为它除了工作区密钥之外,也支持使用已保存的云凭据。
qwenapiKey,可选 baseUrl如果指向的是区域端点或自管端点,请设置基础 URL。

在 Azure 上,模型名就是部署名

这里没有单独的部署字段,几乎每个人都在此栽过。请求是按 <endpoint>/openai/deployments/<model>/chat/completions 拼出来的——所以你填在「模型」里的东西,必须是你在 Azure 门户里给该部署起的名字,而不是底层模型名。如果你把 gpt-4o 以名称 prod-chat部署了,那么模型就是 prod-chat。这里填错,Azure 返回的是 404,看起来像是端点写错了。

把推理留在自己的机器上

ollama 和 vllm 只需要一个基础 URL,别的都不要。两者都兼容 OpenAI,所以模型 id 就是服务端自己上报的那个。

text
ollama    http://localhost:11434
vllm      http://vllm.internal:8000/v1

本地 URL 也必须能从应用访问到

调用它们的是应用,不是你的浏览器,所以 localhost 指的是 服务端上的 localhost。应用跑在 Docker 里、Ollama 跑在宿主机上时,应该写 http://host.docker.internal:11434,而不是 http://localhost:11434 ——本地模型明明跑得很好却「找不到」,最常见的就是这个原因。

内网拦截在这里不适用

BLOCK_PRIVATE_NETWORK_FETCH 防护的是 URL 可能来自 用户或模型 的那些位置——MCP 端点、集群 HTTP 节点、页面抓取。提供商的基础 URL 属于运维配置,会被直接调用,因为「模型服务位于私有地址」正是这两者存在的全部意义。请把基础 URL 当作受信任的输入:谁能设置它,谁就能让应用去调它。

模型注册表

配置 → 模型注册表 用来筛选应用各处选择器里出现哪些模型。不管它的话,你所接入提供商暴露的每个模型都会被列出——在共享实例上这几乎从不是你想要的,那里几个靠谱的默认项胜过两百条的长列表。

  • 按提供商启用或隐藏模型。
  • 记录上下文窗口和成本,让选择器能在做选择的那一刻把取舍摆出来。
  • 为新建智能体设定工作区默认模型。

注册表管的是 可见性。要控制某个人被 允许 运行什么,请使用 访问控制 里的模型规则——那些是在服务端对每个请求强制执行的,不只是在界面上藏起来。

如何选择模型

不存在唯一最好的模型,只有每类任务各自合适的模型。下面这份粗略指南在实践中站得住:

任务倾向于选什么
分类、路由、抽取能胜任的最小模型。便宜又快;这类任务是机械性的。
基于检索的问答中档模型配大上下文窗口——这里的工作是阅读,不是推理。
多步工具调用 / 集群编排用强模型。弱模型会选错工具然后陷入循环。
长文起草强模型,温度调高一些。
代码生成如果你的提供商有代码微调模型,就用它。
视觉(截图、扫描件)支持视觉的模型——查一下注册表条目。

注意

起步时选得比你以为的更小,等你能指出具体哪里失败了再升级。大多数「模型不够好」最后都是提示词太单薄、缺了某个工具,或者检索什么都没返回——这些在这里都看得见: 追踪记录,而且换更大的模型一个都解决不了。

温度与令牌

温度
随机性的大小。抽取、分类以及任何你要解析的输出都用接近 0 的值;写作用 0.5 到 0.8。给会用工具的智能体调高温度,会让它在选哪个工具上飘忽不定。
最大令牌数
回复长度的上限。设太低会在句子中间截断——这是 JSON 响应解析不了的常见原因。
上下文窗口
提示词加回复的总预算。检索上下文长、历史又长,就是把它耗尽的原因;最早的那些对话轮次会先被挤出去。

覆盖与兜底

智能体有一个已保存的模型,你可以在此按会话覆盖它: 智能体对话 ——这是可用的最快 A/B 测试方式。如果某个提供商出错、或某个模型不被允许,平台会说明原因,并提议换一个被允许的模型重试,而不是静默失败。

成本

每次调用都会把输入 / 输出令牌数、延迟和成本记在发起它的用户名下。消费额可在此查看: 分析,并可在此按用户、用户组或凭据设上限: 预算。在共享实例上,请在发放访问权之前就设好上限,而不是等第一次被账单惊到之后。