集成与上线
模型与提供商
你的工作区能用到哪些模型、由谁的账号付费,以及怎样在它们之间做出合理选择。
自带密钥
在此接入提供商凭据: 集成 ,之后每次调用都走你的账号:你的费率、你的配额、你与该提供商之间的数据协议。运维方的共享密钥存在的唯一意义,就是让全新工作区在接入任何东西之前能用起来。
为什么这样设计
支持的提供商——共 16 家
下面是对话路由接受的提供商 id。其他任何值都会在发起调用之前被拒绝。
| 提供商 id | 名称 | 你需要配置什么 |
|---|---|---|
openai | OpenAI | API 密钥;组织 id 可选 |
anthropic | Anthropic | API 密钥 |
gemini | Google Gemini | API 密钥 |
vertex | Google Vertex AI | 服务账号凭据 + 项目与区域 |
bedrock | Amazon Bedrock | AWS 凭据 + 区域。当数据必须留在你自己的 AWS 账号内时使用。 |
azure_openai | Azure OpenAI | 端点 + 部署名 + 密钥 |
oci_genai | OCI 生成式 AI | Oracle Cloud 租户凭据 |
grok | Grok(xAI) | API 密钥 |
qwen | Qwen | API 密钥 |
deepseek | DeepSeek | API 密钥。相比转售同款模型,直连可享一手价格与上下文缓存。 |
moonshot | Moonshot AI(Kimi) | API 密钥 + 基础 URL——api.moonshot.cn(中国大陆)与 api.moonshot.ai(国际站)是两个彼此独立的账号。 |
groq | Groq | API 密钥——小模型的快速推理 |
nvidia | NVIDIA NIM | API 密钥 |
openrouter | OpenRouter | 一把密钥、多个模型——想试几家时最省事的方式 |
ollama | Ollama | 你的 Ollama 主机的基础 URL。本地模型,任何东西都不离开你的机器。 |
vllm | vLLM | 你的 vLLM 服务的基础 URL。规模化自托管开放权重模型。 |
注意
ollama 和 vllm 是唯二能把推理完全留在你自己掌控的基础设施上的选项——如果你自托管的理由正是「提示词一点都不能离开内网」,这两个值得了解。密钥加密存储。建议把它们放进 密钥 并以引用方式使用,这样轮换只需改一处,不必把每个连接器翻一遍。
配置云平台提供商
十六家里有十家只需要一把 API 密钥。剩下这六家要的更多,把确切字段摊在眼前是值得的——大多数连接失败都是这些值填错了格子。
| 提供商 | 字段 | 说明 |
|---|---|---|
bedrock | region, accessKeyId, secretAccessKey,另有可选的 sessionToken | 会话令牌只用于临时 STS 凭据——如果是长期有效的 IAM 用户,请留空。 |
vertex | projectId, location, serviceAccountJson | 把整个服务账号 JSON 文件粘贴进来。保存时会解析它,因此粘贴不完整会立即失败,而不是等到第一次使用。 |
azure_openai | endpoint, apiKey,另有可选的 apiVersion | 端点是资源根地址,例如 https://my-resource.openai.azure.com。API 版本默认为 2024-08-01-preview. |
oci_genai | region, compartmentId, tenancyOcid, userOcid, fingerprint, privateKeyPem | 六个字段,全部取自你的 OCI API 密钥配置文件。 style 用于选择 GENERIC 还是 COHERE 的请求格式。 |
anthropic | apiKey | 列在这里是因为它除了工作区密钥之外,也支持使用已保存的云凭据。 |
qwen | apiKey,可选 baseUrl | 如果指向的是区域端点或自管端点,请设置基础 URL。 |
在 Azure 上,模型名就是部署名
<endpoint>/openai/deployments/<model>/chat/completions 拼出来的——所以你填在「模型」里的东西,必须是你在 Azure 门户里给该部署起的名字,而不是底层模型名。如果你把 gpt-4o 以名称 prod-chat部署了,那么模型就是 prod-chat。这里填错,Azure 返回的是 404,看起来像是端点写错了。把推理留在自己的机器上
ollama 和 vllm 只需要一个基础 URL,别的都不要。两者都兼容 OpenAI,所以模型 id 就是服务端自己上报的那个。
ollama http://localhost:11434
vllm http://vllm.internal:8000/v1本地 URL 也必须能从应用访问到
localhost 指的是 服务端上的 localhost。应用跑在 Docker 里、Ollama 跑在宿主机上时,应该写 http://host.docker.internal:11434,而不是 http://localhost:11434 ——本地模型明明跑得很好却「找不到」,最常见的就是这个原因。内网拦截在这里不适用
BLOCK_PRIVATE_NETWORK_FETCH 防护的是 URL 可能来自 用户或模型 的那些位置——MCP 端点、集群 HTTP 节点、页面抓取。提供商的基础 URL 属于运维配置,会被直接调用,因为「模型服务位于私有地址」正是这两者存在的全部意义。请把基础 URL 当作受信任的输入:谁能设置它,谁就能让应用去调它。模型注册表
配置 → 模型注册表 用来筛选应用各处选择器里出现哪些模型。不管它的话,你所接入提供商暴露的每个模型都会被列出——在共享实例上这几乎从不是你想要的,那里几个靠谱的默认项胜过两百条的长列表。
- 按提供商启用或隐藏模型。
- 记录上下文窗口和成本,让选择器能在做选择的那一刻把取舍摆出来。
- 为新建智能体设定工作区默认模型。
注册表管的是 可见性。要控制某个人被 允许 运行什么,请使用 访问控制 里的模型规则——那些是在服务端对每个请求强制执行的,不只是在界面上藏起来。
如何选择模型
不存在唯一最好的模型,只有每类任务各自合适的模型。下面这份粗略指南在实践中站得住:
| 任务 | 倾向于选什么 |
|---|---|
| 分类、路由、抽取 | 能胜任的最小模型。便宜又快;这类任务是机械性的。 |
| 基于检索的问答 | 中档模型配大上下文窗口——这里的工作是阅读,不是推理。 |
| 多步工具调用 / 集群编排 | 用强模型。弱模型会选错工具然后陷入循环。 |
| 长文起草 | 强模型,温度调高一些。 |
| 代码生成 | 如果你的提供商有代码微调模型,就用它。 |
| 视觉(截图、扫描件) | 支持视觉的模型——查一下注册表条目。 |
注意
温度与令牌
- 温度
- 随机性的大小。抽取、分类以及任何你要解析的输出都用接近 0 的值;写作用 0.5 到 0.8。给会用工具的智能体调高温度,会让它在选哪个工具上飘忽不定。
- 最大令牌数
- 回复长度的上限。设太低会在句子中间截断——这是 JSON 响应解析不了的常见原因。
- 上下文窗口
- 提示词加回复的总预算。检索上下文长、历史又长,就是把它耗尽的原因;最早的那些对话轮次会先被挤出去。
覆盖与兜底
智能体有一个已保存的模型,你可以在此按会话覆盖它: 智能体对话 ——这是可用的最快 A/B 测试方式。如果某个提供商出错、或某个模型不被允许,平台会说明原因,并提议换一个被允许的模型重试,而不是静默失败。
成本
每次调用都会把输入 / 输出令牌数、延迟和成本记在发起它的用户名下。消费额可在此查看: 分析,并可在此按用户、用户组或凭据设上限: 预算。在共享实例上,请在发放访问权之前就设好上限,而不是等第一次被账单惊到之后。