高级设置
添加自己的模型服务
配置其他模型服务,并按需为已有模型添加备用线路。
只使用 TensorOcean Global 服务时,可保留默认设置。需要自己的其他模型服务作为备用时:
- 打开 网关 → 用户上游,点击 添加上游。
- 填写名称、服务提供方的 API 基础地址、协议和 API 密钥。远程地址使用 HTTPS;HTTP 仅支持本机回环地址,例如
http://127.0.0.1:8080或http://localhost:8080,不支持普通局域网 HTTP 地址。 - 保存后进入模型页,当前上游已选中;以后也可从该上游的 模型 进入。展开 发现上游模型 并 同步模型,核对其准确模型名称。
- 要给已有 TensorOcean Global 模型增加备用线路,找到并展开该模型,点击 配置线路,添加自有上游、匹配的请求协议及等价的上游模型名称并保存。只导入一个
user/模型不会建立这条备用线路。 - 回到用户上游,用 上移、下移 调整备用顺序,修改会立即保存。TensorOcean Global 始终是支持模型的固定首选。
- 在 可用性策略 中检查是否启用故障转移。普通使用可以先保留超时、重试和冷却的默认值。
检查连接 只检查模型目录连接。需要确认生成能力时,回到模型线路进行可用性测试。编辑上游时,API 密钥留空表示保留已存密钥。
故障转移成功后,同一会话可能继续使用备用上游,以保持会话稳定。需要重新选路时,在 可用性策略 → 会话粘滞 中对相应会话点击 重置会话。流式回复中断不会自动重放整次请求,避免重复操作或重复生成。
自有上游可能由该服务提供方收费,其额度不会显示为 TensorOcean Global 云端账户余额。