TensorOcean Global 文档
高级设置

添加自己的模型服务

配置其他模型服务,并按需为已有模型添加备用线路。

只使用 TensorOcean Global 服务时,可保留默认设置。需要自己的其他模型服务作为备用时:

  1. 打开 网关 → 用户上游,点击 添加上游。
  2. 填写名称、服务提供方的 API 基础地址、协议和 API 密钥。远程地址使用 HTTPS;HTTP 仅支持本机回环地址,例如 http://127.0.0.1:8080 或 http://localhost:8080,不支持普通局域网 HTTP 地址。
  3. 保存后进入模型页,当前上游已选中;以后也可从该上游的 模型 进入。展开 发现上游模型 并 同步模型,核对其准确模型名称。
  4. 要给已有 TensorOcean Global 模型增加备用线路,找到并展开该模型,点击 配置线路,添加自有上游、匹配的请求协议及等价的上游模型名称并保存。只导入一个 user/ 模型不会建立这条备用线路。
  5. 回到用户上游,用 上移、下移 调整备用顺序,修改会立即保存。TensorOcean Global 始终是支持模型的固定首选。
  6. 在 可用性策略 中检查是否启用故障转移。普通使用可以先保留超时、重试和冷却的默认值。

检查连接 只检查模型目录连接。需要确认生成能力时,回到模型线路进行可用性测试。编辑上游时,API 密钥留空表示保留已存密钥。

故障转移成功后,同一会话可能继续使用备用上游,以保持会话稳定。需要重新选路时,在 可用性策略 → 会话粘滞 中对相应会话点击 重置会话。流式回复中断不会自动重放整次请求,避免重复操作或重复生成。

自有上游可能由该服务提供方收费,其额度不会显示为 TensorOcean Global 云端账户余额。

本地脱敏及其限制见数据与隐私。失败后的查看方法见请求记录与诊断。