TensorOcean Global 文档

流式输出与工具调用

正确判断流是否完成,并由应用安全执行模型请求的工具。

先用 stream: false 完成一次普通请求,再增加流式输出或工具调用。Python和 TypeScript页面提供各协议的流式代码。

流式输出如何结束

流式响应通过 SSE 分段发送。不同协议的事件和结束条件不同:

协议文本增量正常结束
Chat Completionschoices[].delta.content原始流的 data: [DONE];同时检查各 choice 的 finish_reason
Responsesresponse.output_text.deltaresponse.completed
Messages文本内容块的 deltamessage_stop;同时检查 stop_reason

收到第一段内容或 HTTP 200 不代表整个请求成功。检查响应体或事件中的 error;Responses 的 response.failed、response.incomplete 和 error 都不能当作完成。捕获 SDK 异常,并将提前断开的流标记为未完成。

SDK 会解析协议事件。Chat SDK 示例还检查是否收到 choice 的结束原因;原始 HTTP 客户端应额外确认 [DONE],不要把 TCP 连接结束当作协议结束。达到输出上限可能得到正常结束事件,但内容仍被截断:核对 Chat 的 length、Messages 的 max_tokens,以及 Responses 的状态与未完成说明。

使用 curl 调试流式请求时添加 -N,并检查中间代理是否缓存响应。SSE 每一条事件都需按协议解析,不要把整个流当成一个 JSON 对象。

模型请求工具后,谁来执行

模型返回工具名称和参数,执行工具的是你的应用。一般流程是:

  1. 请求中声明工具名称、用途和参数格式。
  2. 收到工具调用后,核对名称、解析并校验参数,执行必要的权限检查;需要用户确认的操作先确认。
  3. 执行工具,记录调用 ID、执行状态与结果。
  4. 按当前协议将工具结果发回模型,再读取后续回复。

Chat 使用 tool_calls 与带 tool_call_id 的工具消息;Responses 使用函数调用项及 function_call_output;Messages 使用 tool_use 和 tool_result 内容块。具体字段见对应接口参考,不能混用。

流式工具参数可能被拆成多个片段,应按调用 ID 和索引拼接完整后再校验和执行。不要执行半段 JSON,也不要仅凭模型输出重复执行已完成的操作。Responses 的函数工具不代表上游托管工具可用。

超时、重试与费用

超时不等于服务端没有执行。收到部分文本、已经执行工具或不清楚请求结果时,先核对调用记录和本地操作状态,再决定是否重试。重发生成请求可能产生另一笔费用;工具执行需要独立的去重记录。

SDK 示例关闭自动重试,便于看清一次请求的结果。生产环境按任务设置超时和有限重试,只对可安全重复的请求重试;限流时遵循服务返回的等待提示。更多排查见API 故障排查。

本页目录