TokiAI
模型

模型参数

了解如何在 OpenAI 兼容请求中选择模型和设置常用参数。

指定模型

调用聊天补全时,model 是必填字段。请使用模型页面或控制台展示的模型标识:

const completion = await openai.chat.completions.create({
  model: 'deepseek/deepseek-chat-v3',
  messages: [{ role: 'user', content: '解释量子计算' }],
});

常用参数

参数说明
temperature控制随机性。值越高,输出越发散。
top_p核采样参数,通常不要和 temperature 同时大幅调整。
max_tokens限制本次响应最多生成的 token 数。
stream设置为 true 后使用 SSE 流式返回。
response_format用于指定 JSON 等输出格式;是否支持取决于模型。

能力差异

不同模型对以下能力的支持可能不同:

  • 上下文长度
  • 图片或多模态输入
  • 工具调用
  • JSON 模式
  • 推理过程字段
  • 可用采样参数

如果所选模型不支持某参数,服务器可能采取以下方式之一处理:返回参数验证错误,或忽略不支持的可选字段。在生产环境中,建议在启用高级功能之前,先使用目标模型验证最小请求格式是否正常工作。

选择建议

  1. 先根据任务类型筛选模型能力,例如文本、图片、长上下文或工具调用。
  2. 再根据响应速度、价格和稳定性做取舍。
  3. 对于生产系统,建议为不同使用场景分配独立的 API 密钥,按环境或项目设置独立的配额限制,分别监控使用情况,以提升可观测性和风险控制能力。

On this page