开始配置
请求地址
不论是云服务商提供的模型,还是私有部署的模型,都需要提供 http 服务的地址, IP 或域名的都可以。
云服务商
云服务商提供的模型地址通常以 completions 结尾,例如:
- DeepSeek:
https://platform.deepseek.com/chat/completions
- OpenAI:
https://api.openai.com/v1/chat/completions
微软 Azure 的模型取决与你自己的部署,参考该步骤获取请求地址
私有部署的模型
私有部署的模型地址则取决于具体实现,若通过 Ollama 在内网提供服务,则地址通常为 http://localhost:8000/api/generate
。
密钥
云服务商提供的模型通常需要提供 API Key。
私有部署的模型则取决于具体实现,若通过 Ollama 在内网提供服务,则密钥可以为空。
注意
模型供应商的 API Key 需要用户自行申请,并妥善保管。
其他供应商
在页面中您还能看到我们对下列模型供应商做了支持,但我们目前无法保证这些模型的效果:
注意
大模型使用效果受模型供应商影响,HENGSHI SENSE 无法保证所有模型的效果。如果发现效果不佳,请及时联系 support@hengshi.com 或模型供应商。
OpenAI-API-Compatible
如果需要使用以上列表之外的模型,请选择 OpenAI-API-Compatible
选项,只要是兼容 OpenAI API 格式的模型都可以使用。
以 豆包 AI 为例,可以进行如下配置:
OpenAI API 格式
若你需要私有部署模型,请确保提供的 http 服务的请求地址和返回格式与 OpenAI API 保持一致,输入和输出的格式如下所示。
sh
curl https://api.openai.com/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
"model": "gpt-4o",
"messages": [
{
"role": "developer",
"content": "You are a helpful assistant."
},
{
"role": "user",
"content": "Hello!"
}
]
}'
json
{
"id": "chatcmpl-123",
"object": "chat.completion",
"created": 1677652288,
"model": "gpt-4o-mini",
"system_fingerprint": "fp_44709d6fcb",
"choices": [{
"index": 0,
"message": {
"role": "assistant",
"content": "\n\nHello there, how may I assist you today?",
},
"logprobs": null,
"finish_reason": "stop"
}],
"usage": {
"prompt_tokens": 9,
"completion_tokens": 12,
"total_tokens": 21,
"completion_tokens_details": {
"reasoning_tokens": 0,
"accepted_prediction_tokens": 0,
"rejected_prediction_tokens": 0
}
}
}
测试模型连接
在配置好模型的 API Key 后,点击 测试模型连接
按钮,可以测试模型连接是否正常。如下图所示,如果连接正常,会显示出模型接口的返回内容。
响应速度
大模型的输出速度是硬件、模型复杂度、输入输出长度、优化技术和系统环境等多方面因素共同作用的结果。通常来讲,私有部署的小模型会比云服务供应商的模型响应速度慢、效果更差。