---
url: /v6.2/ai_models.md
---
# AI 模型配置

## 开始配置

### 请求地址

不论是云服务商提供的模型，还是私有部署的模型，都需要提供 http 服务的地址， IP 或域名的都可以。

##### 云服务商

云服务商提供的模型地址通常以 completions 结尾，例如：

* [DeepSeek](https://platform.deepseek.com/api_keys)：`https://platform.deepseek.com/chat/completions`
* [OpenAI](https://platform.openai.com/account/api-keys)：`https://api.openai.com/v1/chat/completions`

微软 Azure 的模型取决与你自己的部署，参考[该步骤](azure-openai.md)获取请求地址

##### 私有部署的模型

私有部署的模型地址则取决于具体实现，若通过 Ollama 在内网提供服务，则地址通常为 `http://localhost:8000/api/generate`。

### 密钥

云服务商提供的模型通常需要提供 API Key。

私有部署的模型则取决于具体实现，若通过 Ollama 在内网提供服务，则密钥可以为空。

> \[!CAUTION] 注意
> 模型供应商的 API Key 需要用户自行申请，并妥善保管。

### 其他供应商

在页面中您还能看到我们对下列模型供应商做了支持，但我们目前无法保证这些模型的效果：

* [DeepSeek](https://platform.deepseek.com/api_keys)
* [OpenAI](https://platform.openai.com/account/api-keys)
* [01AI](https://platform.lingyiwanwu.com/apikeys)
* [Baichuan AI](https://www.baichuan-ai.com/)
* [Bedrock](https://console.aws.amazon.com/)
* [Groq Cloud](https://console.groq.com/)
* [MiniMax](https://api.minimax.chat/user-center/basic-information/interface-key)
* [MistralAI](https://console.mistral.ai/api-keys/)
* [MoonShot AI](https://platform.moonshot.cn/console/api-keys)
* [Nvidia](https://build.nvidia.com/explore/discover)
* [TogetherAI](https://api.together.xyz/)
* [通义千问](https://dashscope.console.aliyun.com/api-key_management)

> \[!CAUTION] 注意
> 大模型使用效果受模型供应商影响，HENGSHI SENSE 无法保证所有模型的效果。如果发现效果不佳，请及时联系 support@hengshi.com 或模型供应商。

#### OpenAI-API-Compatible

如果需要使用以上列表之外的模型，请选择 `OpenAI-API-Compatible` 选项，只要是兼容 [OpenAI API 格式](#OpenAI-API-格式)的模型都可以使用。

以 [豆包 AI](https://www.volcengine.com/docs/82379/1298454#%E8%AF%B7%E6%B1%82%E7%A4%BA%E4%BE%8B) 为例，可以进行如下配置：

![豆包 AI 配置](/images/copilot/ai-copilot-compatible.png)

#### 私有部署模型推荐

如果你需要在内网私有部署开源模型，以下是我们针对不同使用场景的推荐方案：

##### Workflow 模式推荐

Workflow 模式以结构化任务处理为主，对推理能力和指令遵循要求较高。推荐以下模型：

| 模型 | 总参数 / 激活参数 | 下载地址 | 推荐 GPU 配置 |
|------|-----------------|----------|---------------|
| Qwen3.5-27B | 27B / 27B（稠密模型） | [HuggingFace](https://huggingface.co/Qwen/Qwen3.5-27B) | 2× NVIDIA A100 80G 或 4× A800 40G（BF16 推理）；生产环境建议搭配 SGLang 推理框架 |

##### Agent 模式推荐

Agent 模式需要强大的多步推理、工具调用和长上下文处理能力，对模型规模要求更高。推荐以下旗舰级模型：

| 模型 | 总参数 / 激活参数 | 下载地址 | 推荐 GPU 配置 |
|------|-----------------|----------|---------------|
| Kimi-K2.5 | 1T (1000B) / 32B（MoE） | [HuggingFace](https://huggingface.co/moonshotai/Kimi-K2.5) | 8× NVIDIA H100 80G 或 16× A100 80G；建议使用 SGLang 推理框架 |
| MiniMax-M2.5 | 230B / 10B（MoE） | [HuggingFace](https://huggingface.co/MiniMaxAI/MiniMax-M2.5) | 4× NVIDIA A100 80G 或 8× A800 40G；建议使用 SGLang 推理框架 |
| DeepSeek-V4-Flash | 284B / 13B（MoE） | [HuggingFace](https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash) | 4× NVIDIA A100 80G 或 8× A800 40G；建议使用 SGLang 推理框架 |
| GLM-5 | 744B / 40B（MoE） | [HuggingFace](https://huggingface.co/zai-org/GLM-5) | 8× NVIDIA H100 80G 或 16× A100 80G；建议使用 SGLang 推理框架 |

> \[!TIP] 说明
> 以上 GPU 配置均为生产级别建议，基于 BF16 精度全量推理。如需降低显存需求，可考虑使用 INT4/INT8 量化版本，显存需求约减少 50%~75%，但可能影响模型效果。实际资源需求请以各模型官方文档为准。

#### OpenAI API 格式

若你需要私有部署模型，请确保提供的 http 服务的请求地址和返回格式与 [OpenAI API](https://platform.openai.com/docs/api-reference/chat/create) 保持一致，输入和输出的格式如下所示。

:::code-group

```sh [Request]
curl https://api.openai.com/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{
    "model": "gpt-4o",
    "messages": [
      {
        "role": "developer",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "Hello!"
      }
    ]
  }'
```

```json [Response]
{
  "id": "chatcmpl-123",
  "object": "chat.completion",
  "created": 1677652288,
  "model": "gpt-4o-mini",
  "system_fingerprint": "fp_44709d6fcb",
  "choices": [{
    "index": 0,
    "message": {
      "role": "assistant",
      "content": "\n\nHello there, how may I assist you today?",
    },
    "logprobs": null,
    "finish_reason": "stop"
  }],
  "usage": {
    "prompt_tokens": 9,
    "completion_tokens": 12,
    "total_tokens": 21,
    "completion_tokens_details": {
      "reasoning_tokens": 0,
      "accepted_prediction_tokens": 0,
      "rejected_prediction_tokens": 0
    }
  }
}
```

:::

### 测试模型连接

在配置好模型的 API Key 后，点击 `测试模型连接` 按钮，可以测试模型连接是否正常。如下图所示，如果连接正常，会显示出模型接口的返回内容。

![测试模型连接](/images/copilot/test-connection.png)

## 响应速度

大模型的输出速度是硬件、模型复杂度、输入输出长度、优化技术和系统环境等多方面因素共同作用的结果。通常来讲，私有部署的小模型会比云服务供应商的模型响应速度慢、效果更差。

# 测试模型连接失败怎么排查？

连接失败有多种原因，建议按以下步骤进行排查：

## 检查请求地址

确保模型地址是正确的，不同厂商提供的模型地址是不同的，具体请查找你购买的厂商提供的文档。

我们可以提供初步排查指引：

* 各家模型提供商的模型地址通常都以 `<host>/chat/completions` 结尾，而不是只有域名，例如 `https://api.openai.com/v1/chat/completions`。
* 假如你的模型厂商是 Azure OpenAI，模型地址的构成是`https://<your-tenant>.openai.azure.com/openai/deployments/<your-model>/chat/completions`，**其中 `<your-tenant>` 是你的租户名，`<your-model>` 是你的模型名**，需要你登录到 Azure OpenAI 平台查看，更详细步骤请参考[连接 Azure OpenAI](azure-openai.md)。
* 假如你的模型厂商是通义千问，模型地址有两种，一种是兼容 OpenAI 格式的 `https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions`，另一种是通义千问特有的 `https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation`，**当你使用 OpenAI 兼容格式(指 url 里包含 compatible-mode)时，请在衡石智能查数助手模型配置中选择 `OpenAI` 或 `OpenAI-API-compatible` 作为供应商**。
* 假如你的模型是**私有部署**的，请确保模型地址是正确的，并且模型服务已经启动，确保模型提供了 HTTP 服务，并且接口的格式与 OpenAI API 接口兼容。

## 检查密钥

* 各家模型提供商的大模型接口通常需要密钥才能访问，请确保你提供的密钥是正确的，并且有访问该模型的权限。
* 假如你公司采用了自己部署的模型，密钥是有可能不需要的，请与你公司开发人员或你公司工程团队确认。

## 检查模型名称

* 各家模型提供商普遍都提供了多种模型，请根据需要选择合适的模型，并确保你提供的模型名称是正确的，并且有访问该模型的权限。
* 假如你公司采用了自己部署的模型，模型名称是有可能不需要的，请与你公司开发人员或你公司工程团队确认。