例如你将 ZerolanCore 放到一个你购买的远程服务器上，而 ZerolanLiveRobot 放到你的笔记本电脑上（和远程服务器不是一个主机）， 此时就必须设置为 0.0.0.0；否则，如果 ZerolanLiveRobot 和 ZerolanCore 完全在同一台电脑上，设置 0.0.0.0 或 127.0.0.1 均可，但 127.0.0.1 在程序上更安全。

接着设置 port 项，这是模型 Web 服务的端口号，推荐你使用默认的端口号，但是如果端口号与其他进程冲突则需要更换。

配置模型设置

在配置文件中，可以看到这样的结构：

LLM:
  config:
    ...
    Qwen/Qwen-7B-Chat:
      model_path: "your/path/to/Qwen-7B-Chat" # Directory of the model
      ...

因为你选择了 Qwen/Qwen-7B-Chat 所以只需要修改你启动的那个模型的配置就行了（不启用的模型不用管）。

model_path 是模型的地址，严格来说是一个路径。默认配置下，会尝试从 HuggingFace 模型仓库下载模型，由于部分地区连接 HuggingFace 存在困难，你可以选择配置环境变量。

Linux 设置环境变量：

export HF_ENDPOINT=https://hf-mirror.com

Windows 设置环境变量：

$env:HF_ENDPOINT = "https://hf-mirror.com"

如果使用镜像也无法下载，您可能需要自行探究方法手动访问官方仓库，下载模型，并在 config.yaml 中设置模型地址（目录）。

剩下的选项因模型而异，详细可以看配置文件中的内容，如果你不知道怎么改，就保持默认配置，因为这些配置经过了测试确实可用。

支持集成模型

以下的模型已经集成在 ZerolanCore 中，并均过作者在 Windows 11 和 Ubuntu 22.04 两个主流系统上进行了测试，可以正常使用。然而不同系统的环境差异显著，实在无法广泛覆盖所有情况，如有意外敬请谅解。

[!CAUTION]

如果运行的模型所需要显存大小，远远超过你的系统的显存与内存之和，这可能造成系统崩溃。

因此在模型加载的过程中，请时刻留意你的系统资源状况。在 Windows 中，使用 CTRL + SHIFT + ECS 调出任务管理器进行监视；Ubuntu 上可以使用nvtop 监视显存占用，使用 top 监视内存占用。

需要注意的是，以下表格中的显存占用数据是模型启动后执行一次回复后的显存占用结果，但是随着推理的进行，可能会出现显存占用稍微增加的现象，如果您的显卡显存较小，请尤其注意。

大语言模型

根据自然语言上下文进行推理，遵循用户指令，并给予文字响应。

[!NOTE]

1. THUDM/chatglm3-6b 偶尔存在中文夹杂英文的现象，且量化精度越低这种现象越严重。
2. THUDM/GLM-4 在工具调用时返回的 JSON 字符串高概率存在 JSON 语法错误。
3. Qwen/Qwen-7B-Chat 测试时发现使用多卡推理可能会报错，因此您应该使用单卡推理。
4. augmxnt/shisa-7b-v1 在测试时可能发生无法读取上下文的问题。
5. DeepSeek-R1-Distill-Llama-8B 支持双卡推理，但是存在语句异常中断问题，原因不详。
6. DeepSeek-R1-Distill-Qwen-14B 支持双卡推理，但是其显存已经超出两张 NVIDIA GeForce RTX 4090 的极限。
7. Ollama 确保本机已安装并启动 Ollama 服务。
8. legraphista/glm-4-9b-chat-GGUF 是基于 THUDM/GLM-4 的量化模型版本，因此其他项目例如 ZerolanLiveRobot 的接口可以直接使用 THUDM/GLM-4 的形式，只在本项目启动需要的量化模型即可。

如果使用 Ollama 服务，请执行。

如果使用 uv，运行：

cd llm/ollama
uv sync
source .venv/bin/activate # Linux
.venv\Scripts\Activate.ps1 # Windows
cd ../../
uv run starter.py llm

假如你想要使用 llama3.2:3b 这个模型，那么执行（可能会受网络原因影响）：

ollama run llama3.2:3b

查询已经 pull 的模型：

ollama list

使用以下命令创建 THUDM/GLM-4 的环境并启动模型。

如果使用 uv，运行：

cd llm/glm4
uv sync
uv sync --extra quantization # 如果使用量化模型
source .venv/bin/activate # Linux
.venv\Scripts\Activate.ps1 # Windows
cd ../../
uv run starter.py llm

如果使用 Anaconda，运行：

cd llm/glm4
conda create --name llm_glm4 python==3.11 --yes
conda activate llm_glm4
pip install -e .
pip install -e ".[quantization]" # 如果使用量化模型
cd ../../
python starter.py llm

使用以下命令创建 THUDM/chatglm3-6b 的环境并启动模型。

如果使用 uv，运行：

cd llm/chatglm3
uv sync
source .venv/bin/activate # Linux
.venv\Scripts\Activate.ps1 # Windows
cd ../../
uv run starter.py llm

如果使用 Anaconda，运行：

cd llm/chatglm3
conda create --name llm_chatglm3 python==3.10 --yes
conda activate llm_chatglm3
pip install -e .
cd ../../
python starter.py llm

使用以下命令创建 Qwen/Qwen-7B-Chat 的环境并启动模型。

如果使用 uv，运行：

cd llm/qwen
uv sync
source .venv/bin/activate # Linux
.venv\Scripts\Activate.ps1 # Windows
cd ../../
uv run starter.py llm

如果使用 Anaconda，运行：

cd llm/qwen
conda create --name llm_qwen python==3.11 --yes
conda activate llm_qwen
pip install -e .
cd ../../
python starter.py llm

使用以下命令创建 01-ai/Yi-6B-Chat 的环境并启动模型。

如果使用 uv，运行：

cd llm/yi
uv sync
source .venv/bin/activate # Linux
.venv\Scripts\Activate.ps1 # Windows
cd ../../
uv run starter.py llm

如果使用 Anaconda，运行：

cd llm/yi
conda create --name llm_yi python==3.11 --yes
conda activate llm_yi
pip install -e .
cd ../../
python starter.py llm

使用以下命令创建 augmxnt/shisa-7b-v1 的环境并启动模型。

如果使用 uv，运行：

cd llm/shisa
uv sync
source .venv/bin/activate # Linux
.venv\Scripts\Activate.ps1 # Windows
cd ../../
uv run starter.py llm

如果使用 Anaconda，运行：

cd llm/shisa
conda create --name llm_shisa python==3.11 --yes
conda activate llm_shisa
pip install -e .
cd ../../
python starter.py llm

使用此命令创建 DeepSeek-R1-Distill-Llama-8B、DeepSeek-R1-Distill-Qwen-14B 的环境并启动模型。

如果使用 uv，运行：

cd llm/deepseek
uv sync
source .venv/bin/activate # Linux
.venv\Scripts\Activate.ps1 # Windows
cd ../../
uv run starter.py llm

如果使用 Anaconda，运行：

cd llm/deepseek
conda create --name llm_deepseek python==3.11 --yes
conda activate llm_deepseek
pip install -e .
cd ../../
python starter.py llm

测试大语言模型的文字回复功能（非流式推理）是否正常：

curl -X POST http://localhost:11002/llm/predict \
-H "Content-Type: application/json; charset=utf-8" \
-d @- <<EOF
{
    "text": "What is my name?",
    "history": [
        {"content": "You are a helpful assistant!", "metadata":null, "role":"system"},
        {"content": "My name is AkagawaTsurunaki.", "metadata":null, "role":"user"},
        {"content": "Hello, AkagawaTsurunaki.", "metadata":null, "role":"assistant"}
    ]
}
EOF

返回值应该类似：

{"id":"f57f9f9c-7109-4459-8bf3-48f7e5e4597c","response":"\nYour name is AkagawaTsurunaki. It's quite unique!","history":[{"role":"system","content":"You are a helpful assistant!","metadata":null},{"role":"user","content":"My name is AkagawaTsurunaki.","metadata":null},{"role":"assistant","content":"Hello, AkagawaTsurunaki.","metadata":null},{"role":"assistant","content":"\nYour name is AkagawaTsurunaki. It's quite unique!","metadata":null}]}

测试大语言模型的文字回复功能（流式推理）是否正常：

curl -X POST http://localhost:11002/llm/stream-predict \
-H "Content-Type: application/json; charset=utf-8" \
-d @- <<EOF
{
    "text": "What is my name?",
    "history": [
        {"content": "You are a helpful assistant!", "metadata":null, "role":"system"},
        {"content": "My name is AkagawaTsurunaki.", "metadata":null, "role":"user"},
        {"content": "Hello, AkagawaTsurunaki.", "metadata":null, "role":"assistant"}
    ]
}
EOF

返回值类似上面的，但应该是一点一点出现的。

自动语音识别模型

识别一段自然语言语音，将其内容转换为文本字符串。

[!NOTE]

1. iic/speech_paraformer_asr_nat-zh-cn-16k-common-vocab8358-tensorflow1 在本项目没有使用符号分割和音频激活子模型，如有需要请查看此处。

使用以下命令创建 [iic/speech_paraformer_asr_nat-