时间可能不存在

没有追求的灵魂会很无趣

用户工具

站点工具

您在这里: start » vllm
vllm

差别

这里会显示出您选择的修订版和当前版本之间的差别。

到此差别页面的链接

两侧同时换到之前的修订记录前一修订版
vllm [2026/08/26 06:49] – chenyangvllm [2026/08/26 06:54] (当前版本) – chenyang
行 2: 行 2:
  
  
-## 参数解读+## 🧾一、参数解读
  
 vLLM 是用于 LLM 高效推理和服务的高性能框架。以下是其关键启动参数（`vllm serve` 或 `python -m vllm.entrypoints.openai.api_server`）的分类详解： vLLM 是用于 LLM 高效推理和服务的高性能框架。以下是其关键启动参数（`vllm serve` 或 `python -m vllm.entrypoints.openai.api_server`）的分类详解：
行 76: 行 76:
 ``` ```
  
-## 张量并行参数取值范围+## 📝二、张量并行参数取值范围
  
  
行 106: 行 106:
  
  
-## 注意力头（Attention Head）+## 🤴三、注意力头（Attention Head）
  
  
行 181: 行 181:
 如果你直接运行 `vllm serve` 命令，当设置的 `-tp` 无法整除头数时，vLLM 会在终端控制台报错并直接打印出模型的头数信息： 如果你直接运行 `vllm serve` 命令，当设置的 `-tp` 无法整除头数时，vLLM 会在终端控制台报错并直接打印出模型的头数信息：
  
-> `ValueError: Total number of attention heads (32) must be divisible by tensor parallel size (3).`+```bash 
 +ValueError: Total number of attention heads (32) must be divisible by tensor parallel size (3). 
 +```
  
vllm.1787726993.txt.gz · 最后更改: 由 chenyang