时间可能不存在 没有追求的灵魂会很无趣 http://cpaproxy2.3332502.xyz/ 2026-10-26T02:36:50+00:00 时间可能不存在 http://cpaproxy2.3332502.xyz/ http://cpaproxy2.3332502.xyz/lib/exe/fetch.php?media=wiki:dokuwiki.svg text/html 2026-09-08T08:07:14+00:00 chenyang (chenyang@undisclosed.example.com) start http://cpaproxy2.3332502.xyz/doku.php?id=start&rev=1788854834&do=diff Hello World Linux是IT从业者工作中必不可少的一部分 AI不得不学，要不没有饭吃 容器使人变懒了 text/html 2026-08-31T09:49:27+00:00 chenyang (chenyang@undisclosed.example.com) test-boy.jpg - 创建 http://cpaproxy2.3332502.xyz/doku.php?image=wiki%3Atest-boy.jpg&ns=wiki&rev=1788169767&tab_details=history&media_do=diff&do=media <img src="http://cpaproxy2.3332502.xyz/lib/exe/fetch.php?w=500&amp;h=500&amp;tok=e2926a&amp;media=wiki:test-boy.jpg" alt="test-boy.jpg" loading="lazy" width="500" height="500" /> text/html 2026-08-26T06:54:40+00:00 chenyang (chenyang@undisclosed.example.com) ai http://cpaproxy2.3332502.xyz/doku.php?id=ai&rev=1787727280&do=diff AI不得不学，要不没有饭吃 数学 向量 矩阵 神经网络到底在算什么？ TP（Tensor Parallelism，张量并行）和 DP（Data Parallelism，数据并行） KV Cache PD(预处理/解码)分离架构 vllm text/html 2026-08-26T06:54:02+00:00 chenyang (chenyang@undisclosed.example.com) vllm http://cpaproxy2.3332502.xyz/doku.php?id=vllm&rev=1787727242&do=diff vllm 🧾一、参数解读 vLLM 是用于 LLM 高效推理和服务的高性能框架。以下是其关键启动参数（vllm serve 或 python -m vllm.entrypoints.openai.api_server）的分类详解： 模型与推理基础配置 * --model：指定模型路径或 HuggingFace 模型名称（如 text/html 2026-08-26T03:57:10+00:00 chenyang (chenyang@undisclosed.example.com) pd-disaggregation - 创建 http://cpaproxy2.3332502.xyz/doku.php?id=pd-disaggregation&rev=1787716630&do=diff PD(预处理/解码)分离架构 “1P1D”是部署大语言模型（LLM）时，“预填充-解码分离”（P/D Disaggregation）架构中最基础的一种部署形态。它是一种“以空间换时间、以网络换效率”的部署策略。 text/html 2026-08-26T03:38:38+00:00 chenyang (chenyang@undisclosed.example.com) kvcahce http://cpaproxy2.3332502.xyz/doku.php?id=kvcahce&rev=1787715518&do=diff KV Cache 简单来说，KV缓存是大语言模型（LLM）在生成文本时，为了“记住”之前处理过的内容而保存的一组关键数据。它的核心目的是避免重复计算，从而大幅提升生成速度。 1. 一个生动的比喻：厨师做饭 text/html 2026-08-26T01:07:09+00:00 chenyang (chenyang@undisclosed.example.com) vllm-tp-dp - [7. 和你之前问的 vLLM“准确率”也有关系吗？] http://cpaproxy2.3332502.xyz/doku.php?id=vllm-tp-dp&rev=1787706429&do=diff TP（Tensor Parallelism，张量并行）和 DP（Data Parallelism，数据并行） 在 vLLM 里，TP（Tensor Parallelism，张量并行）和 DP（Data Parallelism，数据并行）都是为了让多个 GPU 一起跑模型，但分工完全不同。