Skip to content

About

LLM inference engineering: SGLang internals, Ascend deployment, distributed inference, and performance analysis.

Resources

Contributing

Stars

3 stars

Watchers

0 watching

Forks

Repository files navigation

LLM Inference Notes

大模型推理工程文档:原理、源码、部署与性能分析。

Engineering notes on LLM inference, with an emphasis on SGLang and Ascend NPU.

在线阅读

内容导航

主题 内容范围
推理基础 工作知识地图、Tensor、Attention、Prefill / Decode、KV Cache
SGLang 源码 请求链路、Scheduler、批次组织与模型执行
SGLang PR 精读 从真实 merged PR 学设计、Bug、性能优化与工程取舍
Ascend 部署 环境配置、模型部署、算子后端与排障
分布式推理 TP / DP / EP / PP、通信与数据归属
投机解码 Draft / Verify、接受逻辑与缓存状态
性能分析 TTFT、TPOT、吞吐、显存与 Profiling

EPLB 专题

从专家热度、权重迁移到服务收益:按入门、统计与决策、存储与正确性、性能验证串起文章,也可沿 PR #49701 的实际提交查看优化与取舍。

专题包含 GPU / NPU 实现对照、路由与副本入门、原始计数读取、存储边界、通信、显存和服务验证;配有源码图、原始材料与可运行算例。

新补充:GPU / NPU 共用与差异 · 打包 ND 字节边界 · FP4 格式修复 · 归约前求和的设计。

专题文章

文章按主要阅读角色组织;专题、标签与系列阅读仍在网站中并行保留。

流量入口

面向第一次进入 AI Infra / SGLang 的读者,从更广泛的问题切入。

进阶

深水

源码、性能、投机解码、Ascend Profiling 与 PR 级工程细节。

Reference

适合反复查阅的名词表、并行拓扑、通信语义与知识地图。

配套内容

文章按具体版本解释实现;原理示例、源码确认与实测结果分别标注。

About

LLM inference engineering: SGLang internals, Ascend deployment, distributed inference, and performance analysis.

Resources

Contributing

Stars

3 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages