-blue){kind=icon}
- [2026.11.02] 🎨 支持 MOSS-Image 端侧文生图：9B TE + fp16 5B DiT 在 Hexagon NPU 上运行。
- [2026.10.29] 🛠️ 发布 MobiInfer-Android v0.3.1-alpha，改进 Hexagon 内存布局与加载超时处理，补充 v73 skel，并增强映射失败和调试日志诊断。
- [2026.10.22] 🔥 Day-0 适配 InternScience 最新 Sage-A1.5 35B-A3B在手机上的运行，支持 41 层专家从 HTP tiled 包流式加载。
- [2026.10.19] 🛠️ 支持 Qwen3-30B-A3B / Qwen3.5-MoE-35B-A3B，MoE 专家可走外置槽位与 LES。
- [2026.10.17] 🚀 发布 MobiInfer-Android v0.1，支持模型管理、一键下载和端侧 NPU 推理。
一台骁龙手机，用 NPU 跑 35B-A3B 级 MoE 大模型
MobiInfer-Android 引入完整的 Qualcomm Hexagon NPU 后端，打通了端侧大 MoE 模型的完整链路：专家权重常驻闪存、按需流式加载到 NPU、用前瞻调度掩盖 I/O 延迟，再叠加 DSpark 投机采样进一步提速。
仓库提供Android 应用安装包和源码（Android-App/），安装后即可在手机上直接使用。
支持的设备
| 搭载芯片 | 手机型号 |
|---|---|
| 骁龙8 Elite | 一加13、红米K80 Pro、小米15 / 小米15 Ultra、真我GT7 Pro、iQOO 13、红魔11S Pro、荣耀Magic7系列、iQOO Neo10 Pro+ |
| 骁龙8 Gen5 | 一加Ace 6T、iQOO Z11 Turbo、vivo S50 Pro mini、Redmi K100 Pro、真我GT8、联想拯救者Y70、STEPX Neo 先行版 |
| 骁龙8 Elite Gen5 | 小米17系列（含Pro/Pro Max/Ultra）、一加15、真我GT8 Pro、红米K90 Pro Max、iQOO 15、荣耀Magic8系列、三星Galaxy S26系列、红魔游戏手机、vivo X300系列 |
-
🚀 原生 Hexagon NPU 后端 HVX/HMX 张量核、Flash-Attention、Gated Delta Net、DMA 队列与多设备切分
-
🧠 端侧大 MoE 专家卸载 专家权重外置闪存、按需流式加载进 HTP
-
⚡ LES 前瞻专家调度 跨层预测下一层专家并提前预取，命中先算、未命中并行加载
-
🎯 DSpark 投机采样 DFlash + 半自回归 Markov 头与置信度头，端侧适配，与专家调度协同
-
📦 专家打包工具链 打包专家权重，输出 HTP tiled 布局。
-
💾 权重存取优化 逐层混合精度量化 + 专家连续重排，减少闪存分散读。
| 模型 / Model | 规模 / Scale | 权重大小 | 说明 / Notes |
|---|---|---|---|
| MiniCPM-V 4.7 35B-A3B | 35B 总参 / 3B 激活 | ~19.3G | 端侧 MoE 主线目标，多模态（视觉 + 文本） |
| Qwen3.5-35B-A3B | 35B 总参 / 3B 激活 | ~25.1G | 视觉 + 文本，LES + DFlash |
| Qwen3-30B-A3B | 30B 总参 / 3B 激活 | ~20.3G | 文本，LES + 外置专家 |
| Sage-A1.5 35B-A3B | 35B 总参 / 3B 激活 | ~24.6G | 视觉 + 文本（agentic），LES + 外置专家 |
| Qwen3系列 | 0.6 / 1.7 / 4 B | 0.64 / 1.83 / 2.5 G | qwen3，文本 |
| Qwen3-VL系列 | 2 / 4 B | ~1.9 / 3.3 G | qwen3vl，视觉 + 文本 |
| DFlash / DSpark 系列 | — | ~0.42–0.43 G | 投机采样（dflash / dspark） |
| MOSS-Image FP16 / Q4 | 5B DiT + 9B TE | ~3.6–9.6 G | 文生图，fp16 / Q4_K_M，与对话共用文本编码器 |
模型架构覆盖 qwen3/qwen3moe/qwen3next、qwen3vl/qwen3vlmoe、qwen35moe、dflash、minicpm 系列，以及 llama.cpp 其余常见架构。
📱 OnePlus 13（Snapdragon 8 Elite，HTP0 + HTP1），纯文本实测，128-token 输出。
| 模型 | 配置 | SoC | Prompt长度 | Prefill (token/s) | Decode (token/s) |
|---|---|---|---|---|---|
| MiniCPM-V 4.7 35B-A3B | Q3，LES + DSpark | 8 Elite | 41 | 22.02 | 17.98 |
| MiniCPM-V 4.7 35B-A3B | Q3 LES + DSpark | 8 Elite | 512 | 94.28 | 13.65 |
| Qwen3-VL-4B-Instruct | Q4_K_M | 8 Elite | 512 | 1013.74 | 18.13 |
📱 Snapdragon 8 Elite（Hexagon HTP），MOSS-Image FP16，端到端耗时含文本编码与 VAE 解码。
| 分辨率 | 步数 | 端到端耗时 | 每步 | 单位效率 |
|---|---|---|---|---|
| 256 × 256 | 4 | 10 s | 2.5 s | 38.1 s/(Mpx·step) |
| 768 × 1024 | 8 | 100.1 s | 12.5 s | 15.9 s/(Mpx·step) |
三步：装 App → 下模型 → 开跑。App 默认就是 NPU 最优配置（双 HTP 会话 + HTP 视觉 + Q8_0 DSpark 投机采样），开箱即用。
从 Releases 下载最新 Android APK 并安装（首次需在「设置 → 应用 → 安装未知应用」中允许来源）。
adb install -r MobiInfer-Android-<version>.apk打开 App → 模型管理 / Model Manager → 选择 MiniCPM-V 4.7 35B-A3B (Q3, NPU) → 下载 / Download。App 会从 ModelScope 拉取整包（主模型 + mmproj + DSpark 草稿 + 40 层 tiled 专家，约 19 GB），并按 SHA256SUMS 逐一校验。建议 Wi‑Fi，预留约 19 GB 可用空间。
下载完成后，在 模型管理 中选中该模型进入对话，直接输入文字，或附图提问。
| 开关 / Flag | 作用 / Purpose |
|---|---|
--moe-experts PATH |
专家目录 / 清单路径（专家主体路由的 MoE） |
--moe-slot-bank N |
每层常驻路由专家槽位数 |
--moe-k-prefill N |
prompt eval 阶段的 top-k |
--moe-k-decode N / --moe-k-decode-cycle 8,4 |
生成阶段的 top-k（可周期切换） |
--device HTP0,... |
选择 Hexagon 设备 / 会话（Hexagon 在 -ngl 语义上等同 GPU） |
--split-mode layer|tensor |
跨会话层切分 / 跨物理核张量切分 |
-ngl N / --load-mode |
卸载层数 / 加载模式（auto/none/mmap/mlock/dio） |
speculative.type = dspark |
启用 DSpark 投机采样 |
Hexagon 环境变量（GGML_HEXAGON_DEVICES / GGML_HEXAGON_POWER_MODE / GGML_HEXAGON_PROFILE / GGML_HEXAGON_OPFILTER 等）见骁龙后端文档。
Android-App/ 安卓App源码
ggml/src/ggml-hexagon/ Hexagon 后端宿主侧（调度、多设备、DMA）+ htp/（DSP 侧 HVX/HMX 内核）
src/llama-moe-slot.* MoE 专家槽位运行时：预取、调度、I/O 线程池、诊断计数
src/llama-moe-experts.* 外置专家清单与加载
src/models/qwen35moe.cpp Qwen3.5/3.6 MoE（含 MiniCPM-V 4.7 35B-A3B）
src/models/dflash.cpp DFlash / DSpark 草稿模型
common/speculative.cpp 投机采样（DSpark 适配）
tools/moe/ 专家提取 / 剥离 / 打包工具
docs/backend/snapdragon/ 骁龙构建、运行、多设备文档
docs/les/ LES 前瞻专家调度说明（中英）
- llama.cpp 与 llama.cpp-omni
- MiniCPM-V-Apps — Android App 上游 / Android app upstream
- Qualcomm Snapdragon Toolchain
- MiniCPM-V 系列模型 / MiniCPM-V model family
遵循 MIT 许可，详见 LICENSE。