RhinoForge 将 Rhino 设备接入为 torch.rpu。项目在同一个
PyTorch 后端中提供模型适配器、融合模型运行时、图捕获与重放、SPM 内存管理、
多核执行、离线量化和模型移植模板。
发行包名为 rhinoforge,Python 导入名仍为 rpu_backend。RhinoForge 仅支持
推理,不支持训练和微调。
当前源码版本为 v1.3.0.dev0(开发版),依赖已归档的 Rhino Launch v1.2.0; 使用运行时资产指南指定的正式版组件。版本规则见发布流程。更新范围见发行说明, 已有环境请先阅读升级指南。
- PyTorch 集成: 通过标准自定义设备路径和
torch.rpuAPI 使用设备。 - 模型部署: 通过模型适配器和 TOML 示例运行文本、视觉语言、视觉和 VLA 配置。
- 可扩展运行时: 移植新模型时可复用公开的融合模型、图、SPM、多核、批量 提交和适配器机制。
- 按配置界定支持范围: 每个状态都绑定到具体 checkpoint、精度、输入范围、 配置和运行时资产组合。
仓库内置的 rhinoforge-port skill
提供两种模式:Assess 只读分析能力差距,分别给出 outcome 与 certification;
Port 只从已接受、certified 且非 Blocked 的评估开始,并按模型类型加载公开
playbook。规范流程见模型移植。
examples/ 提供统一运行入口和按模型归档的 TOML 配置,覆盖
文本、图文、视觉组件和 VLA 的公开使用方式。目录结构、精度和输入要求见
配置索引。
调用方准备模型权重和请求数据;配置与运行时共同检查 checkpoint、精度、核数和输入范围。
Qwen3 ASR/TTS 使用独立语音入口,下载和运行步骤见语音指南。
先由平台方提供并确认板卡 OS、驱动、SDK 和匹配的运行资产,再按 统一安装、运行与开发指南选择一条应用部署路径:
- 从 Miniconda3 开始构建:安装管理器、创建 Python 3.12 环境、安装依赖并编译 RhinoForge。
- 使用依赖环境包:从 GitHub Releases 获取匹配的第三方依赖环境,随后从 GitHub 获取并编译 RhinoForge。
两条路径都使用一个 RHINOFORGE_ENV,完成后继续相同的模型准备、Qwen3-0.6B FP16
运行和后续开发步骤。依赖包不包含 RhinoForge、SDK 用户态库、Launch 或算子;
SDK、运行资产和模型仍单独准备。推荐 SDK 版本和平台适配要求见
安装指南。
| 主题 | 文档 |
|---|---|
| v1.2 更新与安装 | 发行说明 · 升级指南 |
| 完整文档导航 | 文档索引 |
| 安装、首次运行与开发 | 统一指南 |
| 语音识别与生成 | Qwen3 ASR/TTS |
| 示例 | 示例目录与运行入口 |
| 受限 Launch 与算子资产 | 受限运行时资产 |
| 模型 checkpoint | 模型资产 |
| Runtime/TOML 参数 | 运行时配置 |
| 模型运行、测试与调试 | 模型运行与调试 |
| 适量验证 | 模型验证策略 |
| 运行时设计 | 架构 |
| Python 与 C++ API | API 参考 |
| 移植新模型 | 模型移植 |
| 离线量化 | 量化 |
| 报告安全问题 | 安全策略 |
| 参与贡献 | 贡献指南 |
RhinoForge 源码采用 Apache License 2.0。模型 checkpoint、Rhino
Launch、主算子资产与扩展算子资产及其他第三方材料遵循各自条款,不属于本仓库 LICENSE
文件的授权范围。
