Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension


Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
Original file line number Diff line number Diff line change
@@ -0,0 +1,5 @@
node_modules
dist
dist-ssr
*.local
.DS_Store
Original file line number Diff line number Diff line change
@@ -0,0 +1,58 @@
# 在不遗忘中学会学习:最大化迁移、最小化干扰 交互式教程

基于论文 *Learning to Learn without Forgetting by Maximizing Transfer and Minimizing Interference*,由 **paper-skill** 生成的完整 React + TypeScript + Vite 网页项目。

## 本地运行

本项目由 paper-skill 的论文专属章节和交互组件生成。

```bash
npm install
npm run dev # 开发预览 http://localhost:5173
npm run build # 产出 dist/ 静态站点
npm run preview # 预览构建结果
```

最终提交应保留整个项目目录,不要只复制 `index.html` 或 `dist/`。

## PPT 演示模式

每章包含多张独立幻灯片,每页固定为 1600×900。顶部翻页,左侧预览选页,
“讲稿”打开演讲者备注,“放映”进入全屏。方向键翻页时不会抢占输入控件。
手机保持原有排版,支持双指缩放、放大后拖动以及缩放复位。

首页的两种方法通过 `useCoverPlayback()` 同步播放同一生活场景,并用一句话引出
核心方法。正文可以直接点击或拖动画布里的物体,也可以用少量关联滑块组成
一个完整实验;不同页面应选择主题内不同的生活动作,而不是重复同一动画。
不同页面按教学问题安排生活场景、交互、论文公式或实验结果;同页并置的画面与
形式化表示由同一状态驱动,其他依据可放在独立页面或讲稿中。
不需要为动画添加播放、暂停、单步、重置或标签切换控件。

通过 `chapters[].scenes` 指定每页目标、讲稿和专属 `componentId`;正文通过统一组件注册表注册,版面按内容自由设计。
正文在固定画布内自由构图;生成器应按教学问题安排视觉重点,不能让每页都成为左图右卡。
新项目不再提供固定的“左图右文”引入页或“三列文字”总结页。结论应融入大幅动画、
交互结果或充分可读的论文证据图。
正文使用 `--ppt-body-text`、`--ppt-body-heading`、`--ppt-body-emphasis` 三种字号;删掉重复的小标签,给公式、机制和结果留足可读空间。生活动画用于引入和解释合适的概念,其他页面可以直接操作论文变量、结构或证据。详细出处与类比边界放入讲稿,密集内容拆成新页。
`outlines.json` 由章节组装器生成。页面截图存入 `public/thumbnails/`;
`?capture=1&slide=页面ID` 可在 1600×900 窗口中单独捕获页面。

## 目录结构

| 路径 | 说明 | 是否生成器(Agent)修改 |
| ---- | ---- | ---- |
| `src/data/tutorial.ts` | 论文专属内容(章节、模块、公式、B 站、元信息) | ✅ 唯一数据文件 |
| `src/styles/paper.css` | 论文专属 `:root` 配色覆盖 | ✅ 仅此 CSS |
| `src/modules/*.tsx` + `registry.tsx` | 论文专属 Canvas 交互组件 | ✅ 在 registry 注册 |
| `public/images/*` | 论文原图(可选) | ✅ 仅放图 |
| `public/thumbnails/*` | 幻灯片截图 | ✅ 生成后截图 |
| `outlines.json` | 每页目标、交互与讲稿 | 由组装器派生 |
| `src/components/*` | 演示框架与场景展示组件 | ❌ 模板框架默认 |
| `src/lib/*` | 静态工具(canvasKit / B 站) | ❌ 模板框架默认 |
| `src/styles/{tokens,components,presentation}.css` | 设计令牌、组件与演示样式 | ❌ 模板框架默认 |

## 配色语义(contract.md §5,保持稳定)

- `--blue` 指导/当前状态,`--green` 成功/本文方法,`--red` 失败/传统方法
- `--orange` 用户强调,`--purple` 辅助机制

切勿把 `--accent` 重新定义成别的语义角色。
Original file line number Diff line number Diff line change
@@ -0,0 +1,13 @@
<!DOCTYPE html>
<html lang="zh-CN">
<head>
<meta charset="UTF-8" />
<!-- 固定幻灯片画布由 SlideStage 等比缩放至可用视口 -->
<meta name="viewport" content="width=device-width, initial-scale=1, user-scalable=yes" />
<title>在不遗忘中学会学习:最大化迁移、最小化干扰 · 交互式教程</title>
</head>
<body>
<div id="root"></div>
<script type="module" src="/src/main.tsx"></script>
</body>
</html>
Original file line number Diff line number Diff line change
@@ -0,0 +1,135 @@
{
"title": "在不遗忘中学会学习:最大化迁移、最小化干扰",
"pages": [
{
"id": "c1-sequential",
"chapterId": "chap-1",
"title": "任务一个接一个,分数一路下滑",
"goal": "直观看到:顺序学习新任务会让旧任务的表现不断退化。",
"summary": "在线 SGD 逐样本更新,旧任务被覆盖",
"interaction": "拖动「训练进度」滑块,观察各任务的准确率曲线如何变化。",
"next": "用一个统一的指标衡量遗忘",
"snippet": "跑步类比:一个运动员先练短跑再只练耐力,再回到短跑会发现成绩退步。在线学习逐样本做梯度下降,参数不断远离旧任务的最优点,这就是灾难性遗忘。本文 Fig.1 之前大量工作把「旧知识被覆盖」当成核心障碍。"
},
{
"id": "c1-metrics",
"chapterId": "chap-1",
"title": "遗忘怎么衡量:RA、LA、BTI",
"goal": "理解论文用来比较方法的三个指标,尤其是「越负遗忘越重」的 BTI。",
"summary": "RA=最终保留准确率,BTI=学完到结束的变化",
"interaction": "阅读三个指标的定义与方向,注意 BTI 为负表示遗忘。",
"next": "认识迁移与干扰这对概念",
"snippet": "RA(Retained Accuracy)是 20 个任务学完后对所有任务测的最终准确率,越高越好;LA 是每个任务刚学完立刻测的平均准确率;BTI(Backward Transfer and Interference)是每个任务从「刚学完」到「训练结束」的准确率变化,负数表示遗忘。本文以 RA 为主指标。"
},
{
"id": "c2-dot",
"chapterId": "chap-2",
"title": "梯度点积决定迁移还是干扰",
"goal": "用公式 1/2 亲身体会:点积为正时学一个帮另一个,为负时学一个害另一个。",
"summary": "∂Lᵢ · ∂Lⱼ 的符号就是迁移/干扰",
"interaction": "拖动两个梯度箭头改变夹角,观察点积符号和「一步 SGD 后样本 j 损失变化」的联动。",
"next": "看权重共享如何放大这两种潜力",
"snippet": "跑步类比:两个训练动作如果发力方向一致(点积为正),练 A 会让 B 更好;如果方向相反(点积为负),练 A 会破坏 B。论文 Eq.1/2 正是用两个样本损失梯度的点积来操作性定义迁移(>0)与干扰(<0)。"
},
{
"id": "c2-sharing",
"chapterId": "chap-2",
"title": "权重共享越多,迁移与干扰都越强",
"goal": "理解为什么「减少共享」能防遗忘却牺牲了未来的迁移能力。",
"summary": "共享比例决定两种潜力,这是对称视角的关键",
"interaction": "拖动「共享比例」滑块,观察迁移潜力与干扰潜力两条曲线同步上升。",
"next": "看看三种旧方法分别怎么取舍",
"snippet": "跑步类比:一套身体(共享的肌肉与习惯)练不同项目,共用越多,一项训练对另一项的影响(好或坏)越大;完全不共用则两者互不影响。论文 Appendix C 论证:参数子集重叠越多,点积可能非零的范围越大,迁移与干扰的潜力同时上升。"
},
{
"id": "c3-baselines",
"chapterId": "chap-3",
"title": "EWC、GEM、回放各自怎么取舍",
"goal": "看清三种旧方法都只盯着「向后干扰」,因此都没法兼顾未来的迁移。",
"summary": "EWC 压参数、GEM 投影梯度、回放补旧样本",
"interaction": "点选 EWC / GEM / 经验回放,观察它们对同一个冲突梯度分别做了哪种改造。",
"next": "进入本文的 MER 机制",
"snippet": "EWC 按 Fisher 信息重要度把旧任务重要的参数「钉住」,本质是减少共享;GEM 用一个二次规划把新梯度投影到「不与旧记忆冲突」的方向(Eq.8,g·g_old ≥ 0),是逐样本的临时修正;经验回放靠补旧样本近似平稳分布。三者都只处理向后干扰,没有学到「以后怎么共享参数」,这正是 MER 要补的。"
},
{
"id": "c4-reservoir",
"chapterId": "chap-4",
"title": "蓄水池采样:有限记忆公平代表过去",
"goal": "理解为什么 MER 用蓄水池采样而不是「只留最近」,从而近似平稳分布。",
"summary": "每个已见样本留在记忆中的概率都是 M/N",
"interaction": "点击「喂入下一个样本」,观察记忆被替换的时机与每个样本的保留概率。",
"next": "看回放里嵌入的 Reptile 元更新",
"snippet": "跑步类比:一本只能记 5 页的训练日志,用「抽签」决定新动作替换哪一页,让很久以前的训练也有机会留在本子里。蓄水池采样(Algorithm R,Vitter 1985)保证任一已见样本留在记忆中的概率等于 M/N,这是 Eq.5 近似平稳分布、以及 Reptile 的随机性假设在在线设定下成立的关键(App. I)。"
},
{
"id": "c4-reptile",
"chapterId": "chap-4",
"title": "Reptile:走几步再折返的元学习",
"goal": "理解 Reptile 的「先走 k 步、再按总位移折返」如何等价地优化出梯度点积项。",
"summary": "元更新里自然出现 ∑ᵢ<ⱼ ∇Lᵢ·∇Lⱼ 的对齐项",
"interaction": "点击「执行一轮」,看参数在损失地形上走 2 步后,元更新把它折返到哪。",
"next": "把回放和元更新串成 MER",
"snippet": "Reptile 每轮抽 s 个批次、每个批次内走 k 步 SGD,然后 θ ← θ₀ + β(θ_k − θ₀)。Nichol & Schulman 的一阶展开显示,这个元更新近似最小化 ∑ᵢ 2L(Bᵢ) − α∑ᵢ<ⱼ ∇L(Bᵢ)·∇L(Bⱼ)——正是论文想要的「少损失、多对齐」(Eq.6)。"
},
{
"id": "c4-algorithm",
"chapterId": "chap-4",
"title": "MER 一步:回放、批内、批间三层更新",
"goal": "把算法 1 的每一步走通,看清当前样本与记忆样本如何穿插、γ=1 时等价于一次大 Reptile。",
"summary": "s 个批次 × 每批 k 个样本,批内 β、批间 γ 各一次元更新",
"interaction": "点击「下一步」逐步执行:采样 → 批内逐样本 SGD → 批内元更新 → 批间元更新 → 更新记忆。",
"next": "看看 s 和对齐强度怎么影响正则",
"snippet": "算法 1:每个新样本配 s 个批次,每批 = 当前样本 + k−1 个记忆样本;每批内逐样本做 SGD(学习率 α、批大小 1),批内做一次 Reptile 元更新(β),s 个批次后再做一次批间元更新(γ),最后蓄水池更新记忆。γ=1 时与一次大 Reptile 等价(App. I)。"
},
{
"id": "c4-alpha",
"chapterId": "chap-4",
"title": "对齐强度 γ 与有效 s:正则的权重",
"goal": "理解为什么把固定记忆拆成逐样本长序列能放大对齐正则的权重。",
"summary": "普通损失权重 ∝ s,对齐正则权重 ∝ s(s−1)/2",
"interaction": "拖动「有效 s」,观察普通损失项与对齐正则项的权重比例变化。",
"next": "用论文的实验数据检验它",
"snippet": "Eq.6 中普通损失项权重正比于 s,对齐正则项(梯度点积和)权重正比于 s(s−1)/2。因此在记忆抽取量固定时,把它拆成更长的逐样本序列(增大 s)能显著提高正则相对权重——论文报告这样做始终优于按批次处理。实验中 γ=1、β<1 以降低跨批次高阶项的扰动(App. I)。"
},
{
"id": "c5-bench",
"chapterId": "chap-5",
"title": "20 任务基准:MER 全面领先",
"goal": "读懂 Table 1/2:RA 越高越好,且缓冲越小 MER 相对 GEM 的优势越大。",
"summary": "旋转 89.56 vs 87.58;缓冲 200 时领先约 10 个点",
"interaction": "切换 MNIST Rotations / Permutations 与缓冲大小 5120 / 500 / 200,观察柱状图与反馈。",
"next": "看环境更非平稳时会发生什么",
"snippet": "Table 1(20 任务、每任务 1000 样本、记忆 5120):Rotations 上 MER 的 RA=89.56、GEM=87.58、EWC=57.96、Online=53.38;Permutations 上 MER=85.50、GEM=83.02、EWC=62.32、Online=55.42。Table 2:缓冲 200 时 Rotations 上 MER=77.42 对 GEM=67.38,Permutations 上 MER=73.46 对 GEM=55.42。"
},
{
"id": "c5-stationarity",
"chapterId": "chap-5",
"title": "环境越非平稳,MER 的优势越大",
"goal": "从 Many Permutations、Omniglot 和梯度点积表看到:任务越多、样本越少,MER 越突出。",
"summary": "Omniglot 上 MER 75.23 对 GEM 18.03;点积由负转正",
"interaction": "切换 Many Permutations / Omniglot,并对比 ER 与 MER 的平均梯度点积。",
"next": "回到现实,看它的适用边界",
"snippet": "Table 3:Many Permutations(100 任务×200 样本)RA 为 Online 32.62、EWC 33.46、GEM 56.76、MER 62.52;Omniglot(50 字母表)RA 为 Online 4.36、EWC 4.63、GEM 18.03(记忆 500 时 GEM 无法收敛)、MER 75.23。Table 4 的平均梯度点积:ER 在三基准分别为 −0.569/−1.652/−1.280,MER 为 +0.042/+0.017/+0.131。"
},
{
"id": "c6-limits",
"chapterId": "chap-6",
"title": "什么时候不该用 MER",
"goal": "形成批判性判断:知道 MER 依赖哪些条件,哪些场景会打折扣。",
"summary": "依赖存样本与任务相似性;超参搜索更大",
"interaction": "点开四张场景卡片,逐条看清它的假设、代价与改进方向。",
"next": "用三句话把方法带走",
"snippet": "① 依赖存储原始样本,隐私/存储受限时不可用(可结合生成式回放或 MoE,作者在 App. B 提到);② 超参搜索空间比基线大(App. M 用换种子/机器验证了定性结论不变);③ 迁移泛化依赖任务间存在相似性,剧烈域漂移下收益有限(Sec 6 Q5);④ 实验集中在小型 MLP/CNN 与简单 RL,未验证大规模模型。这些都是「结论成立的条件」,不应把条件性设计讲成普适结论。"
},
{
"id": "c6-takeaway",
"chapterId": "chap-6",
"title": "三句话把 MER 带走",
"goal": "把「问题—洞察—方法」压缩成三条可复述的判断,而不是背公式。",
"summary": "遗忘=干扰;用回放+对齐同时顾过去和未来;小记忆也够用",
"interaction": "依次回看三条要点,并对照上一份 EWC 报告的视角差异。",
"next": "",
"snippet": "三条:① 持续学习不是「新旧二选一」,而是迁移(点积>0)与干扰(点积<0)的时间对称权衡;② MER 用经验回放近似平稳分布、用 Reptile 一阶近似最大化点积,学会「何时共享参数」;③ 小记忆(蓄水池采样)就够,越非平稳优势越大。对比 EWC:EWC 是「减少共享、钉住重要参数」,MER 是「学会何时共享」——从保护过去升级为同时经营未来。"
}
]
}
Loading
Loading