Skip to content

MCP:B站和 YouTube 之外的网页也能读(主视频的字幕轨和截帧,没有视频时读正文) - #481

Merged
PathGao merged 4 commits into
mainfrom
feat/site-web
Nov 15, 2026
Merged

PathGao merged 4 commits into
mainfrom
feat/site-web

Conversation

@PathGao

@PathGao PathGao commented Nov 15, 2026

Copy link
Copy Markdown
Owner

改了什么

get_video 和 get_frame 以前只认 B站和 YouTube,别的网址一律 BAD_URL。现在其余的 http(s) 网页由新的 web 站点兜底:

  • 页面有 <video>:读面积最大的那个的标准字幕(浏览器已载入的 cue,否则取默认或第一条 <track> 文件,WebVTT 或 SRT),get_frame 能截帧。
  • 页面没有 <video>,或有视频但没读到字幕(文章里的装饰视频):给网页正文(article、main,否则 body),最多 10 万字,截断时在 Subtitle warning 里写明。
  • 读不到:烧在画面里的硬字幕;用自家播放器接口加载字幕、不走 <track> 的平台(多数大视频站)。这类页面返回「没有字幕轨」,不报错。字幕文件超过 2 MB 或 8 秒没取完也按读不到算。边播边加载字幕的播放器(hls.js 一类)只读得到已加载的那部分。PDF 这类注入不了脚本的页面等满 50 秒后 TIMEOUT。

怎么接进去的:注册表加 fallback,web 在其他站点都不认这个网址时才问,和加载顺序无关。适配器的 read 除了 "content" 还可以是一个函数,由 bridge 在插件自己的标签页里执行,不碰用户开着的标签页。它跑在隔离环境里,页面改不了它用的内置函数,字数上限因此成立;截帧是往那个标签页注入 agent-page.js 跑同一个 frame。B站、YouTube 的路径没动。

要用户先允许读取网页(侧边栏已有的「允许读取网页」,一次授权所有网站),否则返回 NO_ACCESS。

合并前要定的一件事:这个授权原本是给侧边栏读当前网页用的。合并后,MCP 开关开着、网页也授权过的用户,Agent 能让插件用浏览器里的登录打开任意 http(s) 网址并读回正文,包括登录后才看得到的页面和本机、内网地址。「读任意页」加「打开任意网址」合起来是一条外泄通道:Agent 读到带注入文字的网页后,可以先读一个登录页,再把内容拼进另一个网址的参数里打开。以前只能读 B站和 YouTube,没有这条链。这个 PR 没有加限制,只在 PRIVACY.md 和 mcp/README.md 的安全模型里写明了。可选的收紧办法:给通用网页单独一个默认关闭的开关;挡掉本机和内网地址;设置里的开关现在还叫「允许 Agent 使用我的 B站和 YouTube 账号」,范围变了要不要改名。

B站和 YouTube 域名下适配器不读的页面(如 space.bilibili.com/…、b23.tv 短链、YouTube 播放列表)不走 web,和以前一样是 BAD_URL。

标签页从没显示过时 Chrome 不加载媒体,所以第一次 get_video 的时长可能是空的,截过一帧之后就有。

验证

macOS 27.2,Node 24,Chrome 157(无头,临时 profile,未登录)。

node scripts/selftest.mjs

51 个全过(新增 agent-sites/web.selftest.js)。

cd mcp && node --test test/*.test.mjs

35 个全过。

真扩展经真实的 mcp/server.js 走 MCP 调用(扩展副本只改了端口,避开本机正在用的 47823;「所有网站」的授权写进副本的 manifest,因为无头浏览器点不了授权弹窗):

页面 get_video get_frame
B站 BV1GJ411x7h7 与 main 逐行一致(只有 B站自己变的标签顺序和点赞数不同) 与 main 同一帧(JPEG 大小相同)
YouTube dQw4w9WgXcQ THROTTLED,未登录的无头浏览器被 YouTube 限流,没验到 成功,main 上也成功
本地页,<video> 加 <track>(WebVTT) 两条字幕带时间读出,&amp; 解码成 & 成功,画面是第 3 秒
本地页,<video> 无字幕轨 The video has no subtitle track. 成功,画面是第 5 秒
本地页,只有文章 只有 <article> 的正文,不含导航和页脚 NO_VIDEO
iandevlin.github.io/mdn/video-player-with-captions/ English 字幕全文 没测
w3schools.com/html/html5_video.asp(无字幕轨) The video has no subtitle track.,带网页正文 没测
en.wikipedia.org/wiki/WebVTT 正文 没测
未授权时的任意网页 NO_ACCESS NO_ACCESS
space.bilibili.com/1 BAD_URL,和 main 一样 没测

读完通用网页后再读 B站,结果不变。

没测到:没装进日常用的 ego(主目录要留在 main,第二个 MoonDigest 会抢 MCP 端口);登录状态下的 YouTube get_video;真实的授权弹窗;Windows。

开 PR 前派了一个不带上下文的 agent 只看 diff 审过,它提的问题里改掉的有:read 从页面环境换到隔离环境、有视频没字幕时带上正文、hash 路由的页面不再读成上一页、B站和 YouTube 域名保持 BAD_URL、截断给提示。没改的是上面那件要定的事。

本地 node scripts/smoke.mjs 有 1 条报错:B站列表页 /list/486906719?bvid=BV1GJ411x7h7 在一个存储种子下打开成了「视频去哪了?」,是 B站返回的页面,这个 PR 没碰内容脚本。

注册表加 fallback:web 最后才问,与加载顺序无关。读字幕优先用浏览器已载入的 cue,否则取 <track> 文件(WebVTT/SRT,2 MB、8 秒上限),字幕和正文各限 100,000 字。
自己读页面的站点也能截帧:在自有标签页注入 agent-page.js 跑同一个 frame。
@PathGao
PathGao merged commit d334b31 into main Nov 15, 2026
2 checks passed
@PathGao
PathGao deleted the feat/site-web branch November 15, 2026 08:43
@PathGao PathGao mentioned this pull request Nov 15, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant