Repository navigation
MCP:B站和 YouTube 之外的网页也能读(主视频的字幕轨和截帧,没有视频时读正文) - #481
Merged
Merged
Conversation
注册表加 fallback:web 最后才问,与加载顺序无关。读字幕优先用浏览器已载入的 cue,否则取 <track> 文件(WebVTT/SRT,2 MB、8 秒上限),字幕和正文各限 100,000 字。 自己读页面的站点也能截帧:在自有标签页注入 agent-page.js 跑同一个 frame。
Merged
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
改了什么
get_video和get_frame以前只认 B站和 YouTube,别的网址一律BAD_URL。现在其余的 http(s) 网页由新的web站点兜底:<video>:读面积最大的那个的标准字幕(浏览器已载入的 cue,否则取默认或第一条<track>文件,WebVTT 或 SRT),get_frame能截帧。<video>,或有视频但没读到字幕(文章里的装饰视频):给网页正文(article、main,否则body),最多 10 万字,截断时在Subtitle warning里写明。<track>的平台(多数大视频站)。这类页面返回「没有字幕轨」,不报错。字幕文件超过 2 MB 或 8 秒没取完也按读不到算。边播边加载字幕的播放器(hls.js 一类)只读得到已加载的那部分。PDF 这类注入不了脚本的页面等满 50 秒后TIMEOUT。怎么接进去的:注册表加
fallback,web在其他站点都不认这个网址时才问,和加载顺序无关。适配器的read除了"content"还可以是一个函数,由 bridge 在插件自己的标签页里执行,不碰用户开着的标签页。它跑在隔离环境里,页面改不了它用的内置函数,字数上限因此成立;截帧是往那个标签页注入agent-page.js跑同一个frame。B站、YouTube 的路径没动。要用户先允许读取网页(侧边栏已有的「允许读取网页」,一次授权所有网站),否则返回
NO_ACCESS。合并前要定的一件事:这个授权原本是给侧边栏读当前网页用的。合并后,MCP 开关开着、网页也授权过的用户,Agent 能让插件用浏览器里的登录打开任意 http(s) 网址并读回正文,包括登录后才看得到的页面和本机、内网地址。「读任意页」加「打开任意网址」合起来是一条外泄通道:Agent 读到带注入文字的网页后,可以先读一个登录页,再把内容拼进另一个网址的参数里打开。以前只能读 B站和 YouTube,没有这条链。这个 PR 没有加限制,只在
PRIVACY.md和mcp/README.md的安全模型里写明了。可选的收紧办法:给通用网页单独一个默认关闭的开关;挡掉本机和内网地址;设置里的开关现在还叫「允许 Agent 使用我的 B站和 YouTube 账号」,范围变了要不要改名。B站和 YouTube 域名下适配器不读的页面(如
space.bilibili.com/…、b23.tv短链、YouTube 播放列表)不走web,和以前一样是BAD_URL。标签页从没显示过时 Chrome 不加载媒体,所以第一次
get_video的时长可能是空的,截过一帧之后就有。验证
macOS 27.2,Node 24,Chrome 157(无头,临时 profile,未登录)。
51 个全过(新增
agent-sites/web.selftest.js)。35 个全过。
真扩展经真实的
mcp/server.js走 MCP 调用(扩展副本只改了端口,避开本机正在用的 47823;「所有网站」的授权写进副本的 manifest,因为无头浏览器点不了授权弹窗):get_videoget_frameBV1GJ411x7h7dQw4w9WgXcQTHROTTLED,未登录的无头浏览器被 YouTube 限流,没验到<video>加<track>(WebVTT)&解码成&<video>无字幕轨The video has no subtitle track.<article>的正文,不含导航和页脚NO_VIDEOThe video has no subtitle track.,带网页正文NO_ACCESSNO_ACCESSspace.bilibili.com/1BAD_URL,和 main 一样读完通用网页后再读 B站,结果不变。
没测到:没装进日常用的 ego(主目录要留在 main,第二个 MoonDigest 会抢 MCP 端口);登录状态下的 YouTube
get_video;真实的授权弹窗;Windows。开 PR 前派了一个不带上下文的 agent 只看 diff 审过,它提的问题里改掉的有:
read从页面环境换到隔离环境、有视频没字幕时带上正文、hash 路由的页面不再读成上一页、B站和 YouTube 域名保持BAD_URL、截断给提示。没改的是上面那件要定的事。本地
node scripts/smoke.mjs有 1 条报错:B站列表页/list/486906719?bvid=BV1GJ411x7h7在一个存储种子下打开成了「视频去哪了?」,是 B站返回的页面,这个 PR 没碰内容脚本。