Skip to content

修复订阅词库的列解析和词频丢失 - #24

Open
takeshi264 wants to merge 1 commit into
zoolapp:mainfrom
takeshi264:fix/vocabulary-parser
Open

takeshi264 wants to merge 1 commit into
zoolapp:mainfrom
takeshi264:fix/vocabulary-parser

Conversation

@takeshi264

Copy link
Copy Markdown

看订阅词库的解析时,发现原来固定按“词条、编码、词频”读取,没有处理 columns 声明。遇到列顺序不同的词库,就会读错编码或丢掉词频。

这次修了几处:

  • 按 columns 读取各列,空列也保留位置。
  • 兼容文件开头的 BOM。
  • 同一个词、同一种读音重复出现时,保留较高词频;不同读音仍分别保留。
  • 补上没有列声明的两列词频表,例如“词条 + 100”,不再把词频丢掉。
  • 已有订阅在下次部署时重新生成词表,不用重新下载。

补了对应的回归测试,本地测试通过。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant