arxiv SuperBPE: Space Travel for Language Models

阅 读

Star 0
名称
SuperBPE: Space Travel for Language Models
首页
https://yiyibooks.cn/arxiv/2503.13423v1/index.html
原始地址
https://arxiv.org/pdf/2503.13423
描述
几乎所有语言模型（LM） Token 化方案的假设是， Token 应该是子词，即单词边界内包含 ...