把 LLM 分词器做成字体:每个 token 等宽
一个网页工具可将分词器与字体结合,编译出「token 空间字体」,让每个 token 占据相同宽度,从而在视觉上看出文本被如何切分。页面提供 DeepSeek V4.1 Flash × Inter 等预设,支持上传自己的分词器,编译在浏览器本地完成,大分词器可能需数分钟,可下载 TTF、CSS 和构建报告。还给出在 Discord(Vesktop + Vencord 主题)和 Slack 中按用户 ID 应用该字体的步骤,代码块仍用普通等宽字体。
推荐理由想直观理解 token 切分、或做提示词长度调试的人,可直接编译自己模型的字体看切分效果