Stardance 是由非营利组织 Hack Club 为青少年主办的全球青少年线上黑客松,最近刚刚结束。我做了很多很棒的项目,甚至因为我的作品而完全免费得到了一台 3D 打印机。我蓄势待发,准备再做另一个编程项目,但不确定该用什么程序来做。于是,我停了几天,最终发现了 Pixl,一个和 Stardance 非常相似的东西。事实上,它们彼此如此相似,以至于我能立刻重新投入其中,并在 13 天里的 34 个小时内创建了 Corpustein,一个速度极快、具有可配置阶数和滚动窗口系统的 N-gram 马尔可夫链模型。它完全用 C++20 STL 编写,仅通过一个用户输入循环和 ANSI 码就提供了一个交互式且美观的 TUI。
如果你对 Corpustein 是什么感到非常困惑,它是一个迷你 AI 模型,它基于当前窗口,使用先前 token(或单词)的窗口以及所有可能的 n-gram(或 X 个 token 的组)的容器,逐个 token 地生成文本。这就是 N-gram 马尔可夫链(加上滚动窗口系统)的本质。它还维护一组先前生成的 token 以防止重复它们,但允许常见英文单词重复。Corpustein 也是让用户与之交互的 TUI。它与你在听到“人工智能”时可能想到的东西(最可能是一个大型语言模型)不同之处在于,马尔可夫链不会记住任何大于其 N-gram 窗口的内容,而 LLM 有一个注意力模型,它会查看一个非常长的 token 序列来帮助生成响应。而且,对于 LLM,语义相似性会自动编码为连续向量空间中的高维坐标,而马尔可夫链依赖于匹配精确的单词序列。LLM 还能对它们从未见过的问题生成合理的答案,因为它们学习更抽象的规则、逻辑和世界知识。而马尔可夫链通常只是重复其训练数据的片段。LLM 也比马尔可夫链慢得多,并且资源密集程度高得多。把 Corpustein 看作一个统计或概率模型,它生成的大部分是连贯的英文。
在我之前的项目 MDEZ++ 中,我觉得我没有获得足够的实际 C++ 经验,因为 Qt 框架为我简化了一切。如果你想阅读关于它的文章,请看这里。我在这里绝对不能这么说。我认为这是我有史以来为我的底层编码技能做过的最好的事情。
查看 GitHub 仓库这里。
如果你是 Hack Club 成员,你可以访问项目页面这里。
如果你想快速下载,看看这个表格!
| Linux | Windows | macOS |
|---|---|---|
| Linux 可执行文件 tar.gz (x86_64) | Windows 可执行文件 ZIP (x86_64) | 不由 CI/CD 自动编译 |
特性
- 快速且轻量:Corpustein 仅基于 C++20 STL 构建,速度快且几乎不消耗资源。
- 自定义语料库加载:用户可以加载自定义语料库文件供 Corpustein 使用。此外,Corpustein 还内置了大量默认选项,供用户直接加载。
- 自动配置:语料库文件包含元数据,由创建者根据语料库内容决定模型的默认设置。如果该文件看起来只是一个没有任何元数据的普通文本文件,则会平稳地跳过默认设置。
- 兼容性:借助 CI/CD 自动生成的 Linux 和 Windows 原生可移植二进制文件,Corpustein 几乎可以在任何系统上使用。
- 命令与设置:Corpustein 包含多种命令,用户可在交互式终端环境中运行这些命令,以控制模型的诸多方面,例如顺序、最大句子数等。
- 备用终端缓冲区:Corpustein 使用备用终端缓冲区来营造美观、风格化的环境。用户可以直接在 CLI 中启用和禁用此备用终端缓冲区。
- 离散处理:当模型用完 token 选项时,它不会直接停止回答,而是随机选择一个新的 token 继续生成文本,用户完全不会察觉它其实已经用完了 token。
- 上下文智能重复规避:Corpustein 将 token 保存到一个历史集合中,以避免其回复出现重复。它会参照一组常见英文单词的 token,从而绝不会因为要规避基本语言结构词而被迫选择一个完全随机的 token。
- 可配置的打字机动画:由于模型速度很快,它不会一次性把整个回复抛到终端,而是使用可配置的打字机动画,使其更具吸引力。
开发日志
1:“最小可行产品”
在过去的 5.5 小时里,我一直在开发 Corpustein。Corpustein 是一个用 C++20 构建的马尔可夫链。我还没有一个像样的描述或品牌标语,因为我一直在等它真正稍微可用一点。在写 README 之前,我会先设置一个 GitHub Actions 工作流,自动编译 Linux AppImage 和 Windows EXE 文件,并把它们附加到 Releases 上。它的工作方式是:用户输入一个提示,比如 "What is a transistor?",第一步是为程序找到一个用于开始生成回复的 token。如果你好奇的话,token 是文本的一个单位。通常它是一个单词(对 Corpustein 来说就是如此),但它也可以是字符、标点符号、句子等等。它会把用户提示中的 token 与语料库进行比对,找出用户说过、同时也存在于语料库中的单词。而像 "in"、"there"、"a"、"an" 等基础词永远不能作为种子。如果它无法根据输入文本找到一个好的种子,它就会随机选一个。它使用一个滚动窗口,一次存储三个 token,用这些 token 找到最佳的下一个 token,然后把窗口中最旧的 token 丢弃,这样窗口里仍然只有三个 token。每当它没有可选的下一个 token 时,它就会随机取一个窗口,继续下去,一切都会正常。目前,它没有办法知道何时停止。这将是我很快要做的另一件事。它只会一直打印文本。好消息是它不会重复 token,而且能生成可以理解的句子。
====================
corpustein v0.1.0
====================
User: What is a transistor?
Corpustein: the transistor in 1947, which significantly compacted computers and led the digital transition. Information technology, particularly optical fiber and main electronic components (resistors, capacitors, etc.) can be created at a microscopic level. Nanoelectronics is Forest in 1914"
2:"首个版本,以及漂亮的样式!"
我刚刚发布了首个版本,就在这里:https://github.com/tyleruploads/corpustein/releases/tag/v0.1.0。而且它是为用户预编译好的,这相当不错。这来自我刚刚创建的 GitHub Actions 工作流。我还让它看起来好了很多!我使用了一个备用终端缓冲区来应用一些很酷的样式。
3:"添加了一些设置"
我刚给 Corpustein 加了很多设置,还加了一些功能!第一个功能是,现在文本会通过自定义的 typewrite() 函数流式输出到终端。它会逐字符流式输出,每个字符之间等待特定的时间。还加了一个设置来控制每个字符之间的延迟。不过,下一个设置可能是最重要的。我让用户可以配置 n-gram 模型的阶数。阶数是指它引用多少个 token 来推断下一个 token。这两个设置原本是各自独立的,但我决定改为做一个 /set 命令,把它们放进去,即 /set delay 和 /set order。我还在 /set 里做了一个叫 max_sentence_count 的子命令,让用户可以配置模型每次响应允许输出多少句话。它还会自动把每次响应的最大 token 数缩放到新句子数的 40 倍。这个设置不能高于 50。另一个重要的事情是,我给了用户启用或禁用备用缓冲区的选项。这相当重要,因为如果备用缓冲区开启,他们就不能滚动,而且退出应用时所有内容都会丢失。而如果没有备用终端缓冲区,他们可以滚动,并在退出程序后保留响应。这可以通过 /set 里的 altbuffer 子命令访问。最后,我让任何以 / 开头但不是真实命令的内容都直接执行帮助命令,而不是输出文本。
4:“很多东西”
刚刚做了很多改动。其中大部分是真正的大型架构改动。所以,这里是一个按重要性排序的编号列表。
- 用户定义和多个默认语料库支持:现在,有多个默认语料库,而不是只有一个。目前有 10 个,包括威廉·莎士比亚、马克·吐温、查尔斯·狄更斯的全集,所有美国总统就职演说,Linux 内核文档等。用户还可以通过文件路径加载自己的语料库。这可以通过命令 /load 完成。运行 /load help 查看类型。语料库以特殊格式开头,首先是特殊的文件签名,然后在签名和末尾的分隔符(===)之间包含一些默认设置。标题的样子如下:
io.github.tyleruploads.corpustein:corpus-file
name: The name of the Corpus
default_order: An integer between 1 and 8 representing the order of the n-gram model
max_sentence_count: An integer representing the maximum sentences for each model's output, which also scales up the maximum tokens and the token history container.
===
- /stats 命令:新增了一个全新的 /stats 命令!它会输出当前语料库的名称,以及许多其他内容,例如该语料库中的 token 数、由该语料库产生的唯一 N-gram 上下文及其阶数,还有一些与语料库本身没有直接关联的变量,比如最大句子数等。
- 静态断言和预处理器指令位于最顶部:在代码的最顶部,添加了一个预处理器指令和一个静态断言(静态断言不在预处理器指令中)。静态断言确保使用 C++20 或更高版本进行编译。当 APP_VERSION 未定义时,预处理器指令会触发错误,从而避免向用户显示一大片没有上下文的致命错误。APP_VERSION 由 CMake 自动传入。
5:“小而大之物”
我刚刚对 Corpustein 做了一些看起来很小、但实际上很大的改动。我将按照提交顺序在这里列出它们,因为我真的不想再按重要性排序一遍,也不想在移动条目时自己费劲地修改所有列表编号。“添加功能部分到 README”那一点解释了多出来的半小时。
- 修复了静默错误:代码中有一个名为 unordered_repeats 的无序集合,包含一堆常见英文单词。模型被编程为永不重复其 token 历史窗口中的 token,该窗口等于最大 token 数的十分之四,而最大 token 数是最大句子数的 40 倍。如果在五次重试后仍找不到不在 token 历史中的 token,它将随机选择一个 token。allowed_repeats 无序集合的目的是确保允许重复基本语言结构,例如 "the"、"and"、"he" 等。用 clang-tidy 检查代码后,我注意到无序集合的某些元素后面缺少逗号,导致一些单词被连在了一起。例如,不是两个元素 "himself" 和 "herself",而是 "himselfherself"(仅作示例;这些具体单词在真实程序中并未被合并)。
- 为 CI/CD 添加 Windows 编译:如果你看过我其他的编程项目,就会知道这显然不是一次提交完成的。我用了四次提交来防止因未正确指定 C++ 标准(我提交时以为是这个原因,但实际并非如此)、未使用 POSIX 版本的 MinGW 以及使用 Ubuntu 22.04 等问题导致的错误。Ubuntu 版本是所有错误的主要原因。Ubuntu 22.04 自带 C++11。虽然它编译 Linux 版本正常并使用了 C++20,但当我用 MinGW 工具链为 Windows 编译时,它使用的是 C++11 而非 C++20,这显然不适用于我的应用程序。
- 更新 README 下载部分:README 的下载部分有点空。所以,我做了一个下载表格,现在列出了 Linux 版本、Windows 版本和 macOS 版本(或者说没有 macOS 版本)。我还给 Linux 用户和 Windows 用户各加了一条说明。给 Linux 用户的说明基本上就是:"把它标记为可执行"(还附了一些 Bash 命令,以防他们太累了或者别的什么原因自己搞不定)。但给 Windows 用户的说明基本上就是一份完整教程,因为我得包含 SmartScreen 激活之类的内容。而对于 Linux,我知道不用写那么多,因为他们显然知道怎么处理 tar.gz。那段 Bash 命令块就够了。但对于 Windows 用户,我不得不加入一段"我该怎么处理 ZIP 文件?"的内容,这是从我之前项目的 README 里搬过来的。
- 向 README 添加功能部分:这不用多解释。我只是往 README 里加了一些功能。但这里面有个特别难的地方。因为我对自己的代码太熟悉了,所以想不出我的应用有什么特别或值得一提的地方。这就是知识诅咒。于是,我把代码文件物理打印出来,用我最喜欢的笔(UniBall Signo 207,黑色)在上面做标注,标记了"模块化设计"、"健壮的错误处理"、"高级状态处理"、"快速轻量的方案"、"UX"、"Windows UTF-8 声明"以及很多其他东西。大部分都是些废话,就像我是一个专门写企业套话的马尔可夫模型一样。但我最终把它精简下来了。这花了大约半小时的手写纸笔标注,Hackatime 没有计入,所以我为这篇日志手动额外加了半小时。
- 向 README 添加语料文件和目录结构部分:由于 Corpustein 需要特定的目录结构,并且支持自定义语料文件格式(仍然是纯文本,由我设计,专为这个应用),用来加载默认设置,所以我决定确保这在 README 中清晰可见。
- 添加 Cornel 电影对白语料:我通常不会把单独的语料库新增内容放进这些日志条目里。但这次相当重要,所以我决定放进来。有趣的是:这个语料库有 304,719 行文本。这很多。而真正有趣的是,它包含 3,201,791 个 token,这构成了 1,150,080 个阶数为 2 的唯一 N-gram 上下文。这意味着每行大约有 10.5 个 token。这个语料库绝对是最具对话性的。
6:“分析与命令”
分析与命令这两个词可以概括这篇开发日志。
在分析方面,我让 cppcheck、clang-tidy 以及(严格来说不算分析,但足够接近)clang-format 和地址消毒器在每次调试构建时自动运行。这让代码更易读、更现代、更快,也更不容易出错。
在命令方面,我添加了 /about、/reload 和 /history。我真的不需要解释这些。
7:“Linux 与优化”
从上一篇日志以来,我做了 6 次提交(不算把它升到 v0.4.0 的那次)。这些几乎都与 Linux 或优化有关。
- 允许 Linux 用户将默认语料库存储在 /usr/local/share/corpustein/corpora:如果你读到那里觉得它很奇怪,再往下读一点就说得通了。如果你不用 Linux,也完全不知道 /usr/local/share 是干什么的,那是应用程序存储文件的地方。
- 进行优化并添加基础性能分析:这一点的优化仅仅包括:把 get_seed() 函数(返回一个字符串)参数中的 allowed_repeats 无序集合改成 const 引用,把 get_ngram_contexts() 参数中的 tokens 字符串向量改成 const 引用,以及把另一个字符串改成 const 引用。至于性能分析,我写了一个 Timer 类,并用它来测量加载语料库需要多长时间。我还做了这样的处理:当语料库的行被送入变量时,在应该换行的地方加上换行符。
- 在加载语料库时生成清理后的 token 集合:以前,它会在每次提示之后清理语料库中的每一个 token!这很糟糕,因为可能有数百万个 token,而它们在语料库加载后永远不会改变。我不知道这让 Corpustein 快了多少,但肯定快了很多。现在它的资源消耗可能也低了很多。
- 创建 Linux 安装脚本,并添加到 README:和我之前的项目一样,我有一个 Linux 安装脚本。我复制了大部分内容,然后做了大量修改。主要区别在于,Corpustein 使用一个普通的二进制文件以及它访问的其他文件,而这些文件并非用户通过某种 UI 提供;但 MDEZ++ 只是一个单独的 AppImage,没有任何需要用户通过某种 UI 提供的文件。这花了很长、很长时间。我还把安装命令添加到了 CMakeLists.txt 中。当然,我也把脚本添加到了 README 中。因为所有这些测试都不在代码编辑器里进行,我为此多计了一小时!我至少运行了 100 次安装脚本,因为它经常不工作。而且,如果你想知道的话,我运行脚本和做出修改之间的间隔远远超过 2 分钟,所以中间的时间不计入。考虑到现在是下午 6:11,1 小时可能还说少了。
- 将 /history 添加到 README:我之前只是忘了。
查看 Linux 安装脚本:
8:“优化、模块化与 SIGINT 用户指令”
这个名字看起来有点奇怪,但我还是决定用它。关于模块化,我刚刚把 ngram_contexts 映射改成了存放无序集合,而不是向量,这大大加快了加载速度。关于模块化,我现在不再只有一个 main.cpp,还多了 function_runner.inc 和 load_corpus.inc。每个文件里正好放一个 lambda 函数,然后通过 #include 语句把它们放进 main.cpp。如果你不知道 include 语句是什么,它本质上就是在编译之前把整个文件复制粘贴到那里。另外我还做了这样的改动:当用户按下 Ctrl + C 时,程序不再直接退出,而是会询问他们是否真的想退出。请注意,它仍然保留了之前的功能:当它在生成文本时你按下 Ctrl + C,它会直接跳过打字机动画效果,一次性把内容全部打印出来。而且,现在已经是 v0.6.0 了!我想过一阵子把它做成 v1.0.0,但要等我发布之后!没错,我觉得是时候把它发布出去了!我真的想不出还能再加什么了,因为它已经如此先进了!
额外内容:给审阅者的备注:
你好,审阅者!你可能在想,我为什么把这些日志写得像博客文章一样。我来自 Stardance,在那里一切都是合一的。我确实意识到这些日志可能不会公开,如果确实不公开,我就把它们发到 DEV.to 上。
结论
如果你没看出来,这绝对是一篇长文,大概接近 2,000 词。当我参加 Hack Club 的活动时,我会不断鞭策自己成为更好的程序员。这其实是我第一个用纯 C++20 STL 做的项目,我从中学到了很多。
Corpustein 目前正在审核队列中,我觉得它会进展得非常顺利。说到奖品,以下是我大概会拿到的一些东西:
- Minecraft
- 3D 打印耗材资助
- Steam 游戏资助
- 电烙铁
- 来自组织机构的随机桌面摆件
查看 GitHub 仓库这里。如果你是 Hack Club 成员,你可以访问项目页面这里。
你以前做过的最低层的事情是什么?欢迎在评论区分享。








