Circuit Breaker Labs 用模拟用户测试 AI 心理安全

关于 AI 有朝一日可能如何杀死我们所有人的讨论铺天盖地，人们很容易忘记，AI 对某些人来说已经构成了生命威胁——不是通过生物武器，而是通过心理层面。

例如，Character.AI和解了多起非正常死亡诉讼这些诉讼于今年早些时候由其未成年用户家属提起，这些用户在与其机器人互动后自杀身亡。多个家庭还起诉了 OpenAI指控 ChatGPT 在其亲人自杀和妄想中扮演了某种角色。

让 AI 在跨语言和跨文化场景下更安全，是 Circuit Breaker Labs 的使命，它是 TechCrunch 2026 年 Startup Battlefield 200 的入围者之一。（Circuit Breaker 将在 TechCrunch Disrupt 上进行路演，该活动今年于 10 月 13 日至 15 日在旧金山 Moscone West 举行。）

创始人 Shirali 和 Arul Nigam 是兄妹，他们的动机来自 Sewell Setzer——这名 14 岁少年对 Character.AI 的一个聊天机器人产生了情感依恋，并向它吐露了自残的念头，随后自杀身亡。这个聊天机器人，父母在 2024 年的一起诉讼中指控称鼓励了他。Circuit Breaker Labs 的 CTO Arul 表示，这个机器人可能并不理解“我想和你在一起”这类话的真正含义。

“很多人，尤其是年轻人，会向这些系统寻求支持，而通常他们并没有真正得到所需的帮助。但在许多情况下，他们正在受到主动伤害，而且不幸的是，已经有人因此失去了生命，”Arul 说。“这类安全漏洞——人们并不一定是主动试图攻破系统，他们只是以自然的方式互动——而系统存在上下文污染，或者不理解其中的细微差别，然后采取了非常危险的行动，我们正试图防止这种情况发生。”

Circuit Breaker Labs 创建了一些 AI 智能体，它将其比作一支碰撞测试假人大军。这些智能体模拟来自各个年龄、背景、语言和文化的人，用于测试模型检测危险、心理有害互动的能力。

“一个六岁女孩和一个 45 岁男人，或者说一个以英语为母语的人和一个以英语为第二语言的人，又或者……游戏玩家俚语和使用另一种俚语的人，所有这些都可能真的让模型出错，”Circuit Breaker Labs 的 CEO Shirali 说。“模型非常擅长处理标准语言模式，但没人真的那样说话，所以如果模型误解了细微差别或俚语，后果可能会非常糟糕。”

这家初创公司与人类领域专家合作，构建其高度逼真的用户模拟，以便对模型进行“红队”测试，这是一种旨在发现弱点的对抗性测试。这些测试旨在反映真实的人类语言模式、俚语、隐语和拼写错误。Circuit Breaker Labs 随后每天运行数万到数十万次模拟交互。

其思路是确保模型能够恰当地回应那些可能随着时间和多次对话逐渐出现的高风险交互。Circuit Breaker Labs 随后使用一种专有的评分方法，生成可审计、可解释的分数。

Circuit Breaker Labs 目前作为一家 AI 安全测试实验室运营，面向 AI 教练、日记或其他心理健康支持应用等高风险 AI 应用，不过 Arul 拒绝透露其招牌客户。尽管这家初创公司已有可用的产品，但它仍处于非常早期的阶段，只有五名员工，其中包括 Nigam 兄妹。

不过最终，这个测试平台可能会应用于任何有人可能陷入“AI 精神病”深渊的应用，即人类有风险与聊天机器人发展出准社会关系。例子包括 AI“同事”智能体，其回应可能因每次交互而有所不同。

“人们正变得越来越怀疑 AI，或者越来越普遍地抗拒采用它，”Arul 说，并补充说，虽然怀疑是健康的，但出于安全担忧而禁用一种可能有价值的工具将是“倒退的”。

Circuit Breakers Labs 认为，应对这些恐惧的答案是让 AI 更安全。“我们想帮助为人们建立这种信任。”

来了解更多关于 Circuit Breaker Labs 以及其他众多由 TechCrunch 审核过的创新初创公司的信息，尽在我们的Startup Battlefield 竞赛，将于 10 月 13-15 日在旧金山市中心举行。