消费科技领域出现了一个日益明显的趋势:小工具被设计用来监视你周围的一切和每一个人,无论其他人是否真的同意。如今,随着 Meta 的 Muse 等“AI 个人助理”的出现,你被兴高采烈地要求不仅放弃自己的数据,还要交出你的朋友、家人、五年前和你约会过一次的那个 Hinge 对象——以及几乎所有你曾接触过的人的信息。

自 Muse 上个月发布以来,该智能体已被下载数百万次,并登上 Apple App Store 榜首。借助其令人毛骨悚然的虚拟形象——一个类似 Temu Labubu、带着让人卸下防备的笑容的生物——该应用请求并鼓励用户授予对银行账户、密码、联系人、聊天记录的访问权限,以及任何可能帮助它执行用户指令的一切。

“这些系统被宣传为自主助手、精灵或仆人,能在你开口之前就无缝地完成你所需之事,”Signal Foundation 总裁 Meredith Whittaker 告诉The Verge。这些自主行为不仅“适用于在设备上安装了 Muse 的人,也适用于该人与之通信的每一个人,这是从他们最私密的信息——电子邮件、消息、联系人、照片等等——中推断出来的。”

借助 AI 智能体,科技公司正在让消费者将日常任务自动化,方式是把他们那种无所不包的大规模监控风格延伸到海量敏感数据上。这与硅谷几十年来一直向我们提供的浮士德式交易如出一辙:用你的私人数据换取一点点便利。而对许多人来说,拥有一个能完成填写发票、发送邮件等琐碎任务的虚拟助手颇具吸引力——尤其是当他们并未意识到自己实际上为此交出了多少数据时。

“任何智能体要想有用并真正帮助你实现目标,都需要掌握关于你以及与你互动之人的上下文信息,”Meta 发言人 Daniel Roberts 告诉The Verge关于他人与 Muse 共享的数据。“Muse 是基于公开信息以及你选择分享的内容来收集这些信息的,这就是为什么它能记得刚给你发来发票的人其实就是你之前雇来给你家浴室做装修的水管工,或者你配偶说过最喜欢哪种花。”Roberts 指出 Muse 的选择加入流程以及各种选项和设置,这些将“帮助人们做出适合自己的隐私选择”。

“用户界面的设置方式就是为了鼓励你尽可能多地分享,往往超出你的意识,直到为时已晚。”

但并非所有人都能驾驭这些选项和设置。用户已经在描述一些既令人担忧又完全可以预见的事件。一些人报告说,这个虚拟助手制造了各种各样的麻烦,比如抓取了数百万条短信他们以为这些短信是不该被访问的。Meta 已否认该助手有能力在未经许可的情况下访问短信,再次将事件归因于应用权限配置错误,并将 Muse 读取短信的能力描述为“完全基于选择加入”。在 Threads 上,Meta 高管 David Singleton直接回复了一位用户,声称在 Mac 上,只有当用户授予该应用完整磁盘访问权限时,Muse 才能获取这些消息。

在另一起事件中,Muse 泄露了一位科技评测者的家庭住址,并召唤陌生人去了他的公寓。在这起事件中,涉事评测者曾授予 Muse 访问该数据的权限,但根本没有意识到这一点。

电子前沿基金会网络安全主管 Eva Galperin 表示,鉴于像 Muse 这样的 AI 智能体在设计上就是要迷惑人们,让他们尽可能多地交出数据,这些事件并不令人意外。

“最重要的结论是,人们并不了解自己交出去的是什么数据,”Galperin 告诉The Verge。“用户界面的设置方式就是为了鼓励你尽可能多地分享,往往超出你的意识,直到为时已晚。它在使用暗黑模式,结果就是 Muse 做出人们不想要的事情。”

由于 Muse 这类 AI 智能体所摄取的数据范围极其广泛,这也意味着用户不仅面临泄露自身敏感信息的风险,还可能泄露所有与其有过数字接触的人的信息。

而且就像 Meta 那款臭名昭著的“变态眼镜”一样,没有任何有意义的退出方式——即便你时刻监控着数据是否被泄露、隐私是否被侵犯的迹象。你的朋友现在可以直接把你所有的私人对话喂给他们的虚拟聊天机器人仆从,而你根本无从知晓这一切已经发生。

在安全研究人员提取出 Muse 的操作指令后,他们发现了一个内部流程,该流程会汇编并更新用户生活中每一个人的档案,且每小时更新一次。收集所有这些数据的目标是构建一个人生活的私密而详尽的画像,以此作为该应用个性化推荐的基础。该应用会追踪并衡量用户的每一段私人关系,包括“他们有多亲近、这段关系建立在什么之上、他们如何对待彼此,以及它此刻似乎需要什么”,并利用这些数据做出个性化建议,《连线》杂志报道称。

“Meta 说 Muse 只记住你选择分享的内容。但在这种情况下,认为人们是在做出知情选择的想法实在可笑,”Whittaker 说。“根本不可能一本正经地假定,安装这套系统的大多数人理解使用它的后果,或者理解那些正在被汇编的、关于他们所认识和交流之人的令人毛骨悚然的档案。”

Whittaker 认为,这反映了科技公司自 20 世纪 90 年代以来利用隐私政策和服务条款的一贯做法:把隐私责任推给消费者,然后逃避后果的责任,同时坐享其一手促成的广告模式所带来的好处。

“这种残缺的同意机制远比 AI 古老得多,它是监控广告行业的基石,”Whittaker 说。“关于用户的更多信息能带来更好的广告定向投放,而监控商业模式核心的那种有害反馈循环就此启动。点击即同意的服务条款很久以前就取代了真正有意义的同意。”

“其思路是把这些不可能承担的负担强加给普通人,然后借此主张——无论是在法庭上、立法中还是在公众面前——[这]是人们自己选择的,”隐私法教授、华盛顿大学 Cordell 研究所联席主任 Neil Richards 对The Verge说。“我们已经给消费者施加了太多负担,[他们]过度劳累、面临生活成本危机,可能并不理解这款工具背后的技术。我认为,把监控一个高度复杂的智能体工具的负担强加给消费者是不公平的,毕竟这家公司自己的高管已在国会面前承认,他们甚至不知道它是如何运作的在某个层面上。”

“根本无法一本正经地假定,安装这套系统的大多数人理解使用它的后果。”

如此一来,像 Muse 这样的 AI 助手为自 Gmail 和社交媒体平台大规模出现以来就存在的经典隐私问题带来了新的变体:即便你避免使用 AI 智能体,也无法保证你认识的人不会把你的私人对话、住址、个人经历和其他敏感数据分享给 Meta 的虚拟助手,或它的某个竞争对手。

“如果我不把自己的东西存储在 Gmail 里,Google 就没有我发送过的所有电子邮件的明文。但我发送的电子邮件中有四分之三都是发往 Gmail 账户的,”Galperin 解释道。换句话说,只要与你通信的任何人使用了渴求数据的科技平台,或者安全实践糟糕,他们就能暴露所有人的通信内容。“这个问题并不新鲜,但规模是新的,而我们看到可穿戴设备和持续记录这一趋势兴起的一个原因,就是我们现在有了计算能力,可以在合理的时间内获取并分析如此海量的数据。正是这一技术突破把我们带到了这个糟糕的时刻。”

Meta 声称,与 Muse 共享的所有信息都会被放入一个专用虚拟机内的文本文件中,据称这可以阻止该 AI 模型与其他智能体通信。但该公司从未隐瞒这一事实:它可以访问这些数据,而且与其竞争对手创建的其他模型一样,Muse 也曾被发现逃出虚拟牢笼,进行各种未经授权的捣乱行为。Meta 已证实,就在发布前不久,该 AI 模型曾突破隔离并入侵了一家第三方公司。该事件发生在今年早些时候臭名昭著的Hugging Face 攻击之后,当时 OpenAI 的模型利用了一个此前未知的安全漏洞,未经授权获取了另外四个外部服务上的凭据。Anthropic 在 7 月报告称,其模型曾也获得了未经授权的访问权限,先后三次进入外部系统。

即使它们不会见什么黑什么,使用一个渴求数据的 AI 智能体所带来的潜在危险也远远超出单个最终用户。Whittaker 警告说,在一个 AI 智能体能够自由访问和利用私人通信的世界里,公司和政府实际上可以通过绕过加密而非破解加密来获得访问私人数据的能力。这可能给活动人士和社区组织者带来灾难,他们使用加密通信来保护自己免受警察和政府的侵害,但对任何有敏感通信内容的人来说也是如此——如今这几乎可以包括每一个人。

“点击即同意”的服务条款很久以前就取代了真正有意义的同意。

“如果软件在你的设备上解密后读取消息,并将其发送到云服务,那么加密在应用层面——也就是开发者所控制的层面——可以完全按预期运作。然而,这种加密的目的最终被像 Muse 这样具有侵入性的第三方应用所抵消,这些应用在标题上兜售便利,却在细则中要求获取大量数据访问权限,”Whittaker 解释道。

与智能眼镜和其他可穿戴环境录音设备一样,专家表示解决方案必须是法律修复、技术保障和传统的羞耻感三者的结合。

“我认为我们应该把羞耻感向上游指向那些公司。隐私不应该是一种只有具备技术知识特权才能行使的权利,也不应该是在把戴着 Meta 眼镜的讨厌鬼赶出派对之后才能行使的权利,”Whittaker 说。“在法律上,负担必须从点击同意提示的人转移到构建这些底层系统的公司身上。”

与此同时,消费者将不得不更仔细地考虑自己使用这项技术的个人选择对自己和他人造成的影响——以及这些公司提供的便利是否真的值得。

“我认为我们需要把智能体以及更广泛的 AI 视为一种超危险产品,对其适用严格责任原则,”Richards 说。“在我看来,没有理由在全体人口身上进行一场鲁莽的隐私、心理健康、网络安全和金融风险实验。”

关注话题和作者来自这篇报道,以便在你的个性化主页信息流中看到更多类似内容,并接收电子邮件更新。

  • Janus Rose