该方法被称为“Image-to-Code”。一个编码智能体接收单张图像，并为广泛使用的 3D 软件 Blender 编写代码。该智能体并非一次性生成场景，而是迭代式地工作：它编写代码、运行代码、查看结果，并不断修改，直到场景与原始图像匹配。
由于输出是一个程序，它显式地捕捉了物体、几何形状、布局和相机位置。你可以像对待任何其他代码一样运行、检查和修改该场景。
模拟器场景提供了精确的真值
为了衡量智能体的表现如何，团队引入了 LEGO-Bench。它包含来自 104 个室内和室外场景的 208 张图像，并使用了 443 个已注册资产。
真实照片无法提供精确的 3D 真值来与之比较，据研究人员称。简单的合成场景看起来不真实。因此 LEGO-Bench 通过从专业构建的模拟器场景渲染图像来折中。输入看起来自然，而精确的几何形状、深度和物体分配保持隐藏，并作为自动评分的答案。场景复杂度也可以在不改变光照或相机设置的情况下逐步提高。
该基准测试从三个维度对每个场景评分：有效性检查是否交付了可用的场景产物。重建衡量可见几何形状的准确程度。外观通过重新渲染提交的场景，并将其与参考图像逐像素比较，来捕捉外观与原始图像的接近程度。
智能体能交付可用的产物，但在几何形状上表现挣扎
所有六种测试的 GPT 配置几乎每次都能交付可用的场景。不过准确率差异极大。GPT-6 Astra 是测试中表现最好的模型，在室内场景上达到 53.4%，在室外场景上达到 39.6%。较弱的配置得分约为 15%。
场景越复杂，准确率下降越多，而户外场景比室内场景更难。当研究人员增加模型的推理预算时，GPT-6 各变体大幅提升。Astra 在一个办公室测试子集上的得分从 32.3% 跃升至 61.8%。
为了理解原因，研究人员分析了智能体的工作步骤。他们发现，糟糕的初始尝试、推翻先前进展的修改，以及不可靠的自我评估是最常见的问题。
最后一点最能说明问题。当模型必须从两个版本中选出哪个更匹配原图时，它们的几何判断接近或低于随机水平。智能体基本上无法判断自己的场景是否变得更好了。研究人员得出结论：优化应依赖具体的测量，而非智能体自身的判断。
这一洞见促使作者构建了 LEGO-Plugin，一个无需额外训练的扩展。它将起始场景锚定在参考图像中，用具体的测量取代不可靠的自我判断，并保护正确的进展免受倒退性编辑的影响。该插件改善了全部六个模型。较弱的智能体提升最大，最高提升达 62.7%。本已强大的顶尖模型仅提升约两个百分点。
重建的场景还不够准确
最后，团队测试了重建的场景能否作为标准视觉任务的基础。由于每个场景都是一个可执行程序，目标检测、分割和深度估计可以直接从中提取。
在没有任何额外训练的情况下，这些场景在全部三项任务上产生了可用但平平的结果。目标检测表现最好，重建的场景达到了大约一半的性能，相比专用模型 DINO。在分割和深度估计方面，与SAM 3 等专用模型的差距和 Depth Anything 3 更大。作者表示，当前编程智能体生成的可执行场景程序展现出潜力，但还不够准确。从可运行的结果到忠实重建之间仍存在很大差距。
GPT-6 Astra 在 LEGO-Bench 上的压倒性领先与其他观察结果一致。AI 研究员 Yoav Artzi 认为该模型在空间理解方面是一次重大飞跃，并推测它是在大量 3D 数据（如 Blender 场景）上训练的。3D 软件厂商已经在为这类智能体做准备。Unity 已为 Claude Code 和 Codex 发布了官方插件。其他方法则完全跳过代码，直接在模型内部重建场景，例如World Labs 的 Atlas 世界模型。Google Deepmind 则另辟蹊径，推出 GenCeption，使用视频模型进行深度估计和分割，其性能可与专用模型相媲美。