DD

Dipanjan Dey✓

@Dipanjan_Dey

⚠️ 前沿 AI 模型在设计创造力上仍显著落后于人类设计师。⚠️

介绍 Design Creativity Bench，一个评估 AI 模型在 UI 设计任务上创造力的新基准测试。

尽管在生成功能性网站和产品 UI 的能力上进展迅速，领先的 AI 模型在做出创造性设计决策方面仍然吃力。

我们评估了 16 个前沿模型，涵盖 80 个开放式 UI 任务，每个任务都适配两个不同的产品领域，并配有对应的人类设计师参考。

现有的 UI 基准测试通常只衡量单一的输出质量指标。而我们衡量设计创造力的三个维度：

  • – 原创性：对于同一份需求简报，模型的设计与其他模型输出有多大区别。
  • – 创意范围：当产品领域变化时，模型调整其设计决策的程度。
  • – 恰当性：生成的 UI 在多大程度上满足简报的功能需求。

结果揭示了整体创造力上的巨大差距：最好的模型，@OpenAIGPT-6 Astra，得分为 65.5，而人类参考为 92.3。

我们发布完整的排行榜、方法论和可复现的评估框架，让设计创造力成为前沿模型能力中一个可衡量的维度。

📊 基准测试排行榜：https://kombai.com/benchmark/
📄 论文：https://arxiv.org/abs/2610.11539
🤗 HuggingFace 数据集：https://huggingface.co/datasets/Kombai/design-creativity-bench
🔗 Github：https://github.com/kombai-io/design-creativity-bench/