一种基于真实世界分布的日本人物画像的复合 AI 方法
开放数据打破隐私壁垒，为 AI 在金融领域的应用铺平道路
在金融领域，真实世界数据的使用面临显著限制，原因包括严格的隐私法规、合规要求以及对高级领域专业知识的需求。在此背景下，金融领域智能体的开发需要合成数据，这类数据既能规避使用真实数据的风险，又能反映人口统计特征、家庭结构和资产状况，以复现多样且真实的金融场景。
为应对这些挑战，Elith与 NVIDIA 已发布Nemotron-Personas-Finance-Japan，这是开源人物画像数据集“Nemotron-Personas-Japan”的金融领域扩展版本。据我们所知，这是首个百万记录规模的开源人物画像数据集，将日本官方统计数据与家庭金融和金融素养数据配对。该数据集基于政府官方统计数据构建，开发使用了NeMo SDG-PGMs——一个用于合成数据生成（SDG）的概率图模型框架，以及NeMo Data Designer——一个企业级合成数据生成系统。此外，为提升该数据集在金融用例中的实用价值，其设计融入了日本国内领先金融机构和行业协会提供的洞见与反馈，包括 Sompo Japan、Tokio Marine Holdings、Bank of Fukuoka、Mizuho Financial Group、Meiji Yasuda Life Insurance 以及金融数据利用协会（FDUA）。
该数据集拓展了日本开发者和企业无需使用真实客户数据即可开发和评估契合本地及行业需求 AI 的环境。它以CC BY 4.0许可发布，可用于商业用途。从构建对话智能体到客户模拟和模型评估，它支持实用的金融 AI 开发。Nemotron-Personas 集合（包括 Nemotron-Personas-Finance-Japan）旨在与用户模拟框架NeMo User Sim，从而能够即时执行从与真实世界一致的多样分布中抽取的模拟。
数据集里有什么？
- 总计 900 万个人设（100 万条记录 × 每条 9 个人设），以自然日语撰写
- 每条记录 50 个字段：9 个人设字段、11 个人设属性，以及基于官方人口与劳动统计的 30 个上下文字段
- 总计约 15 亿 token，其中包含约 7.5 亿个人设 token
- 约 95 万个唯一姓名
- 1600+ 个职业类别反映日本的劳动力状况
- 全面覆盖横跨人口、地区、资产分布和人格特质等维度
- 多样的人设类型：职业、体育、艺术、旅行、烹饪、金融、金融行为以及财务关切
- 自然语言人设属性：文化背景、技能与专长、职业目标与抱负、爱好与兴趣、家庭/育儿/财务背景、金钱观以及财务规划
- 商业和非商业用途均可使用依据 CC BY 4.0 许可
我们如何构建它
数据生成流水线
它使用 NVIDIA 的合成数据生成框架构建，NeMo Data Designer。这一复合 AI 系统支持复杂的 Jinja 模板、Pydantic 校验、结构化输出、自动重试，以及对多种生成后端的支持。这是生成如此大规模合成数据集所必需的工具集。此外，还使用了以下模型：
- NeMo SDG-PGMs（Apache-2.0）：一个用于统计依据数据生成的概率图模型框架
- gemma-4-31B-it（Apache-2.0）：用于日语文本生成
增强的文化语境
Nemotron-Personas-Finance-Japan 旨在与日本的官方人口与劳动统计保持一致，同时兼顾 AI 训练所必需的关键考量：
- 教育：在国家统计对学位层次进行宽泛汇总之处，我们引入了更细的粒度，使模型能够反映多样的教育路径。
- 职业：我们纳入了更多类别（如企业主和专业职业），以拓宽用于训练的职业范围。
- 人生阶段我们建模了那些在统计数据中很少突出呈现的场景，例如学生、退休人员以及失业时期，以代表更真实的用户画像。
- 家庭财务状况除了个人收入和消费倾向外，我们还纳入了家庭层面的财务和实物资产，以复现多样化的经济背景。
- 数字与金融素养通过纳入互联网和智能手机使用情况以及金融素养，我们使模型能够精确捕捉金融用例中的消费者画像。
设计上保护隐私
每个人物画像都是完全合成的。不涉及任何真实个人，该数据集旨在降低隐私风险。人口统计和家庭财务状况遵循官方统计和公开调查数据，姓名遵循真实的日本命名模式。人物画像基于这些分布构建，而非基于关于真实人物的记录。
这份数据面向谁
Nemotron-Personas-Finance-Japan 首先面向在日本构建金融 AI 的团队，包括银行和保险公司，以及为它们提供服务的初创公司和集成商。每个人物画像都附带人口统计信息以及家庭财务状况和金融素养。团队可以用它们构建客服智能体、评估销售对话/营销举措、在 NeMo User Sim 中运行用户模拟，以及对面向客户的 AI 进行红队测试。
此次发布也服务于任何为日本用户构建产品的人。它包含 900 万个人物画像，比 Nemotron-Personas-Japan 多 50%，覆盖 50 个字段而非 22 个。这为任何日语项目提供了更细粒度的人群切片，用于训练和测试。
实际 AI 应用
该数据集中的合成人物画像可用于：
- 多轮对话：将人物画像作为“种子”来生成类人对话数据集。
- 领域特定的 AI 开发：生成数据集，以构建针对金融用例中真实场景定制的 AI 助手。
- 偏见测试与公平性：评估模型和 AI 智能体系统在城乡差异、不同年龄群体、教育背景和经济状况下的表现，以检查 AI 在日本社会中是否表现一致。
为何重要
获取反映真实世界人群的多样化、高质量训练数据，长期以来一直是 AI 开发中的一大挑战。企业 AI 开发主要依赖私有数据，这为研究人员、初创公司，尤其是数据资源有限地区的 AI 开发者制造了障碍。
- 数据多样性：反映日本人口的全貌，有助于减少有偏训练以及模型崩溃的风险。
- 文化真实性：降低对以西方为中心的数据集的依赖，并支持主权 AI 系统的开发。
- 隐私与治理：与日本以创新为先的 AI 治理方针一致。每个人设都是合成的，因此构建或测试时无需任何客户数据。
通过以 CC BY 4.0 许可发布 Nemotron-Personas-Finance-Japan，我们提供了对企业级、高质量合成数据的访问，让任何人都能以更低的成本和更小的隐私风险构建具有文化根基的 AI 系统。
与 Nemotron-PII-Japan 搭配使用
Nemotron-PII-Japan同日发布。它包含 100,000 份标注了个人信息的合成日本商业文档，用于训练和测试检测与脱敏模型。其文档基于 Nemotron-Personas-Japan 构建。使用 Nemotron-Personas-Finance-Japan 模拟客户，使用 Nemotron-PII-Japan 测试你的流水线如何保护他们的数据。
开始使用 Nemotron-Personas-Finance-Japan 构建
你可以使用下面的命令下载该数据集，以帮助开发真正理解日本文化和语言的 AI。
来自 datasets 导入 load_dataset
ds = load_dataset("nvidia/Nemotron-Personas-Finance-Japan")
构建生产就绪应用的用例：
- 将人设用作对话生成的种子
- 用具有文化根基的数据微调模型
- 构建反映日本整体人口构成的个性化引擎
- 开发具备日本语境知识的领域专用 AI 智能体
从在日本构建 AI 的团队，到寻求更广泛区域部署的全球开发者，Nemotron-Personas-Finance-Japan数据集为你的应用提供了所需的真实、注重隐私的基础。