大多数文档 AI 平台都让你在便利性和控制力之间做选择。LlamaParse 不用。它被设计成可以在你的文档需要所在的任何地方运行:作为全托管 API、在你自己的云账户内,或在你自己的数据中心里。而且由你来选择谁来运行其背后的模型。同一套解析和提取引擎在每种部署方式下都能工作,因此你的部署能契合你的安全、合规和基础设施要求,而不是反过来。

当文档流水线进入生产环境时,这种灵活性最为重要。你的文档将存放在哪里?哪些需要在你自己的环境中运行?你的团队希望拥有多少基础设施?LlamaParse 对每一个问题都有答案:

  • SaaS:我们运行平台和推理基础设施。
  • VPC(BYOC):你在自己的 AWS、Azure 或 Google Cloud 账户中部署平台。
  • 本地部署:你在自己的数据中心运行平台。

而且自己运行平台并不意味着你必须签约运行一批 GPU。LlamaIndex 可以为你管理推理,带来成本节省、即时的算力可用性,以及更少的运维开销。

下面我们将逐一介绍每种部署选项,以及各自的优势和注意事项。

LlamaParse SaaS

最快的上手方式。我们运行平台、模型和 GPU,因此你的团队可以在几分钟内从注册到解析文档,无需部署或维护任何东西。

在你的 VPC 中运行 LlamaParse(BYOC)

在 Enterprise 套餐中,你可以在自己的 VPC 或数据中心运行 LlamaParse,文档和处理结果都存储在你自己的环境中。页面在哪里处理取决于你选择哪种推理选项。

该部署包括 Web UI、REST API、处理 worker 和支持性数据库。你的团队提供基础设施、运营平台,并决定何时升级。LlamaParse 使用 Helm chart 安装在 Kubernetes 上。

你可以让 LlamaIndex 管理推理,也可以自己运行受支持的模型。

混合模式:LlamaIndex 管理的推理

对于在其 VPC 中部署 LlamaParse 的团队,我们推荐一种混合部署你的团队运行平台并控制文档存储,而 LlamaIndex 负责模型和 GPU。你把平台保留在自己的账户中,无需承担模型运维。

托管推理让团队免于配置 GPU 容量和维护模型服务基础设施。你无需为任务间隙闲置的 GPU 付费,也省去了保持模型运行并随需求变化进行扩展的工程工作。

文档和结果仍存储在你的账户中,但页面图像和文本会离开你的环境以进行推理。因此,处理区域和连接方式需要符合你的数据要求。在 AWS 上,该连接使用 AWS PrivateLink。

托管推理也适用于具备出站连接能力的本地部署。它无法在气隙环境中使用。

客户自管推理

如果你的要求需要更多处理留在本地,你可以在自己的环境中运行受支持的 LlamaIndex 模型。

你的团队运行模型并提供 GPU 容量,包括随需求变化进行扩展。这让你掌控硬件,并让受支持的处理步骤在本地运行。

哪些内容留在本地取决于你使用的功能。在本地托管受支持模型的情况下,Parse Cost-Effective 和 Agentic 会将所有页面处理保留在你的环境中。Parse Agentic Plus、forms 模式和 Extract 需要通过你配置的提供商进行外部模型调用。

对于本地托管的模型,我们推荐使用 GPU。合适的硬件取决于你的文档和工作负载,包括内容密度、GPU 类型、云提供商,以及你处理的是稳定流量还是大规模回填。

当在本地运行模型是优先事项,且你的团队能够支撑相关基础设施时,选择此方案。

本地部署与气隙部署

LlamaParse 在你数据中心的合规 Kubernetes 集群上运行,使用你自己的存储、数据库和身份提供商。容器镜像(包括模型镜像)可以镜像到你的私有仓库,许可证密钥无需网络连接即可验证。

对于气隙(air-gapped)运行,你需要在自有 GPU 上托管受支持的模型。Parse Cost-Effective 和 Agentic 会将所有页面处理保留在你的网络内。Extract、Parse Agentic Plus 和 forms 模式需要向外发起模型调用。这些工作流以及 LlamaIndex 托管推理无法在完全气隙的环境中运行。

这对成本和质量意味着什么

比较成本时,要同时计入基础设施和运维它所需的工作。托管推理把模型运维留给 LlamaIndex。自行托管模型意味着要为 GPU 以及负责保持其运行的团队做预算。

我们的团队可以帮你评估这些成本,针对你的文档和工作负载。

处理质量还取决于你使用的模型。在本地托管受支持的模型时,Parse Cost-Effective 和 Agentic 应能提供与托管服务相同的质量。当你的部署使用不同模型时,Extract 的结果可能不同。

使用有代表性的文档和抽取 schema 来评估你计划运行的配置。这样你能实际了解你的工作负载在质量、延迟和成本方面的表现。

开始使用

你可以从 SaaS 开始,也可以把 LlamaParse 引入你的 VPC 或数据中心。如果你需要把平台部署在自己的环境中,我们会帮你找到适合你数据需求以及你团队愿意管理的基础设施的推理方案。

试用 LlamaParse或联系我们的团队咨询你的部署方案。