生成式AI增强亚马逊云科技智能文档处理能力

原标题：生成式AI增强亚马逊云科技智能文档处理能力

对于需要处理大量文档的组织来说，数据分类、提取和分析可能具有挑战性。传统的文档处理解决方案是人工操作，成本高昂，容易出错，而且难以扩展。亚马逊云科技智能文档处理（IDP）通过Amazon Textract等人工智能服务，利用行业领先的机器学习（ML）技术，快速准确地处理来自任何扫描文档或图像的数据。生成式人工智能（生成式AI）是Amazon Textract的补充，可进一步实现文档处理工作流的自动化。关键字段规范化和输入数据汇总等功能有助于加快管理文档处理工作流的周期，同时降低出错的可能性。

生成式人工智能由称为基础模型（FM）的大型机器学习模型驱动。基础模型正在改变您解决传统上复杂的文档处理工作负载的方式。除现有功能外，企业还需要汇总特定类别的信息，包括财务报告和银行对账单等文件中的借记和贷记数据。基础模型可以更轻松地从提取的数据中生成此类洞察。为了优化人工审核时间并提高员工的工作效率，电话号码中缺少数字、文件缺失或地址没有街道编号等错误都可以自动标记出来。在当前场景中，您需要投入专门的资源，通过人工审核和复杂的脚本来完成这样的任务。这种方法既繁琐又昂贵。基础模型有助于以更少的资源更快地完成这些任务，并将不同的输入格式转化为可进一步处理的标准模板。在亚马逊云科技，提供Amazon Bedrock等服务，这是使用基础模型构建和扩展生成式人工智能应用程序的最简单方法。

Amazon Bedrock是一项完全托管式服务，通过API提供领先的人工智能初创企业和亚马逊云科技的基础模型，因此您可以找到最满足自己要求的模型。亚马逊云科技还提供Amazon SageMaker JumpStart，此服务让机器学习从业者能够从广泛的开源基础模型中进行选择。机器学习从业者可以从网络隔离环境中将基础模型部署到专用的Amazon SageMaker实例，并使用SageMaker自定义模型以进行模型训练和部署。

在这篇文章中，将分享如何利用生成式人工智能增强亚马逊云科技上的IDP解决方案。

改进IDP管道

基础基础亚马逊云科技IDP方案由三个阶段组成：分类、提取和富集。在分类阶段，基础模型现在无需任何额外训练即可对文档进行分类。这意味着，即使模型之前没有见过类似的示例，也可以对文档进行分类。在提取阶段，基础模型对日期字段进行规范化处理，并核实地址和电话号码，同时确保格式一致。富集阶段的基础模型可进行推理、逻辑推理和总结。如果在每个IDP阶段都使用基础模型，工作流就会更加精简，性能也会提高。下图展示了采用生成式人工智能的IDP管道。

IDP管道的提取阶段

当基础模型无法直接处理原生格式（如PDF、img、jpeg和tiff）的文档作为输入时，就需要一种将文档转换为文本的机制。要在将文档发送给基础模型之前从文档中提取文本，可以使用Amazon Textract。使用Amazon Textract，可以提取行和字词并将其传递给下游基础模型。以下架构使用Amazon Textract从任何类型的文档中精确提取文本，然后再将文档发送给基础模型进行进一步处理。

通常，文档由结构化和半结构化信息组成。Amazon Textract可用于从表格和表单中提取原始文本和数据。表格和表单中的数据之间的关系在业务流程自动化中起着至关重要的作用。基础模型可能无法处理某些类型的信息。因此，可以选择将这些信息存储在下游存储中，也可以将这些信息发送给基础模型。下图举例说明了Amazon Textract如何从文档中提取结构化和半结构化信息，以及需要由基础模型处理的文本行。

使用亚马逊云科技无服务器服务通过基础模型进行总结

前面介绍的IDP管道可以使用亚马逊云科技无服务器服务实现无缝自动化。高度非结构化的文档在大型企业中很常见。这些文档既包括银行业的证券交易委员会（SEC，Securities and Exchange Commission）文档，也包括医疗保险业的承保文档。随着亚马逊云科技的生成式人工智能的发展，这些行业的人们正在寻找以自动化和经济高效的方式从这些文档中获取摘要的方法。无服务器服务有助于提供快速构建IDP解决方案的机制。AWS Lambda、AWS Step Functions和Amazon EventBridge等服务有助于构建集成基础模型的文档处理管道，如下图所示。

上述架构中使用的示例应用程序由事件驱动。事件定义为最近发生的状态变化。例如，当对象上传到Amazon Simple Storage Service（Amazon S3）存储桶时，Amazon S3会发出Object Created事件。来自Amazon S3的事件通知可触发Lambda函数或Step Functions工作流。这种类型的架构称为事件驱动型架构。在这篇文章中，我们的示例应用程序使用事件驱动型架构来处理出院文档样本并总结该文档的详细信息。具体流程如下：

• 当文档上传到S3存储桶时，Amazon S3会触发Object Created事件。
• EventBridge默认事件总线根据EventBridge规则将该事件传播到Step Functions。
• 状态机工作流开始使用Amazon Textract处理文档。
• Lambda函数对分析数据进行转换，以便进行下一步操作。
• 状态机调用SageMaker端点，该端点使用AWS SDK的直接集成来托管基础模型。
• S3目标摘要存储桶接收从基础模型收集的摘要响应。

设置解决方案

按照README文件中的步骤设置解决方案架构（SageMaker端点除外）。有了自己的SageMaker端点后，就可以将端点名称作为参数传递给模板。

清理

为节约成本，请删除作为教程一部分部署的资源：

• 按照README文件中清理部分的步骤进行操作。
• 从S3存储桶中删除所有内容，然后通过Amazon S3控制台删除该存储桶。
• 删除您可能通过SageMaker控制台创建的所有SageMaker端点。

总结

生成式人工智能正在改变您使用IDP处理文档以获得洞察的方式。亚马逊云科技人工智能服务（如Amazon Textract）和亚马逊云科技基础模型有助于准确处理任何类型的文档。