AWS上大型Excel文件的批处理超时问题。
创始人
2024-09-27 07:01:11
0

可以使用 AWS Lambda 函数、Amazon S3 存储桶和 AWS Step Functions 执行以下操作:

  1. 将 Excel 文件上传到 AWS S3 存储桶。

  2. 创建一个 AWS Lambda 函数,该函数将读取预定的 S3 存储桶中的 Excel 文件,并将其拆分为单个任务以进行并行处理。

  3. 使用 AWS Step Functions 构建有序工作流,以在 AWS Lambda 函数的并行任务处理期间跟踪进度,并将任务状态存储到 Amazon DynamoDB 数据库中。

  4. 启用 AWS Step Functions 超时策略,以在预定义的时间段内检查并处理 Excel 文件的进度状态。

  5. 利用 AWS Lambda 函数和 Amazon S3 存储桶删除进度状态管理的数据库条目和拆分的单个任务。

以下是使用 Node.js 编写的 AWS Lambda 函数代码示例,用于并行处理 Excel 文件中的数据:

const XLSX = require('xlsx');
const AWS = require('aws-sdk');

const s3 = new AWS.S3();
const db = new AWS.DynamoDB.DocumentClient();

exports.handler = async (event, context) => {

    const { bucket, key } = event;
    const { lineStart, lineEnd } = event; // Optional parameters for specifying rows to work in.

    try {
        const s3Response = await s3.getObject({ Bucket: bucket, Key: key }).promise();
        const workbook = XLSX.read(s3Response.Body, { type: 'buffer' });
        const worksheet = workbook.Sheets[workbook.SheetNames[0]];
        const rows = XLSX.utils.sheet_to_json(worksheet, { range: `${lineStart || worksheet['!ref'].split(':')[0]}:${lineEnd || worksheet['!ref'].split(':')[1]}` });

        const chunkSize = parseInt(process.env.CHUNK_SIZE);
        const chunks = Math.ceil(rows.length / chunkSize);
        for (let i = 0; i < chunks; i++) {
            const start = i * chunkSize;

相关内容

热门资讯

第8分钟了解!余干辅助软件哪个... 第8分钟了解!余干辅助软件哪个好!原来是真的有辅助插件(有挂总结)-哔哩哔哩1、上手简单,内置详细流...
第9分钟了解!牵手跑辅助!一贯... 第9分钟了解!牵手跑辅助!一贯真的是有辅助神器(有挂技巧)-哔哩哔哩1、牵手跑辅助辅助器安装包、牵手...
两分钟了解!浙江游戏温州熟客辅... 两分钟了解!浙江游戏温州熟客辅助!切实一直都是有辅助插件(果真有挂)-哔哩哔哩1、每一步都需要思考,...
第三分钟了解!海螺众娱脚本!真... 第三分钟了解!海螺众娱脚本!真是是真的有辅助教程(有挂解密)-哔哩哔哩1)海螺众娱脚本免费钻石:进一...
十分钟了解!决战血流辅助!一贯... 十分钟了解!决战血流辅助!一贯一直都是有辅助技巧(有挂详情)-哔哩哔哩运决战血流辅助辅助工具,进入游...
四分钟了解!开心泉州作必弊!果... 四分钟了解!开心泉州作必弊!果然存在有辅助技巧(有挂细节)-哔哩哔哩1、开心泉州作必弊透视辅助软件激...
三分钟了解!情怀麻烦将关春天辅... 三分钟了解!情怀麻烦将关春天辅助!其实一直总是有辅助神器(有挂教学)-哔哩哔哩1、完成情怀麻烦将关春...
8分钟了解!福建十三水软件开发... 8分钟了解!福建十三水软件开发!一直有辅助工具(有挂秘诀)-哔哩哔哩该软件可以轻松地帮助玩家将福建十...
九分钟了解!手游奇迹陕西辅助工... 九分钟了解!手游奇迹陕西辅助工具!果然一直都是有辅助方法(真实有挂)-哔哩哔哩该软件可以轻松地帮助玩...
第5分钟了解!微信海豚大厅辅助... 第5分钟了解!微信海豚大厅辅助!总是一直总是有辅助软件(证实有挂)-哔哩哔哩该软件可以轻松地帮助玩家...