AWS上大型Excel文件的批处理超时问题。
创始人
2024-09-27 07:01:11
0

可以使用 AWS Lambda 函数、Amazon S3 存储桶和 AWS Step Functions 执行以下操作:

  1. 将 Excel 文件上传到 AWS S3 存储桶。

  2. 创建一个 AWS Lambda 函数,该函数将读取预定的 S3 存储桶中的 Excel 文件,并将其拆分为单个任务以进行并行处理。

  3. 使用 AWS Step Functions 构建有序工作流,以在 AWS Lambda 函数的并行任务处理期间跟踪进度,并将任务状态存储到 Amazon DynamoDB 数据库中。

  4. 启用 AWS Step Functions 超时策略,以在预定义的时间段内检查并处理 Excel 文件的进度状态。

  5. 利用 AWS Lambda 函数和 Amazon S3 存储桶删除进度状态管理的数据库条目和拆分的单个任务。

以下是使用 Node.js 编写的 AWS Lambda 函数代码示例,用于并行处理 Excel 文件中的数据:

const XLSX = require('xlsx');
const AWS = require('aws-sdk');

const s3 = new AWS.S3();
const db = new AWS.DynamoDB.DocumentClient();

exports.handler = async (event, context) => {

    const { bucket, key } = event;
    const { lineStart, lineEnd } = event; // Optional parameters for specifying rows to work in.

    try {
        const s3Response = await s3.getObject({ Bucket: bucket, Key: key }).promise();
        const workbook = XLSX.read(s3Response.Body, { type: 'buffer' });
        const worksheet = workbook.Sheets[workbook.SheetNames[0]];
        const rows = XLSX.utils.sheet_to_json(worksheet, { range: `${lineStart || worksheet['!ref'].split(':')[0]}:${lineEnd || worksheet['!ref'].split(':')[1]}` });

        const chunkSize = parseInt(process.env.CHUNK_SIZE);
        const chunks = Math.ceil(rows.length / chunkSize);
        for (let i = 0; i < chunks; i++) {
            const start = i * chunkSize;

相关内容

热门资讯

4分钟辅助!werplan怎么... 4分钟辅助!werplan怎么透视,wepoker脚本下载,举措教程(有挂存在)1)wepoker脚...
第十分钟辅助!wepoker私... 第十分钟辅助!wepoker私人局俱乐部怎么进,wepoker透视有吗,练习教程(有挂教程)wepo...
6分钟辅助!pokerrrr2... 6分钟辅助!pokerrrr2辅助,哈糖大菠萝免费辅助器,举措教程(有挂猫腻)1)哈糖大菠萝免费辅助...
五分钟辅助!wepoker底牌... 五分钟辅助!wepoker底牌透视,淘宝买wepoker透视有用吗,教程书教程(揭秘有挂)所有人都在...
9分钟辅助!wepoker轻量... 9分钟辅助!wepoker轻量版有透视吗,wepoker祈福有用吗,总结教程(有挂规律)1、玩家可以...
七分钟辅助!wpk辅助器,we... 七分钟辅助!wpk辅助器,wepoker有辅助功能吗,方针教程(有挂详细)1、七分钟辅助!wpk辅助...
6分钟辅助!来玩app破解版,... 6分钟辅助!来玩app破解版,wepoker辅助器免费,方针教程(有挂细节)1、在wepoker辅助...
五分钟辅助!模拟器打开hhpo... 五分钟辅助!模拟器打开hhpoker,hhpoker辅助器,教程书教程(竟然有挂)1、下载好模拟器打...
六分钟辅助!来玩app破解,德... 六分钟辅助!来玩app破解,德州局脚本,方式教程(有挂教程)1、进入到德州局脚本是否有挂之后,能看到...
第三分钟辅助!约局吧是否有挂,... 第三分钟辅助!约局吧是否有挂,wepoker黑侠破解,经验教程(有挂解密)该软件可以轻松地帮助玩家将...