AWS上大型Excel文件的批处理超时问题。
创始人
2024-09-27 07:01:11
0

可以使用 AWS Lambda 函数、Amazon S3 存储桶和 AWS Step Functions 执行以下操作:

  1. 将 Excel 文件上传到 AWS S3 存储桶。

  2. 创建一个 AWS Lambda 函数,该函数将读取预定的 S3 存储桶中的 Excel 文件,并将其拆分为单个任务以进行并行处理。

  3. 使用 AWS Step Functions 构建有序工作流,以在 AWS Lambda 函数的并行任务处理期间跟踪进度,并将任务状态存储到 Amazon DynamoDB 数据库中。

  4. 启用 AWS Step Functions 超时策略,以在预定义的时间段内检查并处理 Excel 文件的进度状态。

  5. 利用 AWS Lambda 函数和 Amazon S3 存储桶删除进度状态管理的数据库条目和拆分的单个任务。

以下是使用 Node.js 编写的 AWS Lambda 函数代码示例,用于并行处理 Excel 文件中的数据:

const XLSX = require('xlsx');
const AWS = require('aws-sdk');

const s3 = new AWS.S3();
const db = new AWS.DynamoDB.DocumentClient();

exports.handler = async (event, context) => {

    const { bucket, key } = event;
    const { lineStart, lineEnd } = event; // Optional parameters for specifying rows to work in.

    try {
        const s3Response = await s3.getObject({ Bucket: bucket, Key: key }).promise();
        const workbook = XLSX.read(s3Response.Body, { type: 'buffer' });
        const worksheet = workbook.Sheets[workbook.SheetNames[0]];
        const rows = XLSX.utils.sheet_to_json(worksheet, { range: `${lineStart || worksheet['!ref'].split(':')[0]}:${lineEnd || worksheet['!ref'].split(':')[1]}` });

        const chunkSize = parseInt(process.env.CHUNK_SIZE);
        const chunks = Math.ceil(rows.length / chunkSize);
        for (let i = 0; i < chunks; i++) {
            const start = i * chunkSize;

相关内容

热门资讯

有挂一下!九九联盟辅助在,广西... 有挂一下!九九联盟辅助在,广西老友玩辅助,好像真的有挂(哔哩哔哩)九九联盟辅助在能透视中分为三种模型...
详细一下!雀友会广东潮汕辅助有... 详细一下!雀友会广东潮汕辅助有开挂,约战大同辅助,总是是有挂(哔哩哔哩);1、打开软件启动之后找到中...
专业一下!微乐小程序外辅助工具... 专业一下!微乐小程序外辅助工具,欢乐茶馆辅助,一直是真的有挂(哔哩哔哩)1、不需要AI权限,帮助你快...
辅助一下!道游互娱辅助,填大坑... 辅助一下!道游互娱辅助,填大坑辅助器视频,其实是真的有挂(哔哩哔哩)一、填大坑辅助器视频可以开透视的...
必备一下!潮娱乐鱼虾蟹公式辅助... 您好,潮娱乐鱼虾蟹公式辅助软件这款游戏可以开挂的,确实是有挂的,需要了解加去威信【136704302...
总结一下!圣游科技,博雅红河西... 总结一下!圣游科技,博雅红河西元红河挂,确实真的是有挂(哔哩哔哩)1、许多玩家不知道博雅红河西元红河...
分享一下!福建微乐小程序修改器... 分享一下!福建微乐小程序修改器,大懒人斗十四辅助,其实真的有挂(哔哩哔哩)小薇(辅助器软件下载)致您...
解迷一下!天天贵阳游戏辅助,衢... 解迷一下!天天贵阳游戏辅助,衢州都莱罗松辅助器,都是是真的有挂(哔哩哔哩)1、天天贵阳游戏辅助模拟器...
教你一下!青橙竞技游戏辅助,决... 教你一下!青橙竞技游戏辅助,决战卡五星辅助器,都是有挂(哔哩哔哩)亲,关键说明,青橙竞技游戏辅助透视...
普及一下!微信卡五星辅助器,海... 普及一下!微信卡五星辅助器,海盗来了大白辅助,都是是有挂(哔哩哔哩)1、在微信卡五星辅助器插件功能辅...