AWSDMS是否可以将S3Glacier作为目标?
创始人
2024-09-24 21:01:14
0

AWS DMS本身不支持将数据流式传输到S3 Glacier,但是可以使用Lambda函数将数据从DMS传输到S3 Glacier。以下是解决方法的代码示例:

  1. 创建Lambda函数

创建一个Lambda函数,将以下源代码复制到Lambda中。

import boto3
import os
import json
from io import BytesIO
import gzip

s3_res = boto3.resource('s3')

def lambda_handler(event, context):
    # Capture the DynamoDB stream event
    input_data = event['Records']

    # S3 bucket configuration - replace with your bucket & folder name
    bucket_name = 'my-glacier-bucket'
    folder_name = 'my_data_folder'

    # Create a new S3 object
    client = boto3.client('s3')
    key = folder_name + '/ssm-' + str(time.time()) + '.json.gz'

    byte_data = json.dumps(input_data).encode('UTF-8')

    # Compress data using GZIP compression
    gzip_data = BytesIO()
    with gzip.GzipFile(fileobj=gzip_data, mode='wb') as gz:
        gz.write(byte_data)
    data = gzip_data.getvalue()

    # Upload compressed data to S3 Glacier
    client.upload_archive(vaultName=bucket_name, body=data)

    # Log output to CloudWatch
    print('Data uploaded to S3 Glacier.')

    # Return success message
    return 'Success'
  1. 将Lambda函数连接到DMS任务

在DMS任务中设置Lambda函数作为目标端点,并将输入映射到Lambda函数的输入参数。在AWS管理控制台中启动DMS任务之前,请确保按照以下格式创建表映射:

{
    "TableName": "my_table_name",
    "TableMappings": [
        {
            "Type": "Include",
            "SourceSchema": "my_source_schema",
            "SourceTable": "my_source_table",
            "TargetTable": "my_target_table",
            "TargetSchema": "my_target_schema",
            "MappingProperties": {}
        }
    ],
    "TargetEndpointArn": "arn:aws:dms:us-east-1:123456789012:endpoint:QJLTZ7VV5YB6OQF435DG5PR73M",
    "ReplicationInstanceArn": "arn:aws:dms:us-east-1:123456789012:rep:3H5PB45D9JPYSOI25LVGNAE5GI",
    "MigrationType": "full-load",
    "TableMappingsEnabled": true,
    "StreamEnabled":

相关内容

热门资讯

2026版辅助挂!黑科技软件大... 2026版辅助挂!黑科技软件大全(辅助)竟然真的是有辅助攻略(真实有挂)1、黑科技软件大全模拟器是什...
2026版技巧!大众互娱脚本(... 2026版技巧!大众互娱脚本(辅助)切实存在有辅助神器(有挂解惑)1、大众互娱脚本免费脚本咨询教程、...
近日!边锋嘉兴辅助(辅助)切实... 近日!边锋嘉兴辅助(辅助)切实是真的有辅助脚本(有挂规律)所有人都在同一条线上,像星星一样排成一排,...
一直以来!上饶窝龙辅助(辅助)... 一直以来!上饶窝龙辅助(辅助)切实真的是有辅助技巧(有挂分享)1、许多玩家不知道上饶窝龙辅助辅助怎么...
明白辅助挂!开心斗一番破解版(... 明白辅助挂!开心斗一番破解版(辅助)总是真的是有辅助插件(有挂教学)1、在开心斗一番破解版插件功能辅...
无独有偶!花花生活圈怎么开挂(... 无独有偶!花花生活圈怎么开挂(辅助)果然存在有辅助神器(竟然有挂)该软件可以轻松地帮助玩家将花花生活...
2026版软件!山西扣点免费辅... 2026版软件!山西扣点免费辅助(辅助)本来存在有辅助脚本(详细教程)暗藏猫腻,小编详细说明山西扣点...
黑科技攻略!悟空大厅辅助(辅助... 黑科技攻略!悟空大厅辅助(辅助)切实真的是有辅助攻略(真的有挂);1、不需要AI权限,帮助你快速的进...
2026版总结!微信小程序辅助... 2026版总结!微信小程序辅助新天道辅助(辅助)一直是有辅助技巧(有挂功能)1、点击下载安装,微信小...
第三方辅助挂!三哥玩辅助器软件... 第三方辅助挂!三哥玩辅助器软件(辅助)果然是真的有辅助软件(有挂教学)1)三哥玩辅助器软件辅助插件:...