AWSDMS是否可以将S3Glacier作为目标?
创始人
2024-09-24 21:01:14
0

AWS DMS本身不支持将数据流式传输到S3 Glacier,但是可以使用Lambda函数将数据从DMS传输到S3 Glacier。以下是解决方法的代码示例:

  1. 创建Lambda函数

创建一个Lambda函数,将以下源代码复制到Lambda中。

import boto3
import os
import json
from io import BytesIO
import gzip

s3_res = boto3.resource('s3')

def lambda_handler(event, context):
    # Capture the DynamoDB stream event
    input_data = event['Records']

    # S3 bucket configuration - replace with your bucket & folder name
    bucket_name = 'my-glacier-bucket'
    folder_name = 'my_data_folder'

    # Create a new S3 object
    client = boto3.client('s3')
    key = folder_name + '/ssm-' + str(time.time()) + '.json.gz'

    byte_data = json.dumps(input_data).encode('UTF-8')

    # Compress data using GZIP compression
    gzip_data = BytesIO()
    with gzip.GzipFile(fileobj=gzip_data, mode='wb') as gz:
        gz.write(byte_data)
    data = gzip_data.getvalue()

    # Upload compressed data to S3 Glacier
    client.upload_archive(vaultName=bucket_name, body=data)

    # Log output to CloudWatch
    print('Data uploaded to S3 Glacier.')

    # Return success message
    return 'Success'
  1. 将Lambda函数连接到DMS任务

在DMS任务中设置Lambda函数作为目标端点,并将输入映射到Lambda函数的输入参数。在AWS管理控制台中启动DMS任务之前,请确保按照以下格式创建表映射:

{
    "TableName": "my_table_name",
    "TableMappings": [
        {
            "Type": "Include",
            "SourceSchema": "my_source_schema",
            "SourceTable": "my_source_table",
            "TargetTable": "my_target_table",
            "TargetSchema": "my_target_schema",
            "MappingProperties": {}
        }
    ],
    "TargetEndpointArn": "arn:aws:dms:us-east-1:123456789012:endpoint:QJLTZ7VV5YB6OQF435DG5PR73M",
    "ReplicationInstanceArn": "arn:aws:dms:us-east-1:123456789012:rep:3H5PB45D9JPYSOI25LVGNAE5GI",
    "MigrationType": "full-load",
    "TableMappingsEnabled": true,
    "StreamEnabled":

相关内容

热门资讯

记者揭秘!智星菠萝辅助(透视辅... 记者揭秘!智星菠萝辅助(透视辅助)拱趴大菠萝辅助神器,扑克教程(有挂细节);模式供您选择,了解更新找...
一分钟揭秘!约局吧能能开挂(透... 一分钟揭秘!约局吧能能开挂(透视辅助)hhpoker辅助靠谱,2024新版教程(有挂教学);约局吧能...
透视辅助!wepoker模拟器... 透视辅助!wepoker模拟器哪个好用(脚本)hhpoker辅助挂是真的,科技教程(有挂技巧);囊括...
透视代打!hhpkoer辅助器... 透视代打!hhpkoer辅助器视频(辅助挂)pokemmo脚本辅助,2024新版教程(有挂教程);风...
透视了解!约局吧德州真的有透视... 透视了解!约局吧德州真的有透视挂(透视脚本)德州局HHpoker透视脚本,必胜教程(有挂分析);亲,...
六分钟了解!wepoker挂底... 六分钟了解!wepoker挂底牌(透视)德普之星开辅助,详细教程(有挂解密);德普之星开辅助是一种具...
9分钟了解!wpk私人辅助(透... 9分钟了解!wpk私人辅助(透视)hhpoker德州透视,插件教程(有挂教学);风靡全球的特色经典游...
推荐一款!wepoker究竟有... 推荐一款!wepoker究竟有透视(脚本)哈糖大菠萝开挂,介绍教程(有挂技术);囊括全国各种wepo...
每日必备!wepoker有人用... 每日必备!wepoker有人用过(脚本)wpk有那种辅助,线上教程(有挂规律);wepoker有人用...
玩家必备教程!wejoker私... 玩家必备教程!wejoker私人辅助软件(脚本)哈糖大菠萝可以开挂,可靠技巧(有挂神器)申哈糖大菠萝...