AWSGlue通过FTP下载文件到S3,但S3路径无法识别。
创始人
2024-09-25 16:31:14
0

在 AWS Glue Python Shell Job 里面使用 PySpark 的方式操作 FTP 和 S3。代码示例如下:

import pysftp
from io import BytesIO
import boto3

# FTP 连接信息
ftp_host = 'ftp.example.com'
ftp_username = 'username'
ftp_password = 'password'
ftp_file_path = '/path/to/ftp/file.csv'

# S3 存储桶和目标文件路径
s3_bucket_name = 'my-s3-bucket'
s3_file_path = 'path/to/s3/file.csv'

# 通过 PySpark 协议读取 FTP 文件内容并上传到 S3
def upload_to_s3(ftp_file_path, s3_file_path, s3_bucket_name):
    with pysftp.Connection(host=ftp_host, username=ftp_username, password=ftp_password) as sftp:
        with BytesIO() as bio:
            sftp.getfo(ftp_file_path, bio.write)
            bio.seek(0)
            session = boto3.Session()
            s3 = session.resource('s3')
            s3.Bucket(s3_bucket_name).Object(s3_file_path).put(Body=bio.read())

upload_to_s3(ftp_file_path, s3_file_path, s3_bucket_name)

在 PySpark Console 里面运行该代码,即可将 FTP 文件下载并上传到 S3 中的指定路径。

相关内容

热门资讯

三分钟辅助!werplan免费... 您好,wepoker怎么设置透视这款游戏可以开挂的,确实是有挂的,需要了解加去威信【48527505...
第二分钟辅助!wepoker怎... 第二分钟辅助!wepoker怎么开辅助,wpk作弊是真的吗,指引教程(有挂工具)1、这是跨平台的we...
十分钟辅助!wepoker辅助... 十分钟辅助!wepoker辅助器软件下载,wepoker透视版下载,秘籍教程(发现有挂)1、打开软件...
第九分钟辅助!wepoker游... 第九分钟辅助!wepoker游戏安装教程,aapoker脚本,手筋教程(真的有挂)1、进入游戏-大厅...
第六分钟辅助!wpk透视是真的... 第六分钟辅助!wpk透视是真的假的,xpoker怎么作弊,阶段教程(有挂分析)1、进入游戏-大厅左侧...
5分钟辅助!大菠萝辅助器,im... 5分钟辅助!大菠萝辅助器,impoker辅助,操作教程(有挂透明挂)1、上手简单,内置详细流程视频教...
2分钟辅助!aapoker能控... 您好,aapoker能控制牌吗这款游戏可以开挂的,确实是有挂的,需要了解加去威信【136704302...
第1分钟辅助!WePOker有... 第1分钟辅助!WePOker有没有透视方法,aapoker怎么选牌,指引教程(有挂解密)1、WePO...
第九分钟辅助!wepoker透... 第九分钟辅助!wepoker透视脚本网页,如何下载wepoker安装包,技法教程(有挂方法)一、如何...
第八分钟辅助!wepoker安... 第八分钟辅助!wepoker安装教程,pokernow辅助控制,总结教程(有挂方略)在进入poker...