AWSGlue是否有一种方法可以使用通配符定义输入路径?
创始人
2024-09-25 16:30:31
0

是的,AWS Glue提供了使用通配符定义输入路径的方法。只需在路径末尾添加“*”即可。例如,要定义S3存储桶mybucket下所有以“input_”为前缀的文件夹中的数据作为输入,可以使用以下代码:

from awsglue.context import GlueContext
from pyspark.context import SparkContext

sc = SparkContext()
glueContext = GlueContext(sc)

# 定义输入路径为mybucket/input_开头的所有文件夹
input_files = glueContext \
    .getCatalogSource(database="my_database", table_name="my_table") \
    .push_down_predicate('`key` LIKE "input_%"')

# 对数据进行转换或处理
transformed_data = input_files \
    .apply_mapping([
        ("col1", "string", "new_col1", "string"),
        ("col2", "string", "new_col2", "string")])

# 将结果保存到目标路径中
glueContext \
    .write_dynamic_frame \
    .from_options(frame=transformed_data, connection_type="s3", connection_options={"path": "s3://mybucket/output/"}, format="csv")

通过push_down_predicate方法,可以将过滤条件传递给AWS Glue的数据目录,从而仅对需要的数据进行转换和处理。在上面的示例中,过滤条件为“key LIKE 'input_%'”,这意味着只有那些以“input_”为前缀的文件夹中的数据将被作为输入。最后,将经过转换的数据保存到目标路径s3://mybucket/output/中。

相关内容

热门资讯

透视攻略!德州局透视脚本,皮皮... 透视攻略!德州局透视脚本,皮皮辅助器(辅助)切实是真的有脚本(哔哩哔哩)皮皮辅助器能透视中分为三种模...
透视窍要!pokemmo辅助器... 透视窍要!pokemmo辅助器,中至抚州辅助软件(辅助)真是存在有插件(哔哩哔哩)1、下载好中至抚州...
透视演示!pokerworld... 透视演示!pokerworld辅助器,雀姬辅助(辅助)原来真的有教程(哔哩哔哩)1、雀姬辅助破解器简...
透视举措!impoker辅助,... 透视举措!impoker辅助,随意玩透视辅助软件(辅助)果然真的是有软件(哔哩哔哩)1、任何随意玩透...
透视模板!智星菠萝辅助,新道游... 透视模板!智星菠萝辅助,新道游科技透视通用版1(辅助)原来有教程(哔哩哔哩)1、进入游戏-大厅左侧-...
透视方式!werplan辅助软... 透视方式!werplan辅助软件,心悦填大坑技巧分析器(辅助)原来有教程(哔哩哔哩)1、透视方式!w...
透视窍要!哈糖大菠萝有挂吗5个... 透视窍要!哈糖大菠萝有挂吗5个常用方法,乐酷副厅有透视吗(辅助)竟然一直都是有技巧(哔哩哔哩)1、许...
透视法门!大菠萝免费辅助,福州... 透视法门!大菠萝免费辅助,福州天天开心辅助(辅助)一贯一直总是有攻略(哔哩哔哩)1、进入到福州天天开...
透视窍门!sohoo辅助,潮汕... 透视窍门!sohoo辅助,潮汕掌上娱透视脚本制作(辅助)其实有教程(哔哩哔哩)1、起透看视 潮汕掌上...
透视总结!约局吧德州有挂吗,陕... 透视总结!约局吧德州有挂吗,陕西三代二破解(辅助)原来一直都是有工具(哔哩哔哩)透视总结!约局吧德州...