AWSGlue:过滤日期字段
创始人
2024-09-25 18:31:31
0

使用AWS Glue的动态框架和Python语言,可以过滤数据源中的日期字段。以下是过滤年份为特定值的日期字段的代码示例:

import sys from awsglue.transforms import * from awsglue.utils import getResolvedOptions from awsglue.dynamicframe import DynamicFrame

args = getResolvedOptions(sys.argv, ['JOB_NAME'])

@params: [JOB_NAME]

job = Job(args['JOB_NAME']) job.init()

Getting the context from Glue

glueContext = GlueContext(SparkContext.getOrCreate())

Creating a dynamic frame from the source data

dataSource = glueContext.create_dynamic_frame.from_catalog(database = "myDatabase", table_name = "myTable")

Filtering the date column where year is 2021

filteredDF = Filter.apply(frame = dataSource, f = lambda x: x['date_field'].split("-")[0] == "2021")

Converting dynamic frame to data frame

filteredDF.toDF().show()

End job

job.commit()

上述代码将从myDatabase.myTable获取数据,过滤出日期字段中年份为2021的数据,并将其转换为dataframe进行输出。可以根据需要修改过滤条件。

相关内容

热门资讯

揭秘关于!wepoker钻石怎... 揭秘关于!wepoker钻石怎么看底牌,德普之星的辅助工具介绍,必胜教程(一直确实有挂)-哔哩哔哩;...
一分钟揭秘!uupoker有透... 一分钟揭秘!uupoker有透视吗,hhpoker有没有辅助,新2026版(一贯真的有挂)-哔哩哔哩...
科技通报!hhpoker为什么... 科技通报!hhpoker为什么一直输,wepoker透视脚本苹果版,存在挂教程(原来有挂)-哔哩哔哩...
透视辅助!wepokerplu... 透视辅助!wepokerplus透视脚本免费,wepoker辅助插件功能,必备教程(一贯有挂)-哔哩...
透视辅助!wejoker内置辅... 透视辅助!wejoker内置辅助,hhpoker有辅助的吗,wpk教程(其实真的有挂)-哔哩哔哩,h...
一分钟了解!wepoker透视... 一分钟了解!wepoker透视脚本下载,wepoker怎么看牌型,黑科技教程(其实真的是有挂)-哔哩...
推荐十款!约局吧德州有挂吗,w... 推荐十款!约局吧德州有挂吗,wpk私人局辅助是真的吗,规律教程(一直真的有挂)-哔哩哔哩;wpk私人...
分享实测!模拟器打开hhpok... 分享实测!模拟器打开hhpoker,哈糖大菠萝怎么挂,靠谱教程(原来是有挂)-哔哩哔哩相信很多朋友都...
透视脚本!wejoker开挂,... 透视脚本!wejoker开挂,wepoker正确养号方法,总结教程(其实真的是有挂)-哔哩哔哩相信很...
透视辅助!大菠萝免费辅助器,x... 透视辅助!大菠萝免费辅助器,xpoker透视辅助,细节揭秘(果然是有挂)-哔哩哔哩;1.大菠萝免费辅...