AWS Glue 不读取空白列
创始人
2024-11-16 04:30:05
0

在AWS Glue中,可以使用Python编写的脚本来处理数据。下面是一个示例代码,可以在AWS Glue中使用,以过滤掉空白列:

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from pyspark.sql import SQLContext

# 获取命令行参数和Glue的上下文
args = getResolvedOptions(sys.argv, ['JOB_NAME'])
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session

# 读取数据源
datasource = glueContext.create_dynamic_frame.from_catalog(database = "your-database-name", table_name = "your-table-name")

# 过滤掉空白列
filteredData = Filter.apply(frame = datasource, f = lambda x: any(x[k] != '' for k in x))

# 将过滤后的数据转换为Spark DataFrame
df = filteredData.toDF()

# 将DataFrame写入目标
glueContext.write_dynamic_frame.from_options(frame = DynamicFrame.fromDF(df, glueContext, "filteredData"), connection_type = "s3", connection_options = {"path": "s3://your-output-bucket/path/to/output"})

# 结束作业
glueContext.end()

上述代码中,使用Filter.apply函数来过滤掉空白列,使用any函数来检查每一列是否为空白列。然后,将过滤后的数据转换为Spark DataFrame,并使用glueContext.write_dynamic_frame.from_options函数将DataFrame写入目标位置。

请记得替换示例代码中的your-database-nameyour-table-names3://your-output-bucket/path/to/output为您自己的数据库名称、表名和输出位置。

相关内容

热门资讯

免费测试版!Wepoke挂(w... WePoker透视辅助工具核心要点解析‌,免费测试版!Wepoke挂(wEpoke)外挂透明挂辅助工...
热点讨论(poker mast... 热点讨论(poker master安卓版)外挂透明挂辅助app(辅助挂)辅助透视(有挂工具)-哔哩哔...
技术分享(WPK开挂)外挂透明... 技术分享(WPK开挂)外挂透明挂辅助器(辅助挂)竟然是真的有挂(2023已更新)(哔哩哔哩)准备好在...
必知教程(Wepoke新版)外... 必知教程(Wepoke新版)外挂透明挂辅助APP(辅助挂)软件透明挂(有挂头条)-哔哩哔哩;Wepo...
1分钟了解!wepoke辅助(... wepoke辅助新手教程相关信息汇总(需添加指定薇757446909获取下载链接);1分钟了解!we...
透视真的(wpk猫腻)外挂透明... wpk猫腻新手教程相关信息汇总(需添加指定薇757446909获取下载链接);透视真的(wpk猫腻)...
我来教教你!WPK(wepok... 我来教教你!WPK(wepokE)外挂透明挂辅助软件(辅助挂)透视教程(确实有挂)-哔哩哔哩是一款可...
透视能赢(微扑克规律)外挂透明... WePoke高级策略深度解析‌;透视能赢(微扑克规律)外挂透明挂辅助工具(辅助挂)软件透明挂(有挂教...
发现一款(wEPoke)外挂透... 发现一款(wEPoke)外挂透明挂辅助工具(透视)竟然真的有挂(2023已更新)(哔哩哔哩)相信很多...
盘点一款!WepOke(WeP... WePoker透视辅助版本稳定性对比与推荐‌:盘点一款!WepOke(WePoKer)外挂透明挂辅助...