AWSGlue读取数据库默认设置的null值,如何避免?
创始人
2024-09-25 15:01:36
0

在AWS Glue中,当读取数据库中的数据时,如果默认设置为null,会导致一些问题。为了避免这种情况,可以在AWS Glue脚本中设置一个文件,其中包含了在默认值为null时的替代值。例如:

import sys

from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from pyspark.sql.session import SparkSession

## @params: [JOB_NAME]
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session

## Create a DynamicFrame using the 'persons' table
persons_dyf = glueContext.create_dynamic_frame.from_catalog(database="mydb", table_name="persons", transformation_ctx="persons_dyf")

## Set default value to None
default_value = None

## Create a new DynamicFrame with replaces nulls with default values
persons_dyf_replaced = ApplyMapping.apply(frame = persons_dyf, mappings = [("id", "long", "id", "long"),
                                                                             ("name", "string", "name", "string"),
                                                                             ("age", "long", "age", "long"),
                                                                             ("dob", "string", "dob", "string")],
                                          transformation_ctx = "persons_dyf_replaced")


## Select only those persons who have an age greater than 30
persons_dyf_filtered = Filter.apply(frame = persons_dyf_replaced, f = lambda x: x["age"] > 30)

在上述示例中,我们通过设置default_value = None,来替代在默认设置为null时的值。这样,在后续的操作中,我们将使用设置好的默认值,避免了出现null值的情况。

相关内容

热门资讯

第8分钟带你科普!欢聚水鱼智能... 第8分钟带你科普!欢聚水鱼智能辅助,奇迹陕西辅助,揭秘教程(有挂细节)-哔哩哔哩;无需打开直接搜索加...
第一分钟带你科普!博乐填大坑图... 第一分钟带你科普!博乐填大坑图片,福州十八扑外卦,曝光教程(有挂规律)-哔哩哔哩;无需打开直接搜索加...
四分钟带你讲解!潮汕来物局开挂... 潮汕来物局开挂方法 无需打开直接搜索微信:136704302本司针对手游进行,选择我们的四大理由: ...
第三分钟带你透视!潮汕透视辅助... 第三分钟带你透视!潮汕透视辅助,决战卡五星开挂方法,必赢教程(有挂规律)-哔哩哔哩 【无需打开直接搜...
第8分钟带你开挂!天胡辅助脚本... 天蝎大厅辅助开挂教程视频分享装挂详细步骤在当今的网络游戏中,天蝎大厅辅助作为一种经典的娱乐方式,吸引...
第8分钟带你辅助!微信茶馆辅助... 第8分钟带你辅助!微信茶馆辅助器,全来潜山跑风破解版安卓,AI教程(揭秘有挂)-哔哩哔哩全来潜山跑风...
第五分钟带你发现!微信微乐游戏... 【亲,微信微乐游戏辅助脚本 这款游戏可以开挂的,确实是有挂的,很多玩家在这款微信微乐游戏辅助脚本中打...
5分钟带你辅助!wepoker... 5分钟带你辅助!wepoker插件程序,兴动互娱辅助器视频,大神讲解(新版有挂)-哔哩哔哩【无需打开...
第九分钟带你透视!新上游辅助,... 第九分钟带你透视!新上游辅助,悠闲卡五星辅助,攻略教程!(存在有挂)-哔哩哔哩1、下载安装好悠闲卡五...
十分钟带你透视!湖湘互娱牛牛,... 十分钟带你透视!湖湘互娱牛牛,胡乐辅助脚本,实用技巧(证实有挂)-哔哩哔哩>>您好:软件加薇1367...