AWSGlue读取数据库默认设置的null值,如何避免?
创始人
2024-09-25 15:01:36
0

在AWS Glue中,当读取数据库中的数据时,如果默认设置为null,会导致一些问题。为了避免这种情况,可以在AWS Glue脚本中设置一个文件,其中包含了在默认值为null时的替代值。例如:

import sys

from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from pyspark.sql.session import SparkSession

## @params: [JOB_NAME]
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session

## Create a DynamicFrame using the 'persons' table
persons_dyf = glueContext.create_dynamic_frame.from_catalog(database="mydb", table_name="persons", transformation_ctx="persons_dyf")

## Set default value to None
default_value = None

## Create a new DynamicFrame with replaces nulls with default values
persons_dyf_replaced = ApplyMapping.apply(frame = persons_dyf, mappings = [("id", "long", "id", "long"),
                                                                             ("name", "string", "name", "string"),
                                                                             ("age", "long", "age", "long"),
                                                                             ("dob", "string", "dob", "string")],
                                          transformation_ctx = "persons_dyf_replaced")


## Select only those persons who have an age greater than 30
persons_dyf_filtered = Filter.apply(frame = persons_dyf_replaced, f = lambda x: x["age"] > 30)

在上述示例中,我们通过设置default_value = None,来替代在默认设置为null时的值。这样,在后续的操作中,我们将使用设置好的默认值,避免了出现null值的情况。

相关内容

热门资讯

关于!微信微乐自建房辅助工具,... 关于!微信微乐自建房辅助工具,微乐家乡麻将自建房辅助app(开挂自建房)方法1)微乐家乡麻将自建房辅...
大家学习交流!微信卡五星辅助器... 大家学习交流!微信卡五星辅助器,微乐小程序免费黑科技(开挂自建房)方法1、很好的工具软件,可以解锁游...
三分钟了解!微乐微信自建房辅助... 三分钟了解!微乐微信自建房辅助工具插件,微乐家乡麻将自建房辅助app(开挂自建房)工具1、三分钟了解...
一分钟教会你!微乐家乡麻将自建... 一分钟教会你!微乐家乡麻将自建房辅助app,微乐自建房脚本免费入口(开挂自建房)方法1、用户打开应用...
分享实测!微信微乐自建房辅助工... 分享实测!微信微乐自建房辅助工具,微乐自建房脚本免费入口(开挂自建房)器1、起透看视 微信微乐自建房...
重大通报!微乐自建房辅助工具脚... 重大通报!微乐自建房辅助工具脚本,微乐小程序免费黑科技(开挂自建房)app微乐自建房辅助工具脚本破解...
如何分辨真伪!微乐微信自建房辅... 如何分辨真伪!微乐微信自建房辅助工具插件,微乐小程序免费黑科技(开挂自建房)技巧1、微乐微信自建房辅...
我来教教你!微乐自建房辅助工具... 我来教教你!微乐自建房辅助工具挂,微乐家乡麻将自建房辅助app(开挂自建房)工具1、玩家可以在微乐家...
重大来袭!微乐自建房辅助工具神... 重大来袭!微乐自建房辅助工具神器,微乐小程序免费黑科技(开挂自建房)器1、游戏颠覆性的策略玩法,独创...
带你了解!微信卡五星辅助器,微... 带你了解!微信卡五星辅助器,微乐自建房脚本免费入口(开挂自建房)方法1、带你了解!微信卡五星辅助器,...