AWSGlue中对于模式/预期文件格式的基本数据验证,包括行级别验证
创始人
2024-09-25 18:00:47
0

AWS Glue的数据验证功能可以使用称为"DynamicFrame"的抽象概念来创建。在动态框架中,数据集被表示为一个分层的、附加了架构的JSON格式,主要包括以下部分:

  1. Schema - JSON格式的模式对象表示数据集的架构。
  2. Root - 实际的数据记录根。
  3. Record - 实际数据记录中一个记录的JSON表示。

基本数据验证可以使用以下步骤实现:

  1. 创建一个动态框架并指定模式对象。
from awsglue.dynamicframe import DynamicFrame
from pyspark.sql.types import StructType, StructField, StringType

schema = StructType([
    StructField("id", StringType(), True),
    StructField("name", StringType(), True),
    StructField("city", StringType(), True),
])

dynamic_frame = DynamicFrame.from_options(
    connection_type="s3",
    format="csv",
    schema=schema,
    connection_options={
        "paths": ["s3://bucket/path/to/csv/files/"]
    }
)
  1. 使用DynamicFrame API来实施数据验证规则。
# 行级别验证(如需要满足特定的字段值)
from awsglue.dynamicframe import DropRecordTransform
from awsglue.utils import getResolvedOptions

args = getResolvedOptions(sys.argv, ['threshold'])

threshold = args['threshold']

drop_transform = DropRecordTransform(dynamic_frame, lambda x: x['city'] != threshold)
dynamic_frame = drop_trasnform.resolve(dynamic_frame)

# 数据列级别验证
from awsglue.dynamicframe import FilterTransform

filter_transfrom = FilterTrasnform(
    dynamic_frame,
    lambda x: x['city'] is not None and x['city'] != ''
)

dynamic_frame = filter_transfrom.resolve(dynamic_frame)

相关内容

热门资讯

透视详细!德州透视插件(透视)... 透视详细!德州透视插件(透视)hh poker软件,教程策略(存在有挂)-哔哩哔哩在进入德州透视插件...
透视辅助!sohoo poke... 透视辅助!sohoo poker辅助(透视)wepoker怎么提高运气,教程学习(有挂解密)-哔哩哔...
透视科普!hhpoker有透视... 透视科普!hhpoker有透视功能吗(透视)hhpoker德州真的假的,教程诀窍(了解有挂)-哔哩哔...
透视揭露!pokerrrr2辅... 透视揭露!pokerrrr2辅助(透视)wepoker辅助透视软件,教程资料(有挂攻略)-哔哩哔哩1...
透视教你!智星德州插件怎么下载... 透视教你!智星德州插件怎么下载(透视)aapoker脚本,教程手册(有挂攻略)-哔哩哔哩1、智星德州...
透视解密!约局吧辅助器(透视)... 透视解密!约局吧辅助器(透视)pokemmo内置修改器,教程指南书(真是有挂)-哔哩哔哩1、poke...
透视推荐!福建大菠萝万能辅助器... 透视推荐!福建大菠萝万能辅助器(透视)wepokerplus到底是挂了吗,教程模块(有挂技术)-哔哩...
透视解迷!uupoker有透视... 透视解迷!uupoker有透视吗(透视)德普之星透视,教程妙招(有挂教学)-哔哩哔哩1、透视解迷!u...
透视开挂!wepokerplu... 透视开挂!wepokerplus透视脚本免费(透视)德普辅助软件,教程手册(真实有挂)-哔哩哔哩1、...
透视解谜!德普之星辅助器app... 透视解谜!德普之星辅助器app(透视)拱趴大菠萝开挂方法,教程技法(证实有挂)-哔哩哔哩1)拱趴大菠...