AWSGlueJob提取目录表中不存在的列。
创始人
2024-09-25 15:31:19
0

AWS Glue Job提取目录表中不存在的列时,需要检查源表和目录表的列表是否匹配。可以使用下面的代码示例来检查两个表中是否存在不匹配的列:


import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.dynamicframe import DynamicFrame
from awsglue.job import Job

args = getResolvedOptions(sys.argv, ['JOB_NAME'])
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

source_datasource = glueContext.create_dynamic_frame.from_catalog(database = "database_name", table_name = "source_table")
source_df = source_datasource.toDF()
source_columns = source_df.columns

catalog_datasource = glueContext.create_dynamic_frame.from_catalog(database = "database_name", table_name = "catalog_table")
catalog_df = catalog_datasource.toDF()
catalog_columns = catalog_df.columns

# Find columns in source table that are not in catalog table
missing_columns = list(set(source_columns) - set(catalog_columns))

if len(missing_columns) > 0:
    print("Columns missing in catalog table:")
    print(missing_columns)
else:
    print("All columns present in catalog table.")

job.commit()

通过比较两个表的列,可以查找源表中不存在于目录表中的列。如果存在不匹配的列,则可以手动更正目录表或进行其他必要的更改来使两个表匹配。

相关内容

热门资讯

5分钟详细!微乐广西小程序脚本... 5分钟详细!微乐广西小程序脚本,决战卡五星辅助看牌器(竟然真的是有挂)-哔哩哔哩决战卡五星辅助看牌器...
第6分钟专业!新海豚辅助工具,... 第6分钟专业!新海豚辅助工具,决战手游辅助(竟然真的是有挂)-哔哩哔哩1、下载好新海豚辅助工具辅助软...
九分钟必备!微信呢小程序辅助器... 九分钟必备!微信呢小程序辅助器脚本,赣牌圈有挂吗(果然是有挂)-哔哩哔哩运微信呢小程序辅助器脚本辅助...
第6分钟解密!皇豪互众插件,随... 第6分钟解密!皇豪互众插件,随意玩辅助软件(确实有挂)-哔哩哔哩1、完成随意玩辅助软件透视辅助安装,...
六分钟普及!新西部辅助外卦,衢... 六分钟普及!新西部辅助外卦,衢州都莱辅助器下载(原来真的有挂)-哔哩哔哩衢州都莱辅助器下载辅助器中分...
第5分钟解迷!透视辅助功能插件... 第5分钟解迷!透视辅助功能插件下载,新漫游正版辅助软件(其实真的有挂)-哔哩哔哩1、透视辅助功能插件...
六分钟关于!四川途游辅助软件,... 六分钟关于!四川途游辅助软件,新518互游插件下载(好像真的是有挂)-哔哩哔哩1、四川途游辅助软件机...
第6分钟详情!指尖四川辅助脚本... 第6分钟详情!指尖四川辅助脚本苹果版,宁夏划水辅助(一直是真的挂)-哔哩哔哩1、上手简单,内置详细流...
第7分钟分享!wepoker辅... 第7分钟分享!wepoker辅助工具,雀友会广东潮汕辅助(原来是有挂)-哔哩哔哩1、雀友会广东潮汕辅...
2分钟解密!老友广西玩有破解视... 2分钟解密!老友广西玩有破解视频,花花生活圈怎么开挂(原来真的有挂)-哔哩哔哩1、下载好老友广西玩有...