AWSGlueJob中的InnerJoin语法如何写?
创始人
2024-09-25 15:31:26
0

在 AWS Glue Job 中使用 Inner Join,可以使用 Dataframe API 或 Spark SQL 语法。以下是两种语法的代码示例:

  1. 使用 Dataframe API 语法
from pyspark.sql.functions import *
from pyspark.sql.types import *

# 读取两个数据源的数据
df1 = spark.read.format("json").load("s3://path/to/dataset1/")
df2 = spark.read.format("json").load("s3://path/to/dataset2/")

# 设定 join 条件
join_cond = [df1["id"] == df2["id"]]

# 使用 Inner Join 进行 join 操作
join_df = df1.join(df2, join_cond, "inner")

# 展示 join 后的 dataframe
join_df.show()
  1. 使用 Spark SQL 语法
from pyspark.sql.functions import *
from pyspark.sql.types import *

# 读取两个数据源的数据
df1 = spark.read.format("json").load("s3://path/to/dataset1/")
df2 = spark.read.format("json").load("s3://path/to/dataset2/")

# 将两个 dataframe 注册为临时表
df1.createOrReplaceTempView("table1")
df2.createOrReplaceTempView("table2")

# 使用 Inner Join 进行 join 操作
join_df = spark.sql("""SELECT * FROM table1 
                        INNER JOIN table2 
                        ON table1.id = table2.id""")

# 展示 join 后的 dataframe
join_df.show()

相关内容

热门资讯

8分钟分享!潮友会app下载安... 8分钟分享!潮友会app下载安卓,途游辅助官网(切实是有挂)-哔哩哔哩1、许多玩家不知道潮友会app...
8分钟必备!人海大厅辅助插件,... 8分钟必备!人海大厅辅助插件,天天卡五星攻略(一直真的有挂)-哔哩哔哩1、每一步都需要思考,不同水平...
第四分钟解迷!拱趴大菠萝辅助工... 第四分钟解迷!拱趴大菠萝辅助工具下载,卡农血拼辅助(竟然真的是有挂)-哔哩哔哩1、打开软件启动之后找...
七分钟必备!兴动互娱游戏辅助器... 七分钟必备!兴动互娱游戏辅助器好用吗,水鱼辅助软件下载(其实是有挂)-哔哩哔哩亲,关键说明,兴动互娱...
1分钟揭露!微信小程序万能修改... 1分钟揭露!微信小程序万能修改器,川娱竞技辅助(总是真的是有挂)-哔哩哔哩1)微信小程序万能修改器辅...
一分钟详细!0759湛江吴川三... 一分钟详细!0759湛江吴川三脚鸡辅助,水鱼天下破解版微信(真是真的有挂)-哔哩哔哩1、实时0759...
四分钟科普!新上游拼十辅助,科... 四分钟科普!新上游拼十辅助,科技新星游牛牛辅助(都是真的有挂)-哔哩哔哩1、该软件可以轻松地帮助玩家...
第三分钟揭露!传送屋激k万能辅... 第三分钟揭露!传送屋激k万能辅助器app,四川熊猫辅助软件视频(好像是有挂)-哔哩哔哩1、任何传送屋...
6分钟详情!中至九江脚本,四川... 6分钟详情!中至九江脚本,四川游戏家园辅助软件(都是真的有挂)-哔哩哔哩1、四川游戏家园辅助软件透视...
四分钟必备!广西老友麻将有挂吗... 四分钟必备!广西老友麻将有挂吗,同城游辅助软件(一直有挂)-哔哩哔哩1、广西老友麻将有挂吗系统规律教...