AWSGlueJob中的InnerJoin语法如何写?
创始人
2024-09-25 15:31:26
0

在 AWS Glue Job 中使用 Inner Join,可以使用 Dataframe API 或 Spark SQL 语法。以下是两种语法的代码示例:

  1. 使用 Dataframe API 语法
from pyspark.sql.functions import *
from pyspark.sql.types import *

# 读取两个数据源的数据
df1 = spark.read.format("json").load("s3://path/to/dataset1/")
df2 = spark.read.format("json").load("s3://path/to/dataset2/")

# 设定 join 条件
join_cond = [df1["id"] == df2["id"]]

# 使用 Inner Join 进行 join 操作
join_df = df1.join(df2, join_cond, "inner")

# 展示 join 后的 dataframe
join_df.show()
  1. 使用 Spark SQL 语法
from pyspark.sql.functions import *
from pyspark.sql.types import *

# 读取两个数据源的数据
df1 = spark.read.format("json").load("s3://path/to/dataset1/")
df2 = spark.read.format("json").load("s3://path/to/dataset2/")

# 将两个 dataframe 注册为临时表
df1.createOrReplaceTempView("table1")
df2.createOrReplaceTempView("table2")

# 使用 Inner Join 进行 join 操作
join_df = spark.sql("""SELECT * FROM table1 
                        INNER JOIN table2 
                        ON table1.id = table2.id""")

# 展示 join 后的 dataframe
join_df.show()

相关内容

热门资讯

关于!微信微乐自建房辅助工具,... 关于!微信微乐自建房辅助工具,微乐家乡麻将自建房辅助app(开挂自建房)方法1)微乐家乡麻将自建房辅...
大家学习交流!微信卡五星辅助器... 大家学习交流!微信卡五星辅助器,微乐小程序免费黑科技(开挂自建房)方法1、很好的工具软件,可以解锁游...
三分钟了解!微乐微信自建房辅助... 三分钟了解!微乐微信自建房辅助工具插件,微乐家乡麻将自建房辅助app(开挂自建房)工具1、三分钟了解...
一分钟教会你!微乐家乡麻将自建... 一分钟教会你!微乐家乡麻将自建房辅助app,微乐自建房脚本免费入口(开挂自建房)方法1、用户打开应用...
分享实测!微信微乐自建房辅助工... 分享实测!微信微乐自建房辅助工具,微乐自建房脚本免费入口(开挂自建房)器1、起透看视 微信微乐自建房...
重大通报!微乐自建房辅助工具脚... 重大通报!微乐自建房辅助工具脚本,微乐小程序免费黑科技(开挂自建房)app微乐自建房辅助工具脚本破解...
如何分辨真伪!微乐微信自建房辅... 如何分辨真伪!微乐微信自建房辅助工具插件,微乐小程序免费黑科技(开挂自建房)技巧1、微乐微信自建房辅...
我来教教你!微乐自建房辅助工具... 我来教教你!微乐自建房辅助工具挂,微乐家乡麻将自建房辅助app(开挂自建房)工具1、玩家可以在微乐家...
重大来袭!微乐自建房辅助工具神... 重大来袭!微乐自建房辅助工具神器,微乐小程序免费黑科技(开挂自建房)器1、游戏颠覆性的策略玩法,独创...
带你了解!微信卡五星辅助器,微... 带你了解!微信卡五星辅助器,微乐自建房脚本免费入口(开挂自建房)方法1、带你了解!微信卡五星辅助器,...