Athena创建的AWS Glue表被EMR Spark读取两次。
创始人
2024-09-21 13:30:28
0

要解决"Athena创建的AWS Glue表被EMR Spark读取两次"的问题,可以使用以下代码示例中的两种方法。

方法1:使用Distinct操作符

from pyspark.sql import SparkSession

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 读取Athena创建的AWS Glue表
df = spark.read.format("awsdatacatalog")
    .option("catalogName", "AwsDataCatalog")
    .option("database", "your_database_name")
    .option("tableName", "your_table_name")
    .load()

# 使用Distinct操作符去重
df_distinct = df.distinct()

# 打印去重后的数据
df_distinct.show()

方法2:使用dropDuplicates方法

from pyspark.sql import SparkSession
from pyspark.sql.functions import col

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 读取Athena创建的AWS Glue表
df = spark.read.format("awsdatacatalog")
    .option("catalogName", "AwsDataCatalog")
    .option("database", "your_database_name")
    .option("tableName", "your_table_name")
    .load()

# 使用dropDuplicates方法去重
df_distinct = df.dropDuplicates()

# 打印去重后的数据
df_distinct.show()

相关内容

热门资讯

做出回应!悟空大厅辅助!真是是... 做出回应!悟空大厅辅助!真是是真的辅助神器(有挂猫腻)-哔哩哔哩一、悟空大厅辅助游戏安装教程牌型概率...
截至发稿!同乡游辅助软件!其实... 截至发稿!同乡游辅助软件!其实存在有辅助安装(有挂规律)-哔哩哔哩1、起透看视 同乡游辅助软件辅助软...
一直以来!微信小程序指尖四川辅... 一直以来!微信小程序指尖四川辅助器!一贯真的有辅助安装(有挂实锤)-哔哩哔哩1、微信小程序指尖四川辅...
为切实保障!全托中至窝龙拿好牌... 为切实保障!全托中至窝龙拿好牌!好像是有辅助下载(确实有挂)-哔哩哔哩全托中至窝龙拿好牌脚本下载中分...
出乎意料的是!圣游科技!切实存... 出乎意料的是!圣游科技!切实存在有辅助神器(有挂分享)-哔哩哔哩1、首先打开圣游科技辅助器下载最新版...
截至发稿!捉住捣蛋鸡作z弊码!... 截至发稿!捉住捣蛋鸡作z弊码!都是存在有辅助器(有挂规律)-哔哩哔哩1、操作简单,无需捉住捣蛋鸡作z...
据目击者称!宝宝浙江游戏有没有... 据目击者称!宝宝浙江游戏有没有辅助器!都是存在有辅助app(果真有挂)-哔哩哔哩1、每一步都需要思考...
现就发布提示!福州十八扑外卦视... 现就发布提示!福州十八扑外卦视频!切实是真的辅助神器(有挂透视)-哔哩哔哩1、下载好福州十八扑外卦视...
经调查!新众亿卡看底牌!真是是... 经调查!新众亿卡看底牌!真是是真的辅助软件(有挂解惑)-哔哩哔哩一、新众亿卡看底牌游戏安装教程牌型概...
连日来!人海大厅辅助插件!一直... 连日来!人海大厅辅助插件!一直真的是有辅助脚本(详细教程)-哔哩哔哩1)人海大厅辅助插件有没有挂:进...