AutoloaderDatabricks中的FileDiscovery对于流作业不起作用,Glob模式无效。
创始人
2024-09-23 08:00:56
0

Autoloader Databricks的FileDiscovery功能允许Databricks自动加载数据并进行流式处理。然而,有时候Glob模式不能正确地匹配所需的文件。为了解决这个问题,我们可以使用SparkContext的textFile()函数直接读取文件并转换为DataFrame。

以下是使用SparkContext的代码示例:

from pyspark.sql.functions import input_file_name

# create SparkContext
sc = spark.sparkContext

# read files into RDD
rdd = sc.textFile("path/to/files/2019/*.csv")

# convert RDD to DataFrame with input_file_name column
df = rdd.toDF("value").withColumn("filename", input_file_name())

在上述示例中,首先创建SparkContext,然后使用textFile()函数读取所需的文件列表并将它们转换为RDD。接下来,将RDD转换为DataFrame,并通过input_file_name()函数添加“filename”列以包含文件名。

这样,我们就可以通过文件名对数据进行分组或过滤等操作。

相关内容

热门资讯

受玩家影响!wepoker有没... 受玩家影响!wepoker有没有插件,德普之星透视辅助,原来是有挂(有挂解密)进入游戏-大厅左侧-新...
于此同时!佛手在线大菠萝技巧,... 于此同时!佛手在线大菠萝技巧,德扑之星有辅助软件吗,好像确实有挂(有挂方法)一、德扑之星有辅助软件吗...
现有说明如下!wejoker辅... 现有说明如下!wejoker辅助软件视频,智星菠萝有挂吗,切实真的是有挂(有挂教程)暗藏猫腻,小编详...
黑科技技巧!哈糖大菠萝挂法,德... 黑科技技巧!哈糖大菠萝挂法,德普之星私人局透视,一贯是真的有挂(有挂教程)1、用户打开应用后不用登录...
昨日!We poker辅助器下... 昨日!We poker辅助器下载,德扑之星透视辅助插件,竟然存在有挂(有挂技巧);德扑之星透视辅助插...
值得注意的是!wepoker分... 值得注意的是!wepoker分析,德扑之星辅助工具如何设置,竟然是有挂(有挂功能)所有人都在同一条线...
今天上午!wpk俱乐部是真的吗... 今天上午!wpk俱乐部是真的吗,智星德州插件最新版本更新内容详解,果然确实有挂(有挂头条)1、许多玩...
为切实保障!菠萝德州透视脚本,... 为切实保障!菠萝德州透视脚本,德普之星透视辅助软件是真的吗,切实真的有挂(讲解有挂)1、不需要AI权...
推出新举措!德普之星辅助软件,... 推出新举措!德普之星辅助软件,德普之星怎么设置埋牌,切实是真的有挂(有挂细节)1、德普之星怎么设置埋...
近期!wepoker插件程序激... 近期!wepoker插件程序激活码,智星德州插件最新版本更新内容详解,总是确实有挂(有挂方法)1、智...