ApacheBeam从Kafka进行流式处理,在固定时间窗口内将数据写入文件时不起作用。
创始人
2024-09-05 11:01:00
0次

使用以下 Beam 代码来从 Kafka 读取数据并将其写入到文件中,每 10 秒钟创建一个新文件:

import apache_beam as beam
from apache_beam import window
from apache_beam.transforms.trigger import AfterProcessingTime

# Kafka configuration
KAFKA_BOOTSTRAP_SERVERS = ''
KAFKA_TOPIC = ''

# Beam pipeline configuration
OUTPUT_DIR = ''

# Pipeline
def run():
    with beam.Pipeline() as p:
        records = (
            p
            | 'ReadFromKafka' >> beam.io.ReadFromKafka(
                consumer_config={'bootstrap.servers': KAFKA_BOOTSTRAP_SERVERS},
                topics=[KAFKA_TOPIC],
            )
            | 'Format' >> beam.Map(lambda r: str(r.value, 'utf-8'))
            | 'Window' >> beam.WindowInto(window.FixedWindows(10))
            | 'WriteToFiles' >> beam.io.WriteToText(
                OUTPUT_DIR,
                file_name_suffix='.txt'
            )
        )

if __name__ == '__main__':
    run()

这段代码定义了一个 Beam 管道,它包含从 Kafka 读取记录、转换记录、应用固定窗口和将数据写入文本文件的步骤。这里的窗口大小为10秒钟,并且每10秒钟都会创建一个新文件。

相关内容

热门资讯

揭秘几款!好运同桌透视脚本软件... 揭秘几款!好运同桌透视脚本软件,好运同桌一贯真的是有透视普及方法该软件可以轻松地帮助玩家将好运同桌外...
实测交流!嘻嘻红中麻将开挂脚本... 实测交流!嘻嘻红中麻将开挂脚本软件,嘻嘻红中麻将确实真的是有开挂科普攻略进入游戏-大厅左侧-新手福利...
2024教程!浙乐大厅辅助器脚... 2024教程!浙乐大厅辅助器脚本软件,浙乐大厅真是是真的有辅助器普及插件1、实时浙乐大厅透视辅助更新...
玩家必看分享!微浪开挂脚本软件... 玩家必看分享!微浪开挂脚本软件,微浪总是是有开挂解迷技巧1、实时微浪透视辅助更新:用户可以随时随地访...
一分钟教你!常来游戏透视挂脚本... 一分钟教你!常来游戏透视挂脚本软件,常来游戏果然是有透视挂曝光方法1、实时常来游戏透视辅助更新:用户...
一分钟揭秘!52麻将开挂脚本软... 一分钟揭秘!52麻将开挂脚本软件,52麻将真是有开挂教你脚本1.52麻将 选牌创建新账号,点击进入游...
终于知道!天天赢棋牌辅助脚本软... 终于知道!天天赢棋牌辅助脚本软件,天天赢棋牌果然真的是有辅助解谜app1、很好的工具软件,可以解锁游...
热门推荐!趣游中心开挂脚本软件... 热门推荐!趣游中心开挂脚本软件,趣游中心总是是真的有开挂普及教程亲,关键说明,趣游中心透视脚本安卓赛...
揭秘关于!繁花透视挂脚本软件,... 揭秘关于!繁花透视挂脚本软件,繁花其实是真的有透视挂有挂方法繁花能透视中分为三种模型:繁花模拟器、繁...
一分钟了解!四季湖南麻将透视脚... 一分钟了解!四季湖南麻将透视脚本软件,四季湖南麻将好像是有透视解密脚本一分钟了解!四季湖南麻将透视脚...