Apache Beam无法正确从Google Cloud Storage接收pub/sub消息。
创始人
2024-09-03 15:01:03
0

要从Google Cloud Storage接收pub/sub消息,您需要使用Google Cloud Pub/Sub I/O模块的ReadFromPubSub方法。以下是一个使用Apache Beam的Python代码示例,演示如何正确从Google Cloud Storage接收pub/sub消息:

import apache_beam as beam
from apache_beam.options.pipeline_options import PipelineOptions

# 定义自定义选项
class MyOptions(PipelineOptions):
    @classmethod
    def _add_argparse_args(cls, parser):
        parser.add_argument('--input_topic', help='Input Pub/Sub topic')
        parser.add_argument('--output_bucket', help='Output GCS bucket')
        parser.add_argument('--output_prefix', help='Output GCS prefix')

# 定义处理函数
def process_message(message):
    # 处理接收到的消息
    # 这只是一个示例,您可以根据实际需求进行处理
    # 在这个示例中,我们将消息写入Google Cloud Storage
    output_bucket = options.output_bucket
    output_prefix = options.output_prefix
    output_file = f'{output_bucket}/{output_prefix}/output.txt'

    with beam.io.gcp.gcsio.GcsIO().open(output_file, 'w') as file:
        file.write(message.data)

# 解析命令行参数
options = MyOptions()
options.view_as(beam.options.pipeline_options.StandardOptions).runner = 'DirectRunner'
pipeline = beam.Pipeline(options=options)

# 从Pub/Sub读取消息
input_topic = options.input_topic
messages = (
    pipeline
    | 'Read from Pub/Sub' >> beam.io.ReadFromPubSub(topic=input_topic)
    | 'Process messages' >> beam.Map(process_message)
)

# 运行管道
pipeline.run()

在上述代码中,您需要将--input_topic参数设置为您的Pub/Sub主题,--output_bucket参数设置为您的GCS存储桶,--output_prefix参数设置为输出文件的前缀。process_message函数是用于处理接收到的pub/sub消息的自定义函数。在这个示例中,它将消息写入了Google Cloud Storage。

请确保已安装apache_beamgoogle-cloud-pubsub Python包,并设置正确的Google Cloud凭据。

相关内容

热门资讯

记者揭秘!新版边锋掼蛋辅助器(... 记者揭秘!新版边锋掼蛋辅助器(wEpOke),太坑了原来是真的有挂(有挂攻略)-哔哩哔哩;致您一封信...
6分钟了解(微扑克机器人)外挂... 6分钟了解(微扑克机器人)外挂透明挂辅助神器(ai代打)透视辅助(2024已更新)(哔哩哔哩);微扑...
科技分享(德扑之星开桌)外挂透... 科技分享(德扑之星开桌)外挂透明挂辅助工具(软件)德州ai机器人(2024已更新)(哔哩哔哩)是一款...
推荐攻略!边锋杭麻圈有挂(We... 推荐攻略!边锋杭麻圈有挂(WepokE),太坑了的确真的有挂(有挂教程)-哔哩哔哩;亲真的是有正版授...
四分钟了解!边锋老友棋牌一直输... 四分钟了解!边锋老友棋牌一直输,来玩德州 辅助,详细有挂(有挂攻略)-哔哩哔哩;边锋老友棋牌一直输软...
最新技巧!雀神小程序游戏规则(... 最新技巧!雀神小程序游戏规则(辅助挂)太坑了竟然是真的有挂(有挂教程)-哔哩哔哩;雀神小程序游戏规则...
七分钟了解(wePOke)外挂... 七分钟了解(wePOke)外挂透明挂辅助机制(系统)软件透明挂(2023已更新)(哔哩哔哩);(需添...
重大通报!鄱阳翻精系统发牌机制... 重大通报!鄱阳翻精系统发牌机制(wepoKE),太坑了其实真的有挂(有挂了解)-哔哩哔哩科技教程也叫...
我来教教你!边锋杭麻圈辅助,a... 我来教教你!边锋杭麻圈辅助,appoker透视辅助下载,详细有挂(有挂总结)-哔哩哔哩;边锋杭麻圈辅...
新手必备!广东雀神辅助插件哪里... 新手必备!广东雀神辅助插件哪里买(辅助挂)太坑了确实是真的有挂(有挂教学)-哔哩哔哩;科技详细教程小...