ApacheBeam无法识别自定义容器参数
创始人
2024-09-05 12:00:38
0

Apache Beam无法识别自定义容器的参数,这可能是因为在创建容器运行环境时,未正确设置作业的参数。以下是一个以Kubernetes为环境的Beam作业的示例,解决该问题的方法是在作业创建配置中使用add_args()方法设置容器参数。

import apache_beam as beam
from apache_beam.options.pipeline_options import StandardOptions

options = PipelineOptions()
options.view_as(StandardOptions).runner = 'DataflowRunner'

job_name = 'my-job'
project_id = 'my-project'
staging_location = 'gs://my-bucket/staging'
temp_location = 'gs://my-bucket/temp'
region = 'us-central1'
service_account_email = 'my-service-account@google.com'
worker_zone = 'us-central1-a'
network = 'my-vpc'
subnetwork = 'my-subnet'
runner = 'DataflowRunner'
zone = 'us-central1-a'
num_workers = 5
worker_harness_container_image = 'my-custom-container-image'
worker_harness_container_image_args = [
    '--my-arg', 'value1',
    '--my-other-arg', 'value2',
]

beam_options = [
    '--project={}'.format(project_id),
    '--job_name={}'.format(job_name),
    '--staging_location={}'.format(staging_location),
    '--temp_location={}'.format(temp_location),
    '--region={}'.format(region),
    '--service_account_email={}'.format(service_account_email),
    '--worker_zone={}'.format(worker_zone),
    '--network={}'.format(network),
    '--subnetwork={}'.format(subnetwork),
    '--runner={}'.format(runner),
    '--zone={}'.format(zone),
    '--num_workers={}'.format(num_workers),
    '--worker_harness_container_image={}'.format(worker_harness_container_image),
]

for arg in worker_harness_container_image_args:
    beam_options.append('--worker_harness_container_image_args={}'.format(arg))

options = PipelineOptions(beam_options)

p = beam.Pipeline(options=options)

# 定义数据处理步骤 ...

result = p.run()

此示例在Beam作业创建配置中添加了worker_harness_container_image_args

相关内容

热门资讯

必备攻略!佛手在线大菠萝辅助,... 必备攻略!佛手在线大菠萝辅助,欢乐情怀辅助挂,详细攻略(有挂技术)1、佛手在线大菠萝辅助有没有辅助教...
技术分享!哥哥打大a有没有辅助... 技术分享!哥哥打大a有没有辅助,拱趴大菠萝有辅助吗,详细技巧(有挂功能)1.哥哥打大a有没有辅助 选...
分享实测!上饶打炸作弊,小程序... 分享实测!上饶打炸作弊,小程序蜀山西川血战辅助,详细脚本(有挂详细)1)小程序蜀山西川血战辅助辅助插...
科技揭秘!来趣广西友玩脚本辅助... 科技揭秘!来趣广西友玩脚本辅助,枫叶辅助官网下载,详细插件(详细教程)1、来趣广西友玩脚本辅助免费辅...
科技新动态!上饶中至打炸漏洞,... 科技新动态!上饶中至打炸漏洞,上饶打炸祈福,详细工具(有挂解密)小薇(辅助器软件下载)致您一封信;亲...
必备辅助推荐!决胜麻架胡易辅助... 必备辅助推荐!决胜麻架胡易辅助,闲聚辅助器,详细神器(有挂秘笈)1、下载好决胜麻架胡易辅助正确养号方...
避坑细节!美猴王房卡辅助,微乐... 避坑细节!美猴王房卡辅助,微乐卡五星有挂吗,详细器(有挂总结)1、这是跨平台的微乐卡五星有挂吗轻量版...
玩家必用!福建13水插件,吉安... 玩家必用!福建13水插件,吉安小程序中至游戏辅助,详细方法(有挂方略)1、下载好吉安小程序中至游戏辅...
推荐十款!九九山城插件,皮皮衡... 推荐十款!九九山城插件,皮皮衡阳字牌科技,详细教程(有挂神器)1、点击下载安装,皮皮衡阳字牌科技脚本...
我来教教大家!九游辅助工具,微... 我来教教大家!九游辅助工具,微信小程序途游辅助免费,详细方法(有挂解惑)1、打开软件启动之后找到中间...