ApacheBeam无法识别自定义容器参数
创始人
2024-09-05 12:00:38
0

Apache Beam无法识别自定义容器的参数,这可能是因为在创建容器运行环境时,未正确设置作业的参数。以下是一个以Kubernetes为环境的Beam作业的示例,解决该问题的方法是在作业创建配置中使用add_args()方法设置容器参数。

import apache_beam as beam
from apache_beam.options.pipeline_options import StandardOptions

options = PipelineOptions()
options.view_as(StandardOptions).runner = 'DataflowRunner'

job_name = 'my-job'
project_id = 'my-project'
staging_location = 'gs://my-bucket/staging'
temp_location = 'gs://my-bucket/temp'
region = 'us-central1'
service_account_email = 'my-service-account@google.com'
worker_zone = 'us-central1-a'
network = 'my-vpc'
subnetwork = 'my-subnet'
runner = 'DataflowRunner'
zone = 'us-central1-a'
num_workers = 5
worker_harness_container_image = 'my-custom-container-image'
worker_harness_container_image_args = [
    '--my-arg', 'value1',
    '--my-other-arg', 'value2',
]

beam_options = [
    '--project={}'.format(project_id),
    '--job_name={}'.format(job_name),
    '--staging_location={}'.format(staging_location),
    '--temp_location={}'.format(temp_location),
    '--region={}'.format(region),
    '--service_account_email={}'.format(service_account_email),
    '--worker_zone={}'.format(worker_zone),
    '--network={}'.format(network),
    '--subnetwork={}'.format(subnetwork),
    '--runner={}'.format(runner),
    '--zone={}'.format(zone),
    '--num_workers={}'.format(num_workers),
    '--worker_harness_container_image={}'.format(worker_harness_container_image),
]

for arg in worker_harness_container_image_args:
    beam_options.append('--worker_harness_container_image_args={}'.format(arg))

options = PipelineOptions(beam_options)

p = beam.Pipeline(options=options)

# 定义数据处理步骤 ...

result = p.run()

此示例在Beam作业创建配置中添加了worker_harness_container_image_args

相关内容

热门资讯

透视揭露!wepoker辅助脚... 透视揭露!wepoker辅助脚本,wepoker私人局透视-确实是真的有辅助神器(哔哩哔哩)1、下载...
透视科普!wpk透视是真的假的... 透视科普!wpk透视是真的假的,wpk软件是正规的吗-真是存在有辅助软件(哔哩哔哩)1、金币登录送、...
透视解密!wepoker辅助真... 透视解密!wepoker辅助真的假的,We poker辅助器下载-真是真的有辅助神器(哔哩哔哩)亲,...
透视推荐!hhpoker辅助软... 透视推荐!hhpoker辅助软件,hhpoker德州有挂吗-果然是有辅助神器(哔哩哔哩)1、模拟器是...
透视科普!wpk透视是真的假的... 透视科普!wpk透视是真的假的,wpk辅助器是真的吗-真是是真的有辅助攻略(哔哩哔哩)1、有没有辅助...
透视曝光!wepoker可以透... 透视曝光!wepoker可以透视码,wejoker内置辅助-本来有辅助教程(哔哩哔哩)1、该软件可以...
透视揭露!wepoker破解工... 透视揭露!wepoker破解工具,wepoker怎么设置盖牌-本来一直总是有辅助方法(哔哩哔哩)1、...
透视有挂!有哪些免费的wpk作... 透视有挂!有哪些免费的wpk作弊码,wpk辅助器是真的吗-果然一直总是有辅助脚本(哔哩哔哩)1、公共...
透视关于!德扑圈透视挂,德普之... 透视关于!德扑圈透视挂,德普之星透视辅助-好像是真的有辅助软件(哔哩哔哩)脚本下载中分为三种模型:挂...
透视解密!德普辅助器怎么用,德... 透视解密!德普辅助器怎么用,德普之星透视-好像是有辅助app(哔哩哔哩)1、完成辅助器v3.3的残局...