ApacheBeamDataFlowRunner在数据存储器写入/在ramp-up期间强制执行节流时抛出错误
创始人
2024-09-05 11:01:02
0

在 DataflowRunner 中,EnforceRampUp 用于控制计算资源的跃升,即根据数据流的负载和计算资源的状况来逐渐增加并发执行的工作数量。禁用此选项后,始终使用任务的最大并发度。

对于 DataStore 的写入,EnforceRampUp 可以导致每个任务以低于预期的速率执行,从而增加总任务时间,并可能导致资源的浪费。

因此,建议将 --experiments=disable_slow_start=true 添加到 DataflowPipelineOptions 的选项中,以禁用慢启动并在任务启动时立即使用最大并发度。这会大大减少写入到 DataStore 的任务所需的总时间。

示例代码:

from apache_beam.options.pipeline_options import PipelineOptions
from apache_beam.options.pipeline_options import GoogleCloudOptions
from apache_beam.options.pipeline_options import StandardOptions
from apache_beam.options.pipeline_options import WorkerOptions

options = PipelineOptions()
google_cloud_options = options.view_as(GoogleCloudOptions)
google_cloud_options.project = 'my_project'
google_cloud_options.region = 'us-central1'
google_cloud_options.job_name = 'my_job_name'
worker_options = options.view_as(WorkerOptions)
worker_options.disk_size_gb = 100
worker_options.autoscaling_algorithm = 'NONE'
standard_options = options.view_as(StandardOptions)
standard_options.runner = 'DataflowRunner'

experimental_options = options.view_as(ExperimentalOptions)
experimental_options.add_experiment("disable_slow_start=true")

相关内容

热门资讯

教程攻略!皮皮跑胡子系统有鬼,... 教程攻略!皮皮跑胡子系统有鬼,epoker透视底牌,新2025版(有挂规律);教程攻略!皮皮跑胡子系...
专业讨论!闲来透视辅助器最新版... 专业讨论!闲来透视辅助器最新版,wepoker辅助真的假的,安装教程(有挂教学)是一款可以让一直输的...
最新研发!创思维激k看底牌辅助... 最新研发!创思维激k看底牌辅助,约局吧作弊脚本,新版2025教程(有挂头条);亲真的是有正版授权,小...
总算了解!打哈儿辅助软件,we... 总算了解!打哈儿辅助软件,wepoker手机版透视脚本,可靠技巧(有挂工具)是一款可以让一直输的玩家...
分辨真假!闲聚鱼虾蟹软件脚本,... 分辨真假!闲聚鱼虾蟹软件脚本,聚星ai辅助工具下载,靠谱教程(真实有挂)是一款可以让一直输的玩家,快...
实操分享!牵手跑得软件,wep... 实操分享!牵手跑得软件,wepoker高级辅助,详细教程(有挂方略);相信小伙伴都知道这个牵手跑得软...
揭秘关于!人海大厅挂什么好,w... 揭秘关于!人海大厅挂什么好,we poker辅助器v3.3,揭秘攻略(详细教程);1、点击下载安装,...
科技新动态!乐酷大厅怎么安装,... 您好,乐酷大厅怎么安装这款游戏可以开挂的,确实是有挂的,需要了解加微【136704302】很多玩家在...
一分钟揭秘!胡乐辅助脚本是真的... 一分钟揭秘!胡乐辅助脚本是真的假的,wpk有作弊吗,安装教程(有挂助手)是一款可以让一直输的玩家,快...
热点推荐!皮皮游戏辅助平台,w... 【福星临门,好运相随】;热点推荐!皮皮游戏辅助平台,wepoker破解游戏盒子,技巧教程(有挂分享)...