ApacheSpark中的requiredChildDistribution和outputPartitioning有什么区别?
创始人
2024-09-06 12:30:19
0

requiredChildDistribution和outputPartitioning都是Spark中的重要概念,但在功能和用法上有所区别。

requiredChildDistribution用于指定子节点之间的数据分布方式,用法如下:

case class MyOperator(
  left: SparkPlan,
  right: SparkPlan,
  **requiredChildDistribution: Seq[Distribution]**
) extends BinaryNode {

  override def output: Seq[Attribute] = left.output ++ right.output

  override def leftChild: SparkPlan = left

  override def rightChild: SparkPlan = right

  override def requiredChildDistribution: Seq[Distribution] = Seq(UnspecifiedDistribution, UnspecifiedDistribution)

  override def doExecute(): RDD[InternalRow] = {
    ...
  }
}

其中,requiredChildDistribution是一个Seq类型的参数,表示子节点之间的数据分布方式,默认值为UnspecifiedDistribution。若想指定子节点之间的数据分布方式,也可以使用其他的分布方式,例如:

case class MyOperator(
  left: SparkPlan,
  right: SparkPlan,
  **requiredChildDistribution: Seq[Distribution]**
) extends BinaryNode {

  override def output: Seq[Attribute] = left.output ++ right.output

  override def leftChild: SparkPlan = left

  override def rightChild: SparkPlan = right

  override def requiredChildDistribution: Seq[Distribution] = Seq(ClusteredDistribution(Seq("key")), ClusteredDistribution(Seq("key")))

  override def doExecute(): RDD[InternalRow] = {
    ...
  }
}

outputPartitioning用于指定输出RDD的分区方式,用法如下:

case class MyOperator(
  child: SparkPlan,
  **outputPartitioning: Partitioning**
) extends UnaryNode {

  override def output: Seq[Attribute] = child.output

  override def child: SparkPlan = child

  override def outputPartitioning: Partitioning = HashPartitioning(Seq("key"), 10)

  override def doExecute(): RDD[InternalRow] = {
    ...
  }
}

其中,outputPartitioning是一个Partitioning类型的参数,表示输出

相关内容

热门资讯

识别九分钟!德州竞技联盟辅助线... 识别九分钟!德州竞技联盟辅助线上德州后台可以操控(本来真的有挂)-知乎1、超多福利:超高返利,海量正...
输赢七分钟!wpk辅助神器aa... 输赢七分钟!wpk辅助神器aapoker有猫腻(都是真的有挂)-今日头条;暗藏猫腻,小编详细说明aa...
打法3分钟!aapoker软件... 打法3分钟!aapoker软件有猫腻cloudpoker辅助器(果真真的有挂)-小红书aapoker...
大厅房七分钟!德州辅助软件欢乐... 大厅房七分钟!德州辅助软件欢乐棋牌有外挂(一贯真的有挂)-百度知乎1、玩家可以在欢乐棋牌有外挂软件透...
辅助3分钟!微扑克ai代打Aa... 辅助3分钟!微扑克ai代打Aapoker app(一般真的有挂)-小红书1、微扑克ai代打ai辅助优...
计算器2分钟!wpk可以检测伙... 计算器2分钟!wpk可以检测伙牌wpk ai检测(一贯真的有挂)-哔哩哔哩1、玩家可以在wpk可以检...
靠谱8分钟!微扑克辅助软件wp... 靠谱8分钟!微扑克辅助软件wpk辅助(原来真的有挂)-小红书微扑克辅助软件辅助器中分为三种模型:微扑...
软件6分钟!fishpoker... 软件6分钟!fishpoker有挂来玩德州扑克约局神器(其实真的有挂)-小红书1、来玩德州扑克约局神...
软件3分钟!微扑克规律德扑之星... 软件3分钟!微扑克规律德扑之星真的太假了(总是真的有挂)-百度知乎1、在德扑之星真的太假了ai机器人...
app一分钟!微扑克有机器人德... app一分钟!微扑克有机器人德州wpk德州有挂(果真真的有挂)-小红书1、用户打开应用后不用登录就可...