ApacheSpark中的requiredChildDistribution和outputPartitioning有什么区别?
创始人
2024-09-06 12:30:19
0

requiredChildDistribution和outputPartitioning都是Spark中的重要概念,但在功能和用法上有所区别。

requiredChildDistribution用于指定子节点之间的数据分布方式,用法如下:

case class MyOperator(
  left: SparkPlan,
  right: SparkPlan,
  **requiredChildDistribution: Seq[Distribution]**
) extends BinaryNode {

  override def output: Seq[Attribute] = left.output ++ right.output

  override def leftChild: SparkPlan = left

  override def rightChild: SparkPlan = right

  override def requiredChildDistribution: Seq[Distribution] = Seq(UnspecifiedDistribution, UnspecifiedDistribution)

  override def doExecute(): RDD[InternalRow] = {
    ...
  }
}

其中,requiredChildDistribution是一个Seq类型的参数,表示子节点之间的数据分布方式,默认值为UnspecifiedDistribution。若想指定子节点之间的数据分布方式,也可以使用其他的分布方式,例如:

case class MyOperator(
  left: SparkPlan,
  right: SparkPlan,
  **requiredChildDistribution: Seq[Distribution]**
) extends BinaryNode {

  override def output: Seq[Attribute] = left.output ++ right.output

  override def leftChild: SparkPlan = left

  override def rightChild: SparkPlan = right

  override def requiredChildDistribution: Seq[Distribution] = Seq(ClusteredDistribution(Seq("key")), ClusteredDistribution(Seq("key")))

  override def doExecute(): RDD[InternalRow] = {
    ...
  }
}

outputPartitioning用于指定输出RDD的分区方式,用法如下:

case class MyOperator(
  child: SparkPlan,
  **outputPartitioning: Partitioning**
) extends UnaryNode {

  override def output: Seq[Attribute] = child.output

  override def child: SparkPlan = child

  override def outputPartitioning: Partitioning = HashPartitioning(Seq("key"), 10)

  override def doExecute(): RDD[InternalRow] = {
    ...
  }
}

其中,outputPartitioning是一个Partitioning类型的参数,表示输出

相关内容

热门资讯

透视代打!德州之星扫描器,德普... 透视代打!德州之星扫描器,德普之星怎么开辅助(透视)好像有挂(黑科技教程);小薇(透视辅助)致您一封...
透视智能ai!约局吧德州真的有... 透视智能ai!约局吧德州真的有透视挂吗,哈糖大菠萝挂,都是真的是有挂(技巧教程)1、打开软件启动之后...
透视脚本!哈糖大菠萝开挂,we... 透视脚本!哈糖大菠萝开挂,wepoker私人局规律(透视)固有有挂(微扑克教程)1、下载好wepok...
透视代打!哈糖大菠萝有没有挂,... 透视代打!哈糖大菠萝有没有挂,pokemmo手机版脚本免费,竟然存在有挂(辅助教程)1、用户打开应用...
透视新版!wepoker透视底... 透视新版!wepoker透视底牌,aapoker辅助怎么用(透视)原来存在有挂(可靠教程)aapok...
透视脚本!pokerworld... 透视脚本!pokerworld辅助器,佛手在线大菠萝智能辅助器,果然存在有挂(教你教程);暗藏猫腻,...
透视肯定!wepoker透视挂... 透视肯定!wepoker透视挂底牌,德州hhpoker是真的吗(透视)原来是真的有挂(2025新版总...
透视ai!智星德州插件最新版本... 透视ai!智星德州插件最新版本更新内容详解,steampokermaster辅助,一直有挂(规律教程...
透视免费!wejoker开挂,... 透视免费!wejoker开挂,竞技联盟辅助插件(透视)原来真的是有挂(透明教程)1、任何竞技联盟辅助...
透视黑科技!智星德州辅助译码插... 透视黑科技!智星德州辅助译码插件靠谱吗,cloudpoker作弊,一贯有挂(存在挂教程)1、这是跨平...