Flink 任务链 共享组

Operator Chains （任务链）

划分为同一个任务链的3个要素：

1. one to one 的操作
2. 并行度相同
3. 同一个共享组
   默认情况(只有一个共享组)下需要的slot数量=最大的并行度
   当前任务需要的总的slot=每个共享组中最大并行度的和

全局禁用任务链：
env.disableOperatorChaining()

任务链 共享组总结

任务链以及共享组

 1.默认情况下：
     所有算子都是同一个共享组，开启了任务链合并
     任务所需的slot数量：最大并行度
     任务链的个数：
         宽依赖 、并行度
2.给算子独立设置了共享组：
    开启了任务链的合并
     任务所需的Slot数量：每个共享组中最大的并行度的和     
     任务链的个数：
         宽依赖 、并行度 、共享组
3.全局设置禁用任务链
    同一个共享组
    任务所需的slot数量：最大并行度        
    任务链的个数：
        算子的个数
4.给某个算子开启新的任务链
     同一个共享组
    任务所需的slot数量：最大并行度        
    任务链的个数：
        宽依赖、并行度、开启的新的任务链
 5.给某个算子禁用任务链
     同一个共享组
    任务所需的slot数量：最大并行度        
    任务链的个数：
        宽依赖、并行度、禁用任务链的算子

总结：

Slot数量 只跟 共享组和最大并行度 有关
任务链的个数 跟 宽依赖、并行度、共享组、是否禁用或者开启新的任务链 有关

这篇好文章是转载于：学新通技术网