V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
This topic created in 2092 days ago, the information mentioned may be changed or developed.
关于上面那个图，ShuffleMapStage 中，有三个 RDD，每个 RDD 有三个分区 我看网上文章都是说一个分区对应一个 task，
1.上面那个 ShuffleMapStage 中阶段里是否存在 9 个 Task 。
2.但站在 pipeline 角度上看，应该只有三个 task，每个 RDD 的一个分区组合成一个 task 。
上面两种说法，哪种是正确的呢，被搞糊涂了。谢谢！
 | 1 Finch Aug 5, 2020 via iPhone 一般是多少个 partition 就有多少个 task 。 如果是 9 个 task 就没有 DAG 的必要了。 |
Select Language