
有一个 rdd,里面的数据是(a,1)(b,2)(c,3)也就是相当于 hashmap 里 a=>1,b=>2,c=>3,如何往 rdd 里添加一条数据,比如添加(sum,6)?最终我想要的结果是 a=>1,b=>2,c=>3,sum=>6 目前想到两种做法,第一种是 rdd 转成标量,往标量里加,再转化成 rdd 第二种方法是统计出一个 sumRDD,然后 join 感觉 2 种都不好,所以来 v 社问问大牛
1 hbsfxlz OP 没人么?顶一个 |
2 kex0916 Apr 9, 2018 rdd 里面没有只添加一条记录的算子 你可以构造个 sumRDD,再把 rdd 和 sumRDD union 具体的最好根据你的数据量来确定方案 |
3 OP 再顶最后一次,不然就沉了吧 |
5 qfdk PRO rdd 现在不都是 df 么 记得特性是不能修改的 只能新建 |
6 3a3Mp112 Apr 9, 2018 首先你的 RDD 出现这种格式的数据(a,1)(b,2)(c,3),就代表你已经处理过一次了。 你想加入数据,也可以在这一次处理之前加入到源里面。 |
9 3a3Mp112 Apr 9, 2018 |
10 zhusimaji Apr 9, 2018 via iPhone 还是先 sum 然后++实现 union 操作 |
11 kinge Apr 9, 2018 mapValues |
12 startar Apr 10, 2018 via Android 先创建一个只有一个项的 rdd (sum,6) ,然后跟原来的 union 得到一个 rdd |