学习 spark scala 的一些小细节

常见的两个 map 合并操作 demo

val map1 = Map("key1" -> 1, "key2" -> 3, "key3" -> 5) val map2 = Map("key2" -> 4, "key3" -> 6, "key5" -> 10) val mapAdd1 = map1 ++ map2.map(t => t._1 -> (t._2 + map1.getOrElse(t._1, 0))) println(mapAdd1) 

于是我就根据这个写了以下 demo （部分）

val res = rdd.reduceByKey((x,y) => { val map1 : Map[Long,String] = x val map2 : Map[Long,String] = y //以下常见写法，会遍历一次整个 all ？ var all:Map[Long,String] = map2 ++ map1.map(t => { var names = map2.get(t._1) match { //模式匹配选择，map 的 get 方法返回的是 Option 类型 case NOne=> t._2 //当没又这个 key 的时候会返回 None 类型 case Some(s) => t._2 + "," + s //有只的时候会返回 Some 类型 } t._1 -> names }) all }) 

然后查资料发现 reduceByKey 这个转换，实际上是逐个读取 rdd 里面的数据，把 data1 和 data2 f(x)之后的结果，继续和 data3 进行 f(x)，如此一直迭代下去。不知道我说的对不对，如果理解有误，麻烦指正下

所以我又有了以下改进

val res = rdd.reduceByKey((x,y) => { val map1 : Map[Long,String] = x val map2 : Map[Long,String] = y //把数据量少的 map 放前面，追加的 map 放后面，下面叠加的时候就能少操作一些 var all:Map[Long,String] = map2 ++ map1 //因为 ++ 符号右覆盖左 //循环新加入的 map(ps:这里实际只有一个) map2.keys.foreach(k =>{ var names = map1.get(k) match { //模式匹配选择，map 的 get 方法返回的是 Option 类型 case NOne=> map2(k) //当没又这个 key 的时候会返回 None 类型 case Some(s) => map2(k) + "," + s //有只的时候会返回 Some 类型 } all += (k -> names) }) all }) 

不知道我这做法对不对。。。是不是能减少遍历？