在 1000 万行的文件里面找相同的行，并且记录行数和重复次数，用前端的代码实现

这文件传到前端确定不会撑爆用户浏览器？

@Mithril 不知道，题目就是这样的，可以多种代码实现，但是我希望是 JS，不知道能不能解决

老生常谈，先分片。再考虑找行的事情。

算哈希呗

bloom filter, 浏览器必备

大流量查重请认准 bloom filter

先遍历每一行按哈希拆成一万份文件，再对每一个文件找出重复的，最后整合到一起？

设计一款浏览器，自动实现文件实时逐行滚动读取，然后凭借一个强大的 AI 内核来完成记录分析，名字就叫：矩阵牌浏览器

for 循环不会写？

先搞定提出问题的人

分治，先哈希打散到文件，然后随便你怎么搞

纯 hash 费空间，1000w 的 int key 每个需要至少 3 个字节，一共 28MB，bloom filter 省大量空间，估计可以不到 100k

@Mithril 我觉着既然前提是浏览器不会撑爆, 那就干脆再加个一前万个 key 的字典吧..

@dremy 100K 也就 80W bit，全部占满了。

逐行算出哈希值，按哈希值的前几个字母，分类并存到各个文件，然后各个文件内在继续比较。

HyperLogLog