如果对 2K 万条记录的某个字段查重？

https://github.com/search?l=Python&q=bloom&type=Repositories
布隆过滤器（英语：Bloom Filter ）是 1970 年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。

2000 万不是大什么数据，学一点 c 吧同学。

2000W 不算多，把 N 张表的 BSM 、表名，ID 放在一个视图里面，然后 SQL Group by 应该会好点

不是学 C，而是要学数据结构与算法。

内存不够的情况下，用外排序就行了。

SQL 处理不是更简单吗？

-- 如果 BSM 字段长度低于 32，不用做 md5，直接使用 BSM 字段就好
-- 1. 创建汇总表
create table data_total as
select 1 as flag,id,BSM,md5(BSM) as md5_value from table_a union all
select 2 as flag,id,BSM,md5(BSM) as md5_value from table_b union all
select 3 as flag,id,BSM,md5(BSM) as md5_value from table_c union all
select 4 as flag,id,BSM,md5(BSM) as md5_value from table_d union all
select 5 as flag,id,BSM,md5(BSM) as md5_value from table_e
;

-- 2. 查出哪些值有重复
create table value_mult as
select
md5_value
,count(1) as cnt
from data_total t1
group by md5_value
having count(1) > 1
;

-- 3. 为 data_total 表创建索引
CREATE INDEX ix_md5_value ON data_total(md5_value);

-- 4. 查询出结果
select t1.*
from data_total t1
inner join value_mult t2
on t1.md5_value=t2.md5_value
;

不是，这玩意不是几行 SQL 就能解决的吗？为啥还要搞复杂用 python 处理呢？ group by 然后 count 啥的不就 OK 了嘛？

如果是传统关系数据库，真就两条 sql 的事。

6 楼直接给了答案 看着没毛病 我还要想一下是不是这么写 说明我水平不够 6L 好 [逃]

1 楼正解，BloomFilter 处理超大数据量天然优势

布隆过滤 ，判断重复是有误判的。2000 万 数据库 sql 就可以了。太看不起 mysql 了。如果是阿里云 rds，那更完美

两千万小 case 了，每个记录算一个 hash 即可

32bit 换成 64bit 不知道行不行，不用改代码