
目前用了 mongo 打算一天存一个集合,但是数据到了五千万左右的时候写入速度就很慢了,每秒几百条。
{ "_id" : ObjectId("5da7e7842bd2cd5578ebdf52"), "time" : "2019-09-01 08:01:45.899", "src_ip" : "59.1.1.1", "port" : "64466", "proto" : "TCP", "in_bytes" : "60", "out_bytes" : "0", "in_packets" : "1", "out_packets" : "0", "flows" : "1", "is_edu_net" : "1" } 数据结构大概是这样,后面需要展示,就这样表格一条数据占一行,会按照 ip,端口,或者协议查询。
1 oscer 2019 年 10 月 17 日 pg? |
2 taotaodaddy 2019 年 10 月 17 日 via Android 时序? |
3 mikulch 2019 年 10 月 17 日 hbase? |
4 atbility 2019 年 10 月 17 日 elasticsearch? |
5 l0wkey 2019 年 10 月 17 日 TSDB |
6 rrfeng 2019 年 10 月 17 日 应该是 cache 满了,合理调整一下应该可以的。 |
| td width="auto" valign="top" align="left"> |
8 tt67wq 2019 年 10 月 17 日 influxdb |
9 letitbesqzr 2019 年 10 月 17 日 @atbility #4 elasticsearch 真的适合如此高的频率写入数据?我所了解要说写入效率,es 是常见的数据库中最慢的。 |
10 hkitdog 2019 年 10 月 17 日 via iPhone Oracle |
11 ebingtel 2019 年 10 月 17 日 @letitbesqzr 先写入 kafka 再写 ES |
12 yingsunwl 2019 年 10 月 17 日 clickhouse |
13 rockyou12 2019 年 10 月 17 日 时序库吧,timescale,influxdb 这种,上面说 es 估计也行但性能会差些 |
14 11ssss 2019 年 10 月 17 日 TDengine |
15 atbility 2019 年 10 月 17 日 @letitbesqzr es 挺快的啊,上次我整了 10 个亿的数据,9 台服务器,速度杠杠滴 |
16 zxc111 2019 年 10 月 17 日 clickhouse+1 |
17 wangxiaoaer 2019 年 10 月 17 日 |
18 Pythondr 2019 年 10 月 18 日 via Android 这种数据,明显时序数据库 |
19 Samuelcc 2019 年 10 月 18 日 via Android hbase |