600W 数据量存 ES， 64G 内存+机械盘， ES 占用 32G 内存，查询时间 300ms~400ms 正不正常？
alwayshere 2018-08-31 10:24:13 +08:00 3958 次点击这是一个创建于 2673 天前的主题，其中的信息可能已经有所发展或是发生改变。
- 一个页面 300ms~400ms 的查询时间会不会影响 SEO ？
- 对于 text 字段我都设 fielddata:true，这样的话 600W 数据量应该全部在内存中吧，为什么在内存中查询时间还是这么慢？就不能控制在 100ms 以下？
- 既然已经设为 fielddata:true,在内存中搜索，同一个关键词第一次搜索 300~400ms，重新搜索该关键词，马上控制在 50ms 以下了？试了很多关键词都这样
 | 1 Morriaty 2018-08-31 10:41:51 +08:00 1. 集群几个 nodes ？索引几个 shards ？什么样的 mapping ？什么样的 query ？ 2. fielddata 是为了 text 类型做 agg 用的 3. es 有缓存 |
 | 2 alwayshere OP @Morriaty 就单机版，'number_of_shards' => 1,'number_of_replicas' => 1，就简单的在两个 text 字段中查询，然后按照一个 integer 字段进行 function score 排序，field_value_factor modifier 是 log1p，boost_mode 是 multiply |
 | 3 tongxiaomu 2018-08-31 11:19:43 +08:00 首次检索的时间用时有些不正常，600W 数据，简单的 query 查询应该在 100~200ms 左右，至于第二次查询为什么时间很低，基本上是 10+-ms 的级别，建议 lz 先了解下 es 的缓存机制，就类似于 mysql 查询其实也会有缓存的，多了解下这个对以后查询优化也是有帮助的。 |
| 4 Morriaty 2018-08-31 11:42:04 +08:00 @alwayshere 改成四个分片，over |
| 5 alwayshere OP @Morriaty 谢谢，刚刚研究了一下 ES 的文档，是不是可以猜想为 CPU 有多少个核，分片数就该有多少？比如我的服务器目前是 4 核 8 线程，是不是该设置成'number_of_shards' => 4,'number_of_replicas' => 1 |
| 6 alwayshere OP @Morriaty 数据量不大，就 8G 左右的数据 |
 | 7 misaka19000 2018-08-31 13:27:32 +08:00 单机可以把 R 分片设为 0 |
 | 8 daigouspy 2018-08-31 13:28:38 +08:00 via Android @alwayshere 才 8g 数据，全部扔内存里也不至于那么慢吧？ |
| 9 alwayshere OP @daigouspy 我就是用 fielddata:true，这样把 text 字段全扔内存啊，有没有其他方式可以让 ES 将所有数据常驻内存？ |
 | 10 owenliang 2018-08-31 20:14:05 +08:00 via Android 机械盘血亏 |
 | 11 winglight2016 2018-08-31 21:00:52 +08:00 使用默认配置都不会这么慢啊，我在本地 pc 上默认安装，数据 800 多万条，3.6g ，随便条件查询一下只要 7ms，只有全匹配才会用到 400-500ms 另外，java 内存可以看看设置了多少，能不能调大一点 |
 | 12 wsc449 2018-09-01 00:40:50 +08:00 客户数据 1 千万+，存储在单台 2 核 8g 内存下查询不超过 500 毫秒，3 台集群下并发查询和更新效率更好。 |
Select Language