JerryMouse 最近的时间轴更新 JerryMouse 最近的时间轴更新 | JerryMouseV2EX 第 247841 号会员，加入于 2017-08-10 11:06:39 +08:00 |
| 普通程序员的路 问与答 JerryMouse 2022-03-11 10:50:54 AM 最后回复来自 leipengcheng | 5 |
JerryMouse 最近回复了
2023-11-23 08:34:47 +08:00 回复了 grittiness 创建的主题 程序员 HBase 数据同步到 ES 的最佳操作是怎样的？ |
对于将现有的 HBase 数据导出到 Elasticsearch （ ES ）并进行增量同步的问题，有一些主流的方案可供考虑。
1. **HBase MapReduce 导出到 Elasticsearch：**
- 利用 HBase 的 MapReduce 作业将数据导出到中间格式（如 JSON 或 Avro ）。
- 将导出的数据通过 Elasticsearch 的 Bulk API 加载到 ES 中。
- 对于增量同步，可以定期运行这个作业，只导出最近更新的数据。
2. **使用 Apache Nifi 或 Kafka Connect：**
- Apache Nifi 或 Kafka Connect 可以用作数据流处理工具，从 HBase 抓取数据并将其发送到 Elasticsearch 。
- 配置定期拉取并同步，以处理增量数据更新。
3. **使用 Logstash：**
- Logstash 是一个数据处理工具，可以从 HBase 读取数据，并将其发送到 Elasticsearch 。
- 通过配置 Logstash 管道，可以实现定期的全量或增量同步。
4. **HBase Coprocessor：**
- 利用 HBase 的 Coprocessor 功能，可以在 HBase 数据更新时触发事件，并将相应的数据同步到 Elasticsearch 。
- 这需要编写自定义的 Coprocessor 来处理数据变更事件。
选择方案时需要考虑数据一致性、性能、可靠性和实现难度。根据具体需求和技术栈，选择适合项目的方案。
以上来自把你问题复制到 gpt3 后他给的回复
1. **HBase MapReduce 导出到 Elasticsearch：**
- 利用 HBase 的 MapReduce 作业将数据导出到中间格式（如 JSON 或 Avro ）。
- 将导出的数据通过 Elasticsearch 的 Bulk API 加载到 ES 中。
- 对于增量同步，可以定期运行这个作业，只导出最近更新的数据。
2. **使用 Apache Nifi 或 Kafka Connect：**
- Apache Nifi 或 Kafka Connect 可以用作数据流处理工具，从 HBase 抓取数据并将其发送到 Elasticsearch 。
- 配置定期拉取并同步，以处理增量数据更新。
3. **使用 Logstash：**
- Logstash 是一个数据处理工具，可以从 HBase 读取数据，并将其发送到 Elasticsearch 。
- 通过配置 Logstash 管道，可以实现定期的全量或增量同步。
4. **HBase Coprocessor：**
- 利用 HBase 的 Coprocessor 功能，可以在 HBase 数据更新时触发事件，并将相应的数据同步到 Elasticsearch 。
- 这需要编写自定义的 Coprocessor 来处理数据变更事件。
选择方案时需要考虑数据一致性、性能、可靠性和实现难度。根据具体需求和技术栈，选择适合项目的方案。
以上来自把你问题复制到 gpt3 后他给的回复
2023-11-16 13:00:02 +08:00 回复了 lijianmin321 创建的主题 分享创造 V 站老哥太热情了， Airy 永久会员加送 9000，凑到 1 万 |
支持一下
2023-08-02 14:27:57 +08:00 回复了 Natsuno 创建的主题 职场话题 关于职场上的一些困惑 |
你这不就是 pua 经典案例嘛
2023-07-23 09:10:57 +08:00 回复了 Catal9527 创建的主题 问与答 YouTube 有哪些不说话无 BGM 的频道，适合当工作背景音？ |
阿鲍
“如果是你，你会怎么做这个抉择？”
如果只这么问的话，这里大家的回复没法给你坐参考，因为只有你自己知道自己有多想出国以及你自己有多爱她，其他人说的都是自己对于自己想出国的感受和对爱人的感受。
如果只这么问的话，这里大家的回复没法给你坐参考，因为只有你自己知道自己有多想出国以及你自己有多爱她，其他人说的都是自己对于自己想出国的感受和对爱人的感受。
2023-03-02 20:19:13 +08:00 回复了 canacan 创建的主题 程序员 想入手一个墨水屏看代码相关的书，尺寸如何选择？ |
手持 kpw3 ，横屏+koreader 看 pdf ，还能再战 5 年…
2023-03-02 06:16:35 +08:00 回复了 DoraemonWOO 创建的主题 问与答 单点登录方案咨询 |
SAML ？
我感觉现在大部分地方想去玩都是这样，你想去网上找到好玩的好吃的地方，结果一堆的照骗、软文，完全不知道怎么找到值得去的地方。或者说去的地方值得的地点单一，跑老远可能就一个亮眼的点。
Select Language