V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
This topic created in 1585 days ago, the information mentioned may be changed or developed.
google 了一下好像没什么成熟的解决方，想问问各位大佬有没有什么推荐的？
Supplement 1 Jan 6, 2022
更新下，老哥们给的方案都是属于比较底层的，预研和维护成本有点高，我想的方案是那种 UI 界面配置好就能同步的那种。后来还是决定用阿里的 DTS 同步，但是 DTS 不支持 mysql 到 clickhouse ，于是换成 mysql 同步到阿里云 ADB mysql ，也满足查询需求啦。
20 replies 2022-02-18 10:13:00 +08:00
 | 1 imherer Jan 6, 2022 需要实时么？ 不需要的话定时同步就好了，clickhouse 批量写比单条写性能还要好一些 |
 | 2 yingsunwl Jan 6, 2022 离线：datax ，实时：canal+flink |
 | 5 1point Jan 6, 2022 mysql 物化视图就可以吧，不过还没有 GA |
| 6 1point Jan 6, 2022 说错了，叫物化 mysql (materialized-mysql) |
 | &nsp; 7 CRUD Jan 6, 2022 实时增量同步推荐 canal ，我是用它同步到 ES ，适配层自己处理一下写到 clickhouse 即可。 |
 | 8 hj24 Jan 6, 2022 flink |
 | 10 forzen Jan 6, 2022 via iPhone 我们用的 flink cdc |
 | 11 swulling Jan 6, 2022 使用 mysql 的主从同步协议订阅 binlog ，然后转换为写入事件就行了。 这个有很多现成的库 |
 | 12 lolizeppelin Jan 6, 2022 技术名称 cdc 反正都是解析日志流丢到 kafaka 这样的实现 |
 | 13 jenlors Jan 6, 2022 |
 | 14 F281M6Dh8DXpD1g2 Jan 6, 2022 debezium 写 kafka 那边随便找个啥消费完了往 ck 里写完事 |
 | 15 xxxlester Jan 6, 2022 debezium |
 | 16 clf Jan 6, 2022 MySQL 有 binlog ，解析 binlog 同步到 clickhouse 就行了。 |
 | 17 RedisMasterNode Jan 6, 2022 debezium 一票，canal 社区活跃度超级低... |
 | 18 zibber Jan 7, 2022 用 dts 自己消费到 clickhouse |
 | 20 labulaka521 Feb 18, 2022 我们这里是订单扫表，然后批量写入 clickhouse ，clickhouse 批量写性能好点 |
Select Language