
1 fool1024 2024-12-06 09:26:22 +08:00 |
2 chen15798 2024-12-06 09:29:03 +08:00 seatunnel |
3 iyiluo 2024-12-06 09:37:35 +08:00 直接弄个主从,如何开启 mysql 主从,网上一大堆 |
4 Marelbruim 2024-12-06 09:46:28 +08:00 用 datax 一个脚本的事 |
5 junphe 2024-12-06 09:50:48 +08:00 楼上都有提到对实时有要求 Mysql 主从就可以了 |
6 sxinsuoyu20 OP @fool1024 @Marelbruim 你好,我查了一下感觉也有点懵啊,canal 和 datax 哪个更容易搭建,有什么区别吗?是开源免费的吗? java 环境可以吗? |
7 sxinsuoyu20 OP |
8 Marelbruim 2024-12-06 11:19:07 +08:00 |
9 hetal 2024-12-06 12:24:40 +08:00 percona toolkit |
10 realpg PRO innodb cluster 但是坑不少 你得踩踩 |
11 Actrace 2024-12-06 13:13:35 +08:00 @sxinsuoyu20 双主,或者多主,可以用用 MariaDB 的 Galera 。限制是只能 innoDB 引擎。 |
12 junphe 2024-12-06 13:42:43 +08:00 @sxinsuoyu20 主从是实时增量,数据结构都可以同步的,从库必须可以链接到主服务,最好给单独开启账号配置服务,你可以在网上搜索相关的资料比较多,只要是数据的配置就可以了 |
13 XyIsMy 2024-12-06 14:27:35 +08:00 同个类型数据库,搭建主从或双主就可以了 |
14 bootvue 2024-12-06 14:31:15 +08:00 cloudcanal |
15 Karte 2024-12-06 14:40:23 +08:00 @junphe 方案是可以, 但是主从会存在对主库操作延迟. 再加上网络问题等, 可能会影响到主库的正常处理. 建议还是使用类似 CDC 的实现 (Flink, 部署麻烦), DataX. |
16 devtk 2024-12-06 14:51:37 +08:00 canal 或者 flink-cdc |
17 junphe 2024-12-06 15:42:53 +08:00 @Karte 主从实际是对主 Mysql 的 Binlog 读取和传输,受服务器 IO 和网络影响!但是对主库操作延迟,未仔细研究,我觉得应该影响不大。之前有同步过 aliyun 的 mysql 到本地机房,运行良好。如本地断网,等网通后会自动同步,做好延迟监控! |
18 miniliuke 2024-12-06 15:45:38 +08:00 debezium+kafaka 或者 flink cdc |
19 qW7bo2FbzbC0 2024-12-06 16:19:15 +08:00 @fool1024 请问这两个在数据同步上区别是什么?(看起来 dataX 抽象程度更高,在 MySQL 同步上 dataX 是依赖于 canal 或者内置了 canal 还是自己重新实现了同样的逻辑?) 仅针对于 mysql 数据增量同步这两个更推荐哪个? |
20 ccloving 2024-12-06 16:46:48 +08:00 @sxinsuoyu20 可以双主,我有具体的代码,你加我,我发给你 |
21 npe 2024-12-06 16:58:56 +08:00 DMS |
22 sxinsuoyu20 OP @ccloving 你好,请问你的具体怎么实现的啊,有下载地址吗?怎么添加好友? |
23 xyooyx 2024-12-07 07:46:42 +08:00 @qW7bo2FbzbC0 ## 同步事件驱动源 dataX:一般由指令触发 canal:由 binlog 订阅事件驱动 ## 同步边界 dataX:需要在作业中定义 canal:由 binlog 控制同步边界 所以我理解初次迁移适合用 dataX ,迁移后如果需要持续增量同步则用 canal |