
目前是阿里上面的 mongo 集群,领导想把数据从线上数据库增量同步到线下做数据分析,但是线下的 mongo 数据库加入不了到阿里云 mongo 的副本集合(阿里删除了 rs.add()命令),领导让我拿方案,目前想到的是解析 oplog ,问下大佬这是不是最优解呀。
感谢大佬了。
1 Sosocould 2024-06-11 10:22:43 +08:00 代上班可还行 |
2 zhtyytg 2024-06-11 10:23:51 +08:00 用云厂商定制镜像的人技术水准难以评估,给不了建议。 如果是我的话,干脆导出数据库,重新买云服务,基于 linux 安装配置 mongo repl |
3 Pbe2RsrnVcPrF 2024-06-11 13:39:09 +08:00 阿里云 dts ? |
4 wencan 2024-06-11 13:45:57 +08:00 上次同步 mongo 还是好几年前br />当时直接 dump 后面,好像都是写程序比对再拉数据,写个任务,慢慢跑 |
5 Mithril 2024-06-11 13:53:22 +08:00 MongoDB 有 ChangeStream ,你直接用那个把变更发回本地的 ES 或者其他什么 OLAP 系统就行了。 比如说你本地跑个程序,监听云服务里的 Change Steam 。但通常不会允许你直接访问云数据库,记得做好安全防护。 虽说也是 oplog ,但没必要你手动去搞。 |
6 nickyadance23 2024-06-11 18:53:28 +08:00 就算能加副本,把线下节点加到线上集群风险也太大了 |
7 yngzij OP |