推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 1208 天前的主题，其中的信息可能已经有所发展或是发生改变。
情况如下:
需要监控一个 SQL SERVER 数据库的视图表, 当有新数据写入时, 需要把该条数据写入到我自己系统的数据表中.
SQL SERVER 是客户生产数据库, 我不能做任何改变, 只能进行查询.
目前只想到:
1. 定时全量写入我的数据库中. 客户数据库的数据增量不算大. 一年 2 万条左右吧. 全量写入一次的时间再 2S 左右.
我的数据库需要通过公网访问. 华为的 RDS.
2. 逐条对比, 使用 python 的内置运算符.
我自己系统的数据库是 MySQL 的数据库.
是否有更好的方法监控呢? 允许有 30 秒以内的延迟..
需要监控一个 SQL SERVER 数据库的视图表, 当有新数据写入时, 需要把该条数据写入到我自己系统的数据表中.
SQL SERVER 是客户生产数据库, 我不能做任何改变, 只能进行查询.
目前只想到:
1. 定时全量写入我的数据库中. 客户数据库的数据增量不算大. 一年 2 万条左右吧. 全量写入一次的时间再 2S 左右.
我的数据库需要通过公网访问. 华为的 RDS.
2. 逐条对比, 使用 python 的内置运算符.
我自己系统的数据库是 MySQL 的数据库.
是否有更好的方法监控呢? 允许有 30 秒以内的延迟..
 | 1 E520 2022-09-05 17:10:41 +08:00 设置 Mysql 从库 |
 | 2 frank1256 2022-09-05 17:25:18 +08:00 客户的视图能提供 create_time 吧，每次别全量，通过日期找增量就够了 |
 | 3 jeeyong OP |
 | 4 Kinnice 2022-09-05 18:09:13 +08:00 CDC |
 | 5 update 2022-09-05 18:18:15 +08:00 触发器 |
 | 6 PlG5sBkXD1ziLeGB 2022-09-05 18:21:11 +08:00 via iPhone 触发器 |
 | 8 killva4624 2022-09-05 18:28:26 +08:00 binlog |
| 9 jeeyong OP 我决定按日期进行同步了.... insert no ignore |
 | 10 sunshengkai27 2022-09-05 20:04:09 +08:00 kafka Connector 应该可以. |
 | 11 yizmaoaa 2022-09-06 10:47:46 +08:00 典型 CDC....直接上 debezium |
Select Language