[自研开源] MyData 数据集成之任务调度模式 v0.7

开源地址：gitee | github

详细介绍：MyData 基于 Web API 的数据集成平台

部署文档：用 Docker 部署 MyData

使用手册：MyData 使用手册

试用体验：http://demo.mydata.work

交流 Q 群：430089673

概述

本篇基于 数据集成之任务流程 介绍任务调度模式的使用场景和配置操作。

任务调度模式

mydata 使用 API 方式集成、无 SDK 侵入，当业务系统与 mydata 集成时，不同业务数据的同步频率存在差异，因此对 API 的调用频率需要贴合业务场景；

集成任务的调度模式如下图：

1. 从 API 获取数据 即提供数据类型的任务目前只有定时周期方式，配置方式如下图：

2. 向 API 发送数据 即消费数据类型的任务 可选择是否订阅

   • 选择订阅 表示当数据发送变化时 才向 API 推送数据，其他时间不会调用；
   • 选择不订阅 则采用前面相同的定时周期模式，需要选择周期；

使用场景

根据采集周期间隔长短、推送是否订阅可以组合成 4 种模式：短周期采集 + 订阅推送、短周期采集 + 长周期推送、长周期采集 + 订阅推送、长周期采集 + 长周期推送；

注：以下示例仅供参考

1. 短周期采集 + 订阅推送，适用于实时性较高的场景；

   例如：订单与仓储，用户在线下单后“立即”同步到仓储系统，以便仓库出货；

   

   1. 用户在商城平台下单购买商品；
   2. 订单系统生成订单记录，包括商品信息、收货地址的等；
   3. MyData 每分钟采集任务 从订单系统 API 获取订单记录；
   4. MyData 向订阅订单数据的仓储系统 API 推送本次获取的数据；

2. 短周期采集 + 长周期推送，适用于集中采集、批量推送的场景；

   例如：仓储与物流，仓储完成一部分出货打包后 批量同步到物流系统，以便物流上门取货；

   

3. 长周期采集 + 订阅推送，适用于阶段性采集汇总并立即推送的场景；

   例如：商品销量统计与热门商品，每隔数小时 获取商品销量统计数据，立即同步到商城更新热门商品数据；

   

4. 长周期采集 + 长周期推送，适用于周期性汇总统计，长周期推送的场景；

   例如：商家统计与数据分析，每隔 1 天 获取商家统计数据，再每个 2 天 将统计数据同步到数据分析系统；