附 录 D (资料性) 下级平台与上级平台双向数据同步示例
D.1 下级平台数据同步至上级平台 D.1.1 平台配置 下级平台、上级平台应分别满足如下配置,以支撑数据从下级平台向上级平台的同步: a) 上级平台、下级平台分别在数据同步区中建立数据接收和数据发送相关数据库、数据表; b) 上级平台安装具有支持 CDC 能力的数据同步中间件;下级平台数据同步区数据库启用 CDC 功能; c) 上级平台数据同步中间件定义流处理任务,其中包含从 CDC 源读取数据的 Source 算子(配置Source 算子指向下级平台数据同步区数据库实例,并指定要监控的数据库表及其过滤条件); d) 上级平台数据同步中间件通过专用接口连接到下级平台数据同步区数据库,并开始监听其事务日志。 D.1.2 数据同步过程 下级平台向上级平台的数据同步通过如下流程实现: a) 当下级平台的主索引、主数据因业务活动开展、再下级平台变更数据同步等发生变化后,下级平台将变更数据传输至平台数据同步区中的数据发送表; b) 上级平台数据同步中间件捕获该变更事件,通过先前定义的流处理任务对变更的数据进行必要的转换、聚合或清洗操作,并将变更数据写入上级平台数据同步区中的数据接收表; c) 上级平台根据数据接收表中的变更数据,更新平台相关主索引、主数据; d) 上级平台继续通过上述过程向再上级平台同步变更数据,同时根据交换配置信息,向相关其他下级平台(即源下级平台的同级平台)同步变更数据。
D.2 上级平台数据同步至下级平台 D.2.1 平台配置 下级平台、上级平台应分别满足如下配置,以支撑数据从上级平台向下级平台的推送: a) 上级平台、下级平台分别在数据同步区中建立数据发送和数据接收相关数据库、数据表; b) 上级平台建立向下级平台的数据交换配置信息; c) 上级平台数据同步区安装支持消息发布的数据同步中间件;下级平台安装支持消息订阅的数据同步中间件; d) 下级平台订阅上级平台的数据变更消息。 D.2.2 数据同步过程 上级平台向下级平台的数据推送通过如下流程实现: a) 当上级平台主索引、主数据发生变更时,根据平台交换配置信息,确定数据变更是否需要向下级平台同步,并确定数据同步的目标平台; b) 上级平台将变更数据传输至平台数据同步区中的数据发送表,并将变更数据传入平台中间件中的相应消息队列中; c) 下级平台中间件获取订阅消息,取得变更数据,并将变更数据写入平台数据同步区的数据接收表中; d) 下级平台根据数据接收表中的变更数据,更新平台相关主索引、主数据; e) 下级平台根据交换配置信息,确定数据变更是否需要向再下级平台同步,并确定目标平台,通 过上述过程继续向相关再下级平台同步变更数据。 |