首頁 >> 國遙動態 >> 技術分享 >> 多源異構數據通用引接模塊技術解析
多源異構數據通用引接模塊技術解析
發布時間:2022-07-22 | 來源: | 點擊量:1087

概述

 目前行業應用數據種類繁多,在數據治理、共享應用的前期,進行各類數據收集匯總,構建原始數據資源池,成為數據管理應用的重要一環。通過多源異構數據通用引接模塊可以實現各類數據的收集與管理。

一、在線數據接引

 在線數據接引主要包括數據庫接引、API接口接引、實時報文接引。

1、數據庫接引

 以Python技術為基礎,集成各類數據庫操作組件,構建數據庫引擎,通過數據庫地址、用戶、密碼等信息實現數據庫的直接連接。連接測試成功,即可獲取數據庫中的數據表清單。

 用戶根據具體業務需求,選擇需要的數據表(部分或全部),確定接引的外部源數據。通過本地原始數據管理,創建數據庫作為接引目標庫。支持增量接引和覆蓋接引,支持定時引接和一次性引接。

1.png

數據庫表接引模型

2、API接口接引

 API接口由外部業務系統提供,用于獲取相關數據。以Python技術為基礎,搭建API接口引擎,支持POST、GET等接入方式,實現接口數據的獲取。返回結果為json格式,分為結構化和半結構化數據。

2.png

API接口接引模型

3、實時報文接引

 以Python技術為基礎,針對不同的報文格式進行解析組件開發,形成解析組件庫,實現數據的連接、接收、數據解析,形成結構化數據集合。

3.png

實時報文接引模型

二、離線數據接引

 支持Excel、Json、離線數據庫文件、二進制文件以及其他文檔資料的接引,針對性的設計接引模型,實現離線數據的導入匯聚。

1、Excel類型數據接引模型

 將Excel文件通過導入功能上傳到服務器,預存在文件存儲數據庫中,系統根據數據庫表字段對應配置,通過調用Python通用解析組件,將上傳的Excel文件入庫到指定數據表及數據庫中。

4.png

Excel類型數據接引模型

2、Json文件接引模型

 將Json文件通過導入功能上傳到服務器,預存在文件存儲數據庫中,系統通過調用Json通用解析組件,將上傳的Json文件解析為Json結構數據,根據頁面配置需要信息及對應表字段,將Json文件數據入庫到指定數據表及數據庫中。

5.png

Json文件接引模型

3、DB離線數據庫接引模型

 將DB離線數據通過導入功能上傳到服務器,預存在文件存儲數據庫中,系統通過調用DB庫連接實例,將DB文件解析為表及數據記錄,根據指定存儲目標表及對應字段,入庫到相應數據庫中。

6.png

DB離線數據庫接引模型

4、二進制文件接引模型

 將二進制文件數據通過導入功能上傳到服務器,預存在文件存儲數據庫中,系統通過調用特定解析組件,根據表字段對應配置,將二進制文件解析為數據記錄,入庫到相應數據庫中。

7.png

二進制文件接引模型

5、文件資料接引模型

 將音視頻、圖像、文件資料、其他文件資料等文件數據通過導入功能上傳到服務器,預存在文件存儲數據庫中,系統新增文件資料表,并將文件數據存儲在結構化數據庫中。

8.png

文件資料接引模型

国产精品无码免费专区午夜飞机杯