大数据环境下基于元模型控制的数据质量保障技术研究

计算机工程与科学

大数据环境下基于元模型控制的数据质量保障技术研究

杨冬菊1,2,徐晨阳1,2

(1.大规模流数据集成与分析技术北京市重点实验室,北京 100144;

2.北方工业大学云计算研究中心,北京 100144)

收稿日期:2018-08-10 修回日期:2018-10-19 出版日期:2019-02-25 发布日期:2019-02-25
基金资助:
国家自然科学基金重点项目（61832004）

Data quality assurance based on

metamodel control in big data environment

YANG Dongju1,2，XU Chenyang1,2

(1.Beijing Key Laboratory on Integration and Analysis of LargeScale Stream Data，Beijing 100144;

2.Research Center for Cloud Computing，North China University of Technology，Beijing 100144，China)

Received:2018-08-10 Revised:2018-10-19 Online:2019-02-25 Published:2019-02-25

摘要/Abstract

摘要：

数据集成环节，越来越丰富的异构源数据给集成后数据质量的提升带来了新的挑战和困难。针对传统ETL模型在数据集成后出现的数据冗余、无效、重复、缺失、不一致、错误值及格式出错等数据质量问题，提出了基于元数据模型控制的ETL集成模型，并对数据集成过程中的各种映射规则进行了详细的定义，通过将抽取、转换、加载环节的元模型和映射机制相结合，能够有效地保证集成后数据的数据质量。提出的元模型已经应用到科技资源管理数据集成业务中。通过科技资源管理数据集成实例分析，验证了此数据集成方案能够有效地支撑大数据环境下数据仓库的构建和集成后数据质量的提升。

关键词: 大数据, 数据仓库, ETL, 元数据模型, 映射, 数据集成

Abstract:

In data integration process, more and more heterogeneous data sources bring new challenges and difficulties to the improvement of data quality after integration. Aiming at the data quality problems, such as data redundancy, invalidity, duplication, missing, inconsistency, error value and format error of the traditional ETL model after data integration, we propose an ETL integration model based on metadata model control. The mapping rules are defined in detail. By combining the metamodel and the mapping mechanism in extraction, transformation and loading phases, we can effectively guarantee the quality of integrated data. The proposed metamodel has been applied to the data integration business of scientific and technological resource management. The analysis on data integration examples of scientific and technological resources management shows that this data integration solution can effectively support the construction of data warehouses in the big data environment and improve data quality after integration.

Key words: big data, data warehouse, ETL, metadata model, mapping, data integration

杨冬菊1,2,徐晨阳1,2. 大数据环境下基于元模型控制的数据质量保障技术研究[J]. 计算机工程与科学.

YANG Dongju1,2，XU Chenyang1,2.

Data quality assurance based on

metamodel control in big data environment

[J]. Computer Engineering & Science.

[1]	陈侨安1，李峰1，曹越1，龙明盛1,2. 基于运行数据分析的Spark任务参数优化[J]. J4, 20160101, 38(01): 11-19.
[2]	王堃, 李少波, 何玲, 周鹏. 基于改进北方苍鹰优化随机配置网络的网络流量预测模型[J]. 计算机工程与科学, 2024, 46(07): 1245-1255.
[3]	李成冉, 方佳豪, 尹首一, 魏少军, 胡杨. 基于遗传算法的晶圆级芯片映射算法研究[J]. 计算机工程与科学, 2024, 46(06): 993-1000.
[4]	徐慧玲, 刘升, 李安东. 基于双向局部开发和黄金正弦的异构导向的鲸鱼优化算法[J]. 计算机工程与科学, 2024, 46(06): 1128-1140.
[5]	钟权, 陈志广, 高蓝光. EMRI-Tree：面向多分辨率可视化的层次式数据结构[J]. 计算机工程与科学, 2024, 46(05): 776-784.
[6]	牛士铭, 薛茹, 丁聪. 基于改进型3D_Henon混沌映射的彩色图像加密方法[J]. 计算机工程与科学, 2024, 46(04): 657-666.
[7]	李安东, 刘升, 苟茹茹. 基于邻域搜索的改进反向学习平衡优化器算法[J]. 计算机工程与科学, 2023, 45(09): 1679-1690.
[8]	黄学雨, 罗华. 自适应变异蝴蝶优化算法[J]. 计算机工程与科学, 2023, 45(06): 1123-1133.
[9]	胡钇宏, 马德胜, 许诺, 王文清, 黄成龙, 方粮. 面向三维忆阻阵列的状态逻辑计算[J]. 计算机工程与科学, 2023, 45(03): 381-389.
[10]	杨浩艺, 陈微, 姚泽欢, 谭郁松, 李非. 基于转录组学数据的抗真菌药物预测方法研究[J]. 计算机工程与科学, 2023, 45(02): 246-251.
[11]	葛旭冉, 刘洋, 陈志广, 肖侬. 基于MPI的并行大数据集生成器[J]. 计算机工程与科学, 2022, 44(07): 1152-1161.
[12]	张孟健, 汪敏, 王霄, 覃涛, 杨靖, . 混合粒子群-蝴蝶算法的WSN节点部署研究[J]. 计算机工程与科学, 2022, 44(06): 1013-1022.
[13]	刘世缘, 李云春, 陈晨, 杨海龙. 面向大数据存储的主动与被动相结合的性能评测方法体系结构与实现[J]. 计算机工程与科学, 2022, 44(04): 584-593.
[14]	杨柏蔼, 赵山, 刘芳. 无服务器计算技术研究综述[J]. 计算机工程与科学, 2022, 44(04): 611-619.
[15]	吕高锋, 王玉鹏, 杨鎔嘉, 唐竹. 基于聚合的FlowRadar网络数据采集加速模型设计[J]. 计算机工程与科学, 2022, 44(02): 220-226.