元数据及数据质量介绍
20160303
议程内容
• 数据管控
• 元数据
• 数据质量
• 问题与讨论
2 > 8/10/2023 Confidential
随着数据仓库的不断成长，你能回答下
面的问题吗？
3 > 8/10/2023
• 源系统发生变化后数据仓库到底需
要修改多少程序？
• 发生了多少次变化？从年初到现在
哪些系统变化最频繁？
• 某个ETL加工程序到底经过多少开发
人员的修改？每次改动的内容是什
么？
• 哪个源系统的数据质量最好？哪个
小组开发质量最高？
• 哪些字段采用了公共代码？代码映
射规则是什么？
• 哪些字段是需要做变形的敏感字段
？在不同环境下同步的变形策略是
什么？
企业级信息管控体系
企业级信息管控
• 战略性和策略性管理，项目所有权和优先次序设定
数据管理
• 界定日常持续创建、使用和废止数据的职责
元数据管理
• 用来描述如何、何时和由谁来负责数据的接收、创建、
访问、修改和格式的数据
数据标准
• 数据的业务、技术规范性文档
数据质量
• 数据满足特定使用的适用度，包括完整性和业务规则
遵从性
数据整合
• 对各主题进行数据清理、转换、整合和丰富的流程
数据安全与隐私
• 各业务主题对安全性和保密性的要求，包括审计能力
主数据管理
• 数据资产以及定义企业运营的关系
人员、流程和技术
企业级信息管控
数据管理
主数据
管理
数据
质量
元数据
管理
数据模型
&
业务视图
数据安全
与隐私
数据
整合
数据
标准
4 > 8/10/2023
数据管控实施的三个方向
5 > 8/10/2023 Confidential
•平台：数据管控团队的工作必须建立在自动化的高效的信息平台。
•接口：企业的信息系统之间应按照数据管控接口规范进行交互。
•模板：信息系统向数据管控平台提交数据可以通过标准模板。
技术
•流程：根据管控要求建立可执行工作流程，并严格执行工作流程。
•规范：企业的各工作岗位有数据管控团队制订的工作规范。
•制度：企业须建立数据管控的制度。
流程
•组织： 建立企业级的数据管控团队是数据管控的基础。
•角色：团队中按照管控的内容进行岗位的设置，即角色。
•职责：不同的角色拥有详细的工作职责。
组织
数据管控特点
• 企业的分析型应用发展到一定的成熟度，就能发现数据管控的价值。
• 数据管控是跨系统、跨部门的管理。
• 数据管控必须有先进的管理方法论支持。
• 数据管控是需要长期的、渐进式的工作。
• 数据仓库是执行数据管控理想的平台。
6 > 8/10/2023 Confidential
企业数据管控成熟度
7 > 8/10/2023 Confidential
系统A 系统B 系统n
人员 流程
数据A 数据B系统A
系统B
系统n
人员
数据管控部门
系统A 系统B 系统n
人员 流程
统一的数据管控系统
标准
企业级数据管控环境
数据管控部门
系统A 系统B 非系统
人员 流程 标准 服务
符合业界规范的双向数据管控系统
系统n
成熟度1：
未知级
成熟度2：
被动级
成熟度3：
主动级
成熟度4：
预测级
数据管控成熟度模型
我们建立了企业数据管
控成熟度模型，该模
型能够使企业识别和
量化数据管控的成熟
度，为企业的下一步
数据管控提供指导。
你的企业处在哪一级？
• Unaware：未知的
• Reactive：被动的
• Proactive：能动的
• Predictive：预测的
8 > 8/10/2023 Confidential
回
报
人员、流程、技术的整合程度
风
险
数据管控平台架构
Database
数据管控知识库
Metadata
DQ DS ETL
数据管控平台 B/S应用
DDL Excel XMLSource DataSQL
登录 浏览 搜索 管理 下载 分析
管
理
安
全
Mart
PDM
Stage
用户层
DBA
Admin
Application Platform (TAP)
业务单元
M
V
C独立单元 系统管理
数据标准元数据 数据质量 需求管理 数据安全 灵活查询
访问层
应用层
模型层
数据层
数据管控平台 C/S应用
ETL
DBC
Perl
开发应用
需求开发 SDM信息调研
版本控制 测试ETL开发
工作模板
控制 批量加工
数据管控平台应用
10 > 8/10/2023 Confidential
业
务
应
用
数据管控门户 • 数据管控的统一的登录网站，下列的数据管控系统均部署在数据管控门户上
元数据 • 元数据是数据管控的IT基础，包含业务元数据和技术元数据。建立企业级的元数据管理平
台，支持双向的、动态的元数据。
数据质量 • 企业级的数据质量管理平台，拥有统一的检查规则管理、检查规则的审批流程定义，并在
各业务系统上部署检查Agent程序，汇总检查结果与错误明细。
数据标准 • 数据标准管理平台，数据标准的维护与发布，标准与元数据建立对应关系。在各业务系统
部署标准执行监控Agent程序，统计标准执行情况。
数据安全 • 统一的数据安全管理平台，根据与元数据的关系，定义数据在整个业务线、数据线的安全
管理规则。
需求管理 • 管理需求生命周期，需求确认、需求跟踪、需求变更等内容，以及需求与开发模块之间的
关系，需求与最终的接口、映射加工内容等元数据的关系。
仓库资源计费 • 通过给出资源（磁盘、CPU）的价格，计算出应用在中消耗的资源成本，以计算应用的
ROI
灵活查询 • 基于B/S的灵活查询平台，能进行企业BI知识管理，数据挖掘与分析。
管控知识库 • 数据管控的培训与交流平台、支持远程网络培训、仓库WiKi、学习材料下载、BI信息发布、
提供企业的BI用户交流、用户投诉与反馈等
技
术
应
用
数据生命周期 • 数据生命周期管理平台，能够在企业范围统一定义的数据生命周期，数据的业务请求级别，
备份策略，数据分布。
企业级ECTL • 统一的ECTL平台，定义与规划高效率的ECTL流程与策略，并能有效的嵌入其他管控工具。
EDW开发 • 集成的EDW、BI应用开发管理平台。
议程内容
• 数据管控
• 元数据
• 数据质量
• 问题与讨论
11 > 8/10/2023 Confidential
什么是元数据
• 定义
– 官方定义(CWM)：描述数据的信息。Metadata is
structured information that describes the
characteristics/attributes of a data element.
– 数据分析界定义：分散在企业中的关键数据描述。
Metadata describes critical elements of data
scattered across the organization.
– 通俗的说：如果数据仓库是一座城市的话，元数
据就是城市的地图。
12 > 8/10/2023 Confidential
数据仓库
元数据
元数据的国际标准－CWM
• 公共仓库元模型（CWM: Common Warehouse Metamodel） 是为数据仓库及
商业智能环境间方便地交换元数据而制定的一个标准，其主要目的是在异构环境
下，帮助不同的数据仓库工具、平台和元数据知识库进行元数据交换。
• CWM模型为数据仓库和商业智能（BI）工具之间共享元数据，制定了一整套关
于语法和语义的规范。它主要包含以下四个方面的规范：
– CWM元模型（Metamodel）：描述数据仓库系统的模型；
– CWM XML：CWM元模型的XML表示；
– CWM DTD：DW/BI共享元数据的交换格式；
– CWM IDL：DW/BI共享元数据的应用程序访问接口（API）。
13 > 8/10/2023 Confidential
CWM标准涉及到的元数据模型结构
数据仓库为什么需要元数据管理
• 普通应用系统为什么不需要元数据管理?
– 表的数量少
– 数据加工简单
– 数据来源单一
– 访问方式单一
– 交钥匙的应用
• 数据仓库为什么必须元数据管理?
– 上下游系统多,变更频繁
– 数据加工复杂
– 用户访问方式复杂
– 维护周期长
– 某银行的DW数据举例:上游系统60个,下游系统20多个,仓
库内部的表12000多个,运行的ETL任务6000多个,每个月
都有新版本上线
14 > 8/10/2023 Confidential
元数据架构
功能清单－元数据
16 > 8/10/2023 Confidential
元数据
浏览
元数据地图浏览
元数据统计信息浏览
全局版本比对
DW来源系统元数据
DW集市元数据
DW/PDM元数据
LDM元数据
ETL、映射信息元数据
数据文件元数据
用户查询样例
元数据对象版本查看与比对
影响分析
血缘分析
元数据质量分析
孤立对象分析
全局检索
用户注释
元数据下载
批量元数据加载
元数据缓冲区管理
元数据版本回滚
业务元数据管理
源系统元数据管理
DW集市元数据管理
DW/PDM元数据管理
LDM元数据管理
ETL元数据管理
数据文件元数据管理
查询样例管理
元数据上传
元数据模板管理
元数据桥接器管理
版本管理
管理 执行
元数据自动更新模块
ETL相关数据同步
SQL解析处理模块
元数据浏览的灵活性
• 元数据对象关系呈立体网状
• 看本体——查看对象本身定义，例如表的
名称、注释等信息。
• 向上看——查看对象所属对象的定义，例
如表所归属的数据库。
• 向下看——查看对象包含的对象的定义，
例如表所包含的字段、索引等。
• 向前看——查看对象的上游信息对象，例
如该表的数据的来源表。
• 向后看——查看对象的下游信息对象，例
如该表的数据的目标表。
• 看历史——查看对象的历史变更信息。例
如该表在上一个版本中的内容。
• 看友邻——查看与对象有关系的其他对象，
例如涉及该表的脚本等信息。
17 > 8/10/2023 Confidential
历史
对象
所属
对象
包含
对象
目标
对象
来源
对象
本体
对象
友邻
对象
友邻
对象
友邻
对象
友邻
对象
核心价值：元数据分析功能
18 > 8/10/2023 Confidential
影响分析
• 向下分析一个元数据对象对下游对象的影响。
血缘分析
• 与影响分析的方向相反，向上追溯一个对象的数据来源。
全链分析
• 从某对象出发，向上下游双方向进行分析。
活力分析
• 分析一个数据库对象被访问的频度。
孤立对象分析
• 分析数据准备区(SData)、物理模型区(PData)中的孤立元数
据对象。
一致性分析
• 定期分析元模型中的元数据是否与实际情况一致。
版本比对
• 选择任意两个时点的版本进行比对。
质量分析
• 分析数据仓库中的元数据的质量。
彻底解决影响/血缘分析放大的问题
• 由于DW的LDM大多采用三范式建模，因此LDM的核心表会有大量的来
源与目标，一旦做影响分析，结果就会扩散放大。最终导致分析结果无
法使用。
• 采用智能SQL解析器模块，能分析数据的真实来源与目标。此项技术是
业界领先的。
19 > 8/10/2023 Confidential
非精细化
解析结果
精细化
解析结果
系统简要介绍－元数据
20 > 8/10/2023 Confidential
选择的元数据管理的10个理由
1. 完美结合数据库的产品，充分利用数据库性能。
2. 完美结合的数据仓库实施方法论，贴合项目实际。
3. 是CWM规范制定者之一，符合业界标准的元数据产品。
4. 能快速动态生成全域元数据地图，DW信息一目了然。
5. 彻底解决影响/血缘分析放大的问题。
6. 能够直接导入LDM，并以图形化显示。
7. 是企业级数据管控架构的基础。
8. 元数据驱动数据仓库开发过程，支持模型设计、ETL开发。
9. 可扩展性好，能够无缝实现企业级元数据管理。
10.功能强大，性能卓越，性价比高。
21 > 8/10/2023 Confidential
议程内容
• 数据管控
• 元数据
• 数据质量
• 问题与讨论
22 > 8/10/2023 Confidential
中国金融行业数据质量管理的发展
历程
23 > 8/10/2023 Confidential
2003 2006 2008 2010 ……
1.简单的检查脚本。
2.少量的技术和业
务检查规则。
3.没有专门的数据
质量检查团队，包
含在ETL工作中。
4.被动式检查，救
火队式工作。
1.第一次开发出数
据质量检查管理系
统，并且在建行
DW部署。
2.大量的技术检查，
少量的业务检查。
3.有了专门的质量
小组。
1.数据管理平台开
发完成，数据质量
与元数据、数据标
准等集成在一起，
并在建行、工行部
署。
2.大量的技术和业
务检查规则。
3. 主动的技术检
查；被动的业务检
查。
1.完善数据管理平
台。
2.抽象出规范化的
金融行业的业务检
查规则。
3:推动质量检查的
闭环工作。
4:实现主动式的业
务检查。
数据质量管理的指标
• 我们需要什么样的数据
• 完整的
– 所需求的数据是否都已经获得
• 一致的
– 从不同应用获得数据能否保持一致
• 有效的
– 数据是否容易理解而不被曲解
• 准确的
– 数据是否在任何时间点都反应了数据的真实情况
• 相关的
– 有关联的数据之间的关系是否准确有效
• 及时的
– 从信息产生到数据可用需要多长时间
24 > 8/10/2023 Confidential
数据质量问题成因鱼骨图分析
• 数据质量问题来源广泛、复杂
25 > 8/10/2023 Confidential
数据质量问题数据质量问题
技术技术 人人
流程流程信息信息
培训
管理
激励
上岗培训
进修
目标
责任心
优先级
反馈
奖励
元数据
模型
定义
加工
完整性 精确性
度量
有效性
数据
传递
及时性
漏传
基础
设施
OS
网络
硬件
实施
复查
产品
性能
缺陷
测试 配置
覆盖率
数据
变化频度
流程
设计
优化
架构
设计 工具
数据质量问题气泡图分析
26 > 8/10/2023 Confidential
项目组 数据管理团队 企业 客户
可控 范围 不可控
技
术
质
量
性
质
业
务
唯一性
完整性
管理
客户信息
源系统
系统调研
样本数据
开发
测试
外键
主键
架构
值域
业务规则
模型
有效性
相关性
沟通
及时性
数据质量改进流程 PDCA
• PDCA环简称Deming Cycle，由质量大师戴明发明
• P计划 D执行 C检查 A行动
• 没有形成这个闭环，就不会有质量的改进
• 根据PDCA原理，设计出适合企业的质量提升流程
27 > 8/10/2023 Confidential
计划
PDCA环
执行
检查
行动
PDCA例子
P:在众多的质量问题中选择某一
个问题准备改进。
D:在部分分支机构执行质量改进
方案。
C:通过DW反馈评估质量改进效
果。
A:制定数据质量改进指引，下发
全部机构，并监督改进情况。
戴明名言:
质量无须惊人之举。
每个人都有客户，如果他不知道自己的客户是谁，也不知道客户
需要的是什么，那么他还没有了解自己的工作。
质量提高不是来自于检验而是来源于过程的改进。
企业买不到高质量的方法。
质量以满足客户的需求为原则
• 数据流转概述：核心系统的数据文件通过文件传输平台传输到数据仓库，
数据仓库加工数据后传送给数据集市。
• 问题：数据集市报告数据仓库传送的数据有错误，但是据数据仓库的技术
人员反馈，以前出过类似情况，这可能是核心系统下数错误，也不排除文
件传输平台漏数的情况，因此，数据集市应该就这个质量问题找谁？
28 > 8/10/2023 Confidential
核心系统
文件
传输平台
数据仓库 数据集市
A:找数据仓库
B:找文件传输平台
C:找核心系统
D:按顺序全找
正确答案：A
企业要建立起下游即用
户，用户永远是第一的
原则，任何系统都要接
受下游投诉并妥善处理
的原则。
完善开发管理流程
• DW相关应用开发遵守软件开发管理流程
• 建立三套隔离环境：开发及SIT测试、UAT测
试、生产
29 > 8/10/2023 Confidential
数据管控的数据质量组织角色与职
责• 数据质量组组长(1)
– 数据质量组个人工作计划收集,制定中长期工作计划
– 定期向项目经理汇报数据质量治理情况
– 协调本组与数据仓库各小组之间的工作
• 数据质量专家顾问(1)
– 为数据质量工作制定中长期的建设规划
– 熟悉模型建设,应用开发,为数据质量组工作提供指导
– 审核数据质量组组间的工作联系单和检核脚本
• 质量问题外部联络与追踪人员(1)
– 数据质量组与源系统工作联系单的收集与跟踪
– 数据仓库运维过程中事故记录与日常问题的整理
– 数据质量知识库的维护
• 日常检查人员(1-2)
– 每日数据记录,代码检查,主键重复等日常检查的结果查看与报告
– 数据质量运行平台系统的维护
• 专项检查人员(1-2)
– 处理临时性的协同工单数据质量问题检查
– 专项的数据质量问题治理检查
– 数据仓库的数据治理与改进
30 > 8/10/2023 Confidential
数据管控的数据质量问题治理流程
31 > 8/10/2023 Confidential
数据管理平台－数据质量管理子系统
架构
32 > 8/10/2023 Confidential
数据质量管理的手段与工具
• 数据质量手段分
类
– 数据收集手段
– 数据分析手段
– 文档技术手段
– 结果展现手段
– 问题与改进手段
– QA控制手段
33 > 8/10/2023 Confidential
• 数据质量技术与工具
> 数据质量指标积分卡
> 数据质量管理平台(含元数据、数据标准)
> 用户调查表、沟通
> 成本分析、问题起源分析、时间－行动分
析
> 评估与选择、头脑风暴、优先级技术
> 过程文档、项目管理
> 图表（清单、柱图、原因－效果矩阵图、
帕累托图、数据流程图）
> 质量回顾、质量循环
> 知识库、论坛
> 培训
数据质量指标积分卡
34 > 8/10/2023 Confidential
- Summary Scorecard Example -
功能清单－数据质量
35 > 8/10/2023 Confidential
数据质量
浏览
检查任务运行情况日期汇总
检查任务运行情况类型汇总
单个检查任务执行情况图表
我关注的检查任务
ETL错误浏览
数据质量清洁度指标浏览
检查类型清单与明细浏览
检查任务清单与明细浏览
检查任务与元数据关系浏览
检查任务执行结果浏览
错误数据浏览与下载
质量登记簿浏览
全局检索
用户注释
检查类型管理
检查任务管理
数据质量清洁度指标管理
检查任务批量加载
检查任务脚本在线测试
质量登记簿管理
关注任务管理
检查任务批量参数设置
元数据变更影响分析
ETL错误与质量登记簿关联
检查任务执行结果与质量登
记簿关联
管理 执行
ETL嵌入模块
批量运行模块
离线检查模块
应用服务器定时执行模块
自动报表
系统简要介绍－数据质量
36 > 8/10/2023 Confidential
某金融客户的部分质量检查规则
37 > 8/10/2023 Confidential
选择的数据质量管理的10个理由
1. 完美结合数据库的产品，充分利用数据库性能。
2. 完美结合的数据仓库实施方法论，贴合项目实际。
3. 在多个行业，多个客户，有多年的数据质量治理经验。
4. 不是简单的一个工具，而是一整套方法论。
5. 丰富的技术检查指标，能够快速批量部署。
6. 完整的业务检查模板，数据质量治理流程。
7. 是企业级数据管控平台的重要组成部分。
8. 数据质量管理已经集成在数据仓库开发过程之中。
9. 可扩展性好，能够无缝实现企业级数据质量管理。
10.功能强大，性能卓越，性价比高。
38 > 8/10/2023 Confidential
问题与回答
39 > 8/10/2023 Confidential
