数据质量管理架构
数据质量问题一直是困扰数据仓库发挥积极作用的重要因素,在数据仓库建
设之初就应当从战略角度对数据质量体系进行规划。
数据质量基础定义
完整性
数据的完整性:为实现业务目的而设计组织的数据模型是否完全,是否覆盖
各个方面。例如:对一个业务,一个客户,一个产品,一个营销活动,一个客户
的性质等进行缺失考察。例如,客户名称有姓无名等,客户档案是否齐全,是否
客户所有业务都包含在内等。
完整性破缺主要发生在实体或对象的属性上和整个数据缺失两种情况。
完整性列表:
数据完整性,例如属性数据是否残缺,数值类型数据是否有空数据
业务完整性,例如是否有些业务没有包含在内,是否涵盖所有生产系统和必要的外
部数据(例如竞争数据,保监会数据),是否覆盖所有客户(例如是否覆盖全部客户)
设计完备性, 设计是否完善
模型的完备性
数据字典完备性
映射关系完备性
业务规则是否完备
元数据完备性
加工层次完整性,加工过程中重要的中间数据是否保存,例如,有月统计数据,
考察日数据是否存在?
粒度完整性,重要经营指标各个粒度数据应该完善
有效性
指数据包含了一个有效的数据格式或值
一致性
数据的一致性是一个长期的困难。建立数据仓库的核心目的之一也是争取解决
这个问题。一致性定义为各个系统数据的统一,定义为数据仓库系统内数据定义
的统一。
一致性还表现在定义和口径的一致性。
数据库一致性,设计上是否有多种存储并存,各类统计口径是否统一
冗余和星型模型以及非第三范式一致性保证措施
和源数据一致性
唯一性
唯一性定义为系统数据定义的唯一性。由于数据仓库技术不一定受第三范式
约束,可能具有相当的冗余,但数据冗余不能违反定义的唯一性原则。对于哪些
既存在于关系数据库又在多维数据库中表现的数据和指标要特别注意,因为极容
易由于生成的时间差造成不一致。唯一性至少应当向系统的用户说明最终的数据
评判标准,数据的冗余和评判应当是元数据管理的重要内容。
正确性
数据正确是决策的关键,数据不正确,数据仓库项目就等于失败。但数据的正确性难以通过
自身检查。应该对重要数据和重要统计设立正确性检查。主要方法是:
数据自身统计检验
纵向对比检验
数据间按逻辑交叉检验
横向对比校验
主要检查的内容:
ETL 过程正确性
加工过程正确性
数据整合正确性
模型正确性
展现正确性
查询正确性
核对过程是否充分
准确性
数据的正确性基础上才有意义讨论准确性。准确性包括精度和近似规则。
精度:系统定义的数据必须满足的精确性要求。例如,客户生日,可以精确
到年,或月,或日;全局收入统计或许到万元即可,也许到角分。
可用性
数据的可用性不是一个简单数据质量问题,而是系统质量问题,所有质量因
素都可能影响到可用性。数据的可用性主要体现在使用的效率上
时效性
清晰性
数据的清晰性考验系统元数据的精度。元数据必须清晰定义每一个数据的来
龙去脉。必须没有歧义。
充足性
数据的充足性定义在保证数据正确性和准确性基础上是否能对主要业务专题
提供足够的数据进行足够精度的分析需求。例如,进行时间序列分析通常需要至
少 36 个连续时间单位的数据,是否能够提供这个时间序列。
数据积累是否足够广泛,例如设计上虽然包含了足够宽广的业务领域,但
每项业务的数据是否真的收集到了足够多,
数据积累是否足够时间,充足性的特殊情况,是否收集了足够时间长度的
数据
元数据和字典数据的充足性,描述性是否足够
数据质量保证框架
战略
战略 – 从企业战略方向主动的考虑数据质量状况。
战略的意义:
提供了战略上的、可操作的数据质量保障方向
识别企业数据的关键因素
指明数据质量的范围
战略的范围:
策略:包含以下方面的内容,
任务定义
与业务的关系
切入点
约束条件
可行性
关键方法:包含以下方面,
方向
使规范化
保障策略被顺利执行的手段
变更管理:为了适应企业变更而采取相应的数据质量管理变更机制
组织
组织 – 为了达成企业的数据质量目标,从企业行政管理以及职能设置上进行
考虑 。
组织指的是如何组织相应的人员、设立相应的数据质量机构对数据质量进行管
理,包含以下方面:
组织机构规划
人员及其职责设计
制定考核制度
管理
管理 – 对于企业中元数据以及业务规则的维护上予以管理
管理包含以下范畴:
定义完整的元数据集
定义无二义性、易于理解的业务规则
建立一个健壮的、高可扩展的数据模型
架构
架构 – 从整体上(数据、应用程序、技术架构)对改进数据质量予以考虑
架构的建立应从以下方面进行考虑:
数据架构
应用程序架构
基础架构
过程
过程 – 过程的改进
过程关注的是数据质量管理的过程,应从以下方面进行考虑:
数据质量管理的实施过程
过程控制点以及控制路线
(错误或异常的)补救措施
验证
验证 – 定义数据质量的评测标准并按所制定的标准对其进行验证,只有确立
相应标准,数据质量的控制才具有现实意义。
验证包含以下内容:
数据的重要程度,可以从以下方面进行判断:
对日常操作的影响
对一般业务的影响
对财务上的影响
对客户服务的影响
对决策的影响
数据质量维度--数据质量问题域汇总
序号 数据质量问题 细目 备注
1 完备性 是否涵盖所有生产系统和
必要的外部数据
是否涵盖所有业务
是否覆盖所有客户
是否覆盖所有产品
数据字典完备性
映射关系完备性
业务规则是否完备
系统设计完备性
元数据完备性
数据完整性
业务完整性
数据模型完整性
加工层次完整性
2 完整性
粒度完整性
对问题域的解决方案是否有足够的数据
作为分析基础
数据积累是否足够广泛
数据积累是否足够时间
3 充足性
元数据和字典数据的充足
性
ETL 过程正确性
加工过程正确性
数据整合正确性
模型正确性
展现正确性
查询正确性
4 正确性
核对过程是否充分
数据精度是否足够
5 准确性
近似模型是什么
数据库一致性 主键,外键完整性
冗余和星型模型以及非第
三范式一致性保证措施
6 一致性
和源数据一致性
逻辑性
逻辑严密性 是否有严密的逻辑约束
数据逻辑关系
7
表内表间关系
8 职业道德和法律 结果不可修改特性
9 数据质量保证体系 数据出错处理和防范预案
报表质量
查询质量
接口数据质量
10 分析质量
非生产数据质量 例如市场竞争数据
沟通
沟通 – 关注使用数据信息的相关责任者之间的沟通,要充分关注数据质质量
组织机构中的员工、不同的团体以及单位之间的相互沟通。
执行
执行–指组织中的每个成员都应改遵守数据质量管理所制定的要求、决定 。
数据质量持续改进过程
发起 – 按照制定的规范获取相应的项目资源、支撑工具以及制定工作计划。
定义 – 定义详细的过程、数据、组织的划分以及质量元素、标准及测算方法。
评估 – 对现存数据及业务环境进行评估,以便识别项目对数据、过程、系统
以及组织架构所造成的影响。
清洗/改进/评测 –改进现有数据的数据质量,并采取措施修改业务环境,避免
类似错误继续发生。
强调循环改进
元数据管理架构
国有资产管理支持系统数据仓库数据源广泛,数据消费者群体跨度也很广,各
种指标、维度、统计口径等元数据相关的问题必然是项目面临的巨大挑战之一。
元数据基本概念
元数据(Meta Data)是关于数据的数据。当人们描述现实世界的现象时,就
会产生抽象信息,这些抽象信息便可以看作是元数据;元数据主要用来描述数据的
上下文信息。通俗的来讲,假若图书馆的每本书中的内容是数据的话,那么找到
每本书的索引则是元数据。
元数据之所以有其它方法无法比拟的优势,就在于它可以帮助人们更好的理
解数据,发现和描述数据的来龙去脉,特别是那些即将要从 OLTP 系统上升到
DW/BI 体系建设的企业,元数据可以帮他们形成清晰直观的数据流图。
元数据的概念虽然在国内刚刚被人们熟悉起来,但在国外他已经历了较长的
发展历史。从 上世纪 60 年代,人们认识到元数据的需要,到数据字典、CASE 工
具的应用,以及上世纪 90 年代数据仓库体系中元数据存储库的出现,直到现阶段
国外企业以 元数据为驱动的 IT 系统建设的方法论流行。企业对于元数据的价值
越来越有深刻的体会。
元数据按其描述对象的不同可以分三大类:技术元数据、业务元数据和管理元
数据。技 术元数据主要用是用来描述数据实体和数据处理过程中的技术细节和处
理规则。比如我们所熟知的表结构、ETL 映射关系等,这类元数据主要是系统建
设的技术人 员使用。业务元数据主要是对 IT 系统的数据实体和数据处理的业务
化描述,包括业务规则、业务术语、统计口径、信息分类等。我们经常提及的 KPI
定义和报表 统计规则等就属于此类元数据。业务元数据主要的使用者是业务人员
和公司决策人员。管理类元数据主要是对项目管理、IT 运维、IT 资源设备等相关
信息的描 述。这类元数据主要是企业 IT 部门的管理人员使用。利用此类元数据
可以进行工作分配、网络资源等方面的管理。
元数据的管理方式有三种:集中式、分布式和混合式。集中式的管理方式是把
原有系统中的元数据抽取出来,用一个独立的系统来集中管理。此类管理方式优
点是:可高效存取信息、独立于被集成的系统和具备存储附加元数据的能力;缺点是:
由于额外的执行和维护降低了 ROI 和实时性。
分布式管理方式是不具备独立的元数据存储库,系统实时的连接到原有的系
统。这种方式的优点是:适时性比较好和能保证元数据的质量;缺点是:过度依赖于集
成系统和不能存储附加元数据。
混合式元数据管理既有独立的元数据存储库又可实时的连接到原有的系统。
混合式管理方 式克服了集中式和分布式管理的各自缺点,同时集成了前两种管理
方式的优点,既能适时的捕获和反映原有系统元数据的情况,又能让用户扩展和
定义附加的元数 据。
元数据管理目前遵循的规范为 CWM(Common Warehouse Model)。该规范是
由 OMG 组织制定的,此规范目的是能在不同的系统之中可以自由、便捷的交换元
数据。CWM 核心的技术有三个:UML(United Modeling Language)、MOF(Metadata
Object Facility) 和 XMI (XML Metadata Interchange )。UML 主要用来定义元模
型;MOF 用来提供操作元数据接口;XMI 用来定义交换元数据的机制。
元数据管理的五种状态
第一级: 随机状态(Ad-hoc)
行为特征 在这一级上,对元数据的管理是随机的。元数据由某个人或某一组
人员在局部产生或获取,并在局部使用。在大多数时间里,元数据是隐匿在信息
中,比如存储于诸 如 Word、Excel 等形式的办公文档,这些文档使用的术语仅局
部的用户能知道其确切含义。人们通过与“责任人”直接通信或通过信息会话来获
取这些知 识。在局部环境工作数月或数年后,人们使这些元数据以及对它的理解
内在化,使对这种信息有习惯性的理解。
在这一阶段,元数据通过组织机构缓慢的传播或根本不传播,这取决于局部
小组与其他小组间的通信量的大小,这些元数据可能永远“待”在该局部小组或某
个人那儿。如果这样的小组或个人调离,则这种元数据信息可能永远丢失。
人 元数据知识保留在人的大脑中。在这种环境中,知道(或不知道)与谁交
谈对于理解元数据成为一件十分重要的事。
处理 元数据要通过与“责任人”的交谈才能共享。新来者需要通过他们的日常
工作来学习元数据。外部人员难以理解元数据,他们必须与“责任人”交谈才能得
到他们想 要的东西。因为元数据在局部产生或抓取并在局部使用,所以通常也只
能在局部修改,这种修改通常也不会通知公司里其他的组织。
技术 可以用各种不同的工具来生成元数据。绝大部分是面向个人电脑的应用
软件。例如,ERWin 可用于数据库建模,Rational 用于为对象建模、Excel 用于生
成商品列表等。这些工具都没有设计成可以交换信息,因此,只能在当地的文件
系统中保存所生成的元数据。
第二级: 可发现
行为特征 在元数据管理的这一级上,可以发现在不同企业之间的元数据。像
第一级的情况一样,元数据仍然在局部产生和抓取,然而,它处于可发现状态,
这样的元数据在企 业一级显露,使得每一个对它有兴趣的人都能随时了解“什么
已经存在”。元数据仍然可以在局部级上维护,然后更新中央知识库,但它们仍然
使用不同的命名法。 结果,相同的名字被用于表示意义不同的事情,而同一件事
情则使用了几个不同的名字。
尽管如此,相比之下,从不同来源来的数据和数据的含义已经具有了更多的
透明度。对于商业用户,如果他们需要,现存的技术可为他们提供有关数据的来
源和怎样对数据进行计算的信息。
人 人们开始感知到共享元数据信息的重要性。业务分析员、数据拥有者和应
用开发者现在自觉地将元数据信息加载到中央知识库中。
处理 元数据知识经由中央数据库进行共享。凭借对中央知识库地理解,人们
能够发现在其他应用系统中的数据。然而,由于使用术语的不同,人们互相之间
需要交流,以便弄清某些元数据的含义。而且,由于元数据的更新不受任何方式
的控制,使得这种更新没有告示或贴切的分析。
技术 有一些元数据管理工具可用于共享来自数据源的元数据,并能把来自不
同建模工具的逻辑元数据导入到元数据知识库中。AG Rochade、Unicon、
MetaMatrix 是该类产品的一些例子。然而,除了以商业含义来定义数据表格的栏
目名之外,这些工具没有一个能很好地 抓取元数据。
第三级: 管理控制
行为特征 这一级对元数据的修改进行集中管理。局部业务单元或开发小组如
不通知其他的元数据保管者和用户,就不再能按照自己的想法对元数据进行修改。
在一个地方发起 的元数据的修改将传播给其他地方。有各种工具和方法可用于不
同业务单元之间交换元数据。为了整合不同数据源中的数据,仍然必须用手工进
行数据的映射,以解 决不同数据源的数据整合。但是,这种映射在一个中央知识
库上进行维护和管理。
人 数据拥有者、应用开发人员、用户和其他的数据保存者现在比以往任何时
候更清楚元数据管理的重要性。人们遵循有关元数据管理的“监督”处理操作规程。
在对元数据进行修改前,他们就分析这种修改将会产生的影响。他们认识到元数
据的共享将使组织的运作更有效,并使他们的生活更轻松。
处理 建立了监督体系结构(谁是数据和应用的拥有者),监督资产(数据仓库、
数据集市、命名标准)和流程(何时开始更新、如何更新)。
技术 有几个工具经常被用于元数据的监督处理。SchemaLogic 是一种新兴的
工具,通常被用于帮助监督处理发现业务的词汇及其分类。还有一些软件提供商
正在相互竞争,以填补这一空间,但还没有一家能提供商用的产品。
第四级: 优化
行为特征 在对元数据实施集中存储并通过监督体制对元数据进行管理后,企
业会发现,通过标准化和整合可以实施有意义的优化。为了优化各业务单元之间
的各种冲突和各个副本,人们开发了一个企业数据模型和词汇表。人们可以将这
些标准模型和词汇表用于各种新的应用。时机成熟时,可以把各种老的应用迁移
到这些模型上。
人 在这一级,人们坚持不懈地探索优化的途径。人们协同工作,通过在数据
的入口点确认数据的有效性来提高数据的质量。通过确定各业务实体的权威数据
源,使数据的映射达到最小化。数据开始从一个业务单元平滑地流到另一个业务
单元,而不用担心昂贵的数据集成成本。
处理 首先,生成企业数据模型,并在中央知识库进行维护。第二,对数据模
型中定义的每一个实体确定权威数据源或企业应用的主参照数据,然后将业务的
上下文信息和 含义与这些数据源进行关联。在整个组织中对业务的词汇表进行标
准化。鼓励应用开发小组使用这些标准化的术语,来生成、传播和表示信息。
技术 目前,仅有少数几个能帮助企业实施优化的工具。而且,每一个工具只
能完成其中一到两个任务,还没有哪个工具能做企业优化所需的所有事情。
第五级: 自动化
行为特征 在这一级,元数据管理是自动进行的。当在逻辑层次发生元数据更
新时,它们将被传播到物理层次。反之,当在物理层次发生更新时,逻辑层次将
被更新,以反映这 种更新。在元数据中的任何变化也将触发业务工作流,以处理
其他各个业务系统所需的相对应的任何修改。由于各个应用系统遵照相同的词汇
表,它们之间的关系可 以通过知识本体进行推断,所以,各应用系统之间数据格
式的映射自动产生。
人 人们把元数据管理作为常规业务的组成部分。就像电信网对业务的支持一
样,元数据成为组织运作中一种关键的、普遍存在的、无形的资产。元数据管理
变成业务处 理的一个主要组成部分,而且,整个业务运作都要依赖于它。事实上,
如果元数据管理实施得很好,人们可以无需关心它在何处。在自动化级,元数据
管理成为一种 使能器,而不被视为一种障碍。
处理 在这一级,元数据管理的处理较为理想。绝大多数处理是自动完成的。
人们从手工和程序处理过程中解放出来。他们在元数据判定上可以工作得更有效。
当业务变化时,由知识工人对企业数据模型、词汇表和知识本体进行维护。这样
一种改变立即会在各个应用中反映出来。例如,假如一个新产品被引进,把它加
到企业词汇表和知识本体中,这一情况将自动地被传播给金融系统、制造业系统
和营销系统。使得每个应用系统无需花费昂贵的代价,去完成相应的修改。
技术 各个应用必须使用企业数据模型、词汇表和知识本体来获取、传播和表
示数据。人们开发了各种代理,将数据从一种格式翻译成另一种格式。为了实现
这些功能,当前正在展开知识库表示和知识集成方面的许多研究。
元数据管理工具基本功能
元数据管理典型的应用有:ETL 映射分析、血统分析/影响分析和差异分析等。
这些 应用对于整个企业、技术人员、业务人员和 IT 管理人员都的挥着至关重要
的作用。对于整个企业而言,元数据管理可以协助企业进行数据资产管理;帮助解
决数据 孤岛的现象,形成统一企业信息地图;实现集中浏览分布在企业内部的所有
电子文档;同时协助企业建立企业级视图的指标库。
随着企业信息化建设的不断深入和积累,元数据管理平台可以发挥企业知识
传 承 的 平 台 。 通 过 元 数 据 的 “ETL 映 射 分 析 ” 功 能 , 从 企 业 级 视 图 去 查 看
“Transformer”这个转换的具体细节。帮助技术人员更好的理解数据内部的来龙去
脉。
对于那些已经建设有 BI/DW 系统的企业而言,企业内部分散着数十种系统的
情况是很 普遍的现象。这些企业的业务人员和决策层所关注的一些统计报表和指
标,往往是经过许多业务系统和若干数据处理环节而形成的。当最末端的数据发
生异常时,在 没有元数据管理系统的情况下,需要许多单位和部门(包括软件集
成商)的人共同参与,利用手工的方式去逐级查找数据出错的原因。这种方式不
仅不利于问题的及 时发现,而且一旦出现问题,很难短时间内定位问题,甚至根
本不可能定位问题的所在。
而利用元数据管理系统的血统分析等功能,可以很容易的定位问题,再配合
监控规则的设置,使问题发现的及时性大大提高。
利用元数据管理系统,企业可以建立数据元(标准)的统一视图。通过统一
数据口径、 完善指标体系、建立统一数据视图,可确保数据的完整性、准确性、
一致性,从而有效的在各个业务系统内进行数据的转换和整理工作。目前,许多
企业经常会面临 同一个指标在不同部门或者不同系统中定义不一致的情况,以至
于最终的统计数据出现偏差,为决策者提供了错误的决策依据。
如某企业某月 A 省分公司和 B 省分公司都给总公司上报了“产品销售量”的指
标,A 省 分公司的产品销售量为 500 万件,B 省分公司的产品销售量为 300 万件。
按常识判断 A 省分公司的销售量应该远远小于 B 省分公司的销售量,但报表的数
据却与 常识相差甚远,究竟是什么原因造成这种与常识的不一致性呢?在没有元
数据管理系统时,我们很难发现其中的原因,但有了元数据管理系统的指标差异
分析等功 能,通过元数据的差异分析很容易解释这些现象。如图 5 所示:之所以出
现统计的异常是由于 A、B 两省分公司对同一指标“产品销售量”的定义不一致而造
成的。
此外,元数据管理系统可在统一数据视图上进行全行业内的指标一致性分析,
可对关键 业务的监控规则进行设置和管理。随着数据量的不断积累,数据质量问
题的日益突出,元数据管理平台可承担起全企业的数据质量管理的基础平台。同
时,利用需求 类元数据和流程类元数据,来协助 IT 管理人员进行项目和流程的
管理,从而减少企业人员流动对于项目造成的影响。
在这个“惟一不变的就是变化本身”的时代,在这个数据和知识爆炸的时代,
如何有效的进行企业 IT 系统建设的扬弃和传承?如何高效的利用企业数据资产?
这些问题犹如“格尔迪奥斯绳结”摆在我们的面前,而元数据恰是解开这个“结”
的关键 所在。对于企业 IT 系统建设而言,我们依然信奉“元数据不是万能的,但
没有元数据是万万不能的”这句经典诠释。特别是对于那些组织结构复杂、IT 系统
众多 的企业,这个组织和支撑它的 IT 系统要想有效运转起来,一定少不了元数
据这种“润滑剂”。
目前主流的元数据管理工具
总起来看,目前国内的元数据管理工具大概有三类。一是像 IBM、CA 等公司
都提供的专门工具,比如 IBM 收购 Ascential 得到的 Metastage,CA 的 DecisionBase
都是如此;二是像 DAG 的 Metacenter,它不依托于某项 BI 产品,是一种第三方
的元数据管理工具,三是国内部门开发商在某些具体的项目中也在开发自己的元数
据管理工具。
各种元数据管理工具有很多。理论上讲,用户可以用其中一种管理其他系统
中的数据,比如选择数据仓库系统厂商提供的元数据管理工具来管理其他层面的
元数据。但实际应用中的管理效果如何呢?一般情况是,这些专门工具管理自己
本系统的元数据尚可,一旦跨系统管理,效果就不尽如人意了。
从国内的实际应用来看,DAG 的 Metacenter 这一工具使用最多,目前所看到
的在电信、金融领域建设的元数据管理项目基本上都是应用了这一产品。至于 像
CA 等公司的工具,在国内基本上没有成功案例。
国有资产管理支持系统元数据管理架构
现状
虽然元数据管理已经很久被业界所关注,但是大多数企业的元数据管理事实
上还是处在一个混乱的状态中,元数据没有被有效的纪录下来,大量的元数据嵌入
在软件应用编码中,甚至更多的存在于员工的“部落知识”中,某个员工的离职都
可能对企业造成极其糟糕的影响。正如我们在元数据管理的五种状态的第一级状
态所描述:
人 元数据知识保留在人的大脑中。在这种环境中,知道(或不知道)与
谁交谈对于理解元数据成为一件十分重要的事。
处理 元数据要通过与“责任人”的交谈才能共享。新来者需要通过他们的
日常工作来学习元数据。外部人员难以理解元数据,他们必须与“责任人”
交谈才能得到他们想 要的东西。因为元数据在局部产生或抓取并在局部
使用,所以通常也只能在局部修改,这种修改通常也不会通知公司里其他
的组织。
技术 可以用各种不同的工具来生成元数据。绝大部分是面向个人电脑的
应用软件。例如,ERWin 可用于数据库建模,Rational 用于为对象建模、
Excel 用于生成商品列表等。这些工具都没有设计成可以交换信息,因此,
只能在当地的文件系统中保存所生成的元数据。
主要的障碍
元数据管理问题是业界头痛已久的一个问题,目前看似还没有很好的解决方
案,国内已知的元数据管理工具和已知的元数据管理项目都可以说是效果一般。
其关键的难点在于:
一方面工具本身的缺陷,目前已知的工具几乎都只能支持与几种有限的工具
平台交互,不能将企业环境中的所有的元数据集成管理,事实上往往形成了新的
元数据问题。
另一个方面,更大的困难在于人的因素,很多关于元数据的知识存在于员工
的脑袋里面,很可能他自身都没有意识到,知识的显化不是一个容易的过程,几
乎可以肯定是一个长期的过程。
解决方案
元数据管理问题不是纯粹的技术问题,更加主要的是一个管理的问题,因此
我们有必要将其放在一个企业战略环境中考察。
成功的关键因素
元数据管理成功的关键因素是:
战略层支持和涉入
战略执行保障
有效的沟通
保证战略有效执行的组织架构
有效的元数据管理
有效的过程保证
元数据架构体系
元数据验证评估体系与评估机制
元数据管理技术
元数据管理环境
战略层支持和涉入
企业的高层和经理们必须支持元数据管理。同样重要的是,所有潜在的消费
者必须参与到元数据管理中。没有管理层的支持和近乎全部的投入,用于整个企
业的元数据管理项目通常就会失败。
企业的高层和经理们必须完全支持元数据管理和使用。支持包括确保有充足
的资源,也意味着对实现元数据管理环境的一贯承诺,该环境是企业衡量和决定
支持数据的唯一来源。
元数据管理和使用通常需要巨大的“文化”变革。在没有管理承诺的情况下这
不会发生。管理内部变革,尤其是文化变革,需要三种东西:管理承诺、一致通
过和恰当的措施和奖励。
管理承诺
高层和经理们必须一直承诺让企业进行所要发生的任何事情,包括变革。只
有企业领导人才能保证有可用的、影响变革的、必要的资源。一贯承诺意味着变
革会变为企业领导持续、明显地支持的企业的战略和目标。领导支持是变革获得
一致批准的主要因素。
一致通过
只有当相关人员批准变革时,变革才能够成功。他们必须了解变革的需要,
同意变革是正确的,并且相信变革对企业和他们自己都是有好处的。Peter Senge
在他的书“第五项修炼”里描述了为了实施系统变革而需要做出的一致通过,他说,
“人们想改变,而不想被改变。”
措施和奖励
让每个人都希望变革是很难的。需要一定水平和程度的沟通和合作,而这在
大部分企业里这种情况并不常见。保持一致通过甚至更难。确保恰当地准确地衡
量变革的过 程和结果,并在全企业沟通,这是取得并保持一致通过的最好方法。
必须得奖励好的成果和变革行为,同时,那些未改变的行为和坏的结果不应该受
到奖励。如果员 工坚持旧的操作方式,但是仍然受到奖励的话,他们就不会改变
了。
所有元数据的潜在消费者,包括高层和那些来自于每个组织单元和级别的人
们一定要主动参与到元数据管理当中。元数据消费者对元数据的接受有最大的影
响,因此非常有必要阐述他们的需要。他们也是操作数据的“所有者”和“管理员”,
所以他们是主题专家意见的最好来源。
业务需求
不首先判定战略业务的需求就开发元数据管理环境是一定会失败的。这些需
求的最好来源是企业战略规划和规划中确定的执行措施,这些是元数据管理结构
体系和环境 设计的基础(其他成功的关键因素会在本文的后面部分讲到)。没有
首先决定战略业务和信息需求,一个企业就不应该建立元数据管理。
战略规划
战略计划概述了一个企业的使命和目的、目标、战略和执行措施(业务需
求)。如果正确使用战略计划,它就是那些经理们用来有效地引导他们的组织、
确保企业成功的工具。
一个企业的战略计划不仅仅提供了有效管理的指导,也提供了内部变革的导
向力,为响应外部变革提供指导方针。企业通过战略规划过程,定义并记录企业
意图、目的和目标以及实现它们所采取的战略。其中也包含对外部机遇和威胁的
评估,以及对内部优劣势的评估。
最有用的战略计划是多维的,它整合了企业的整体规划,包含了每个企业要
素的附属计划,包括每个关键成果的衡量措施。
执行措施
制定正确的执行措施是成功企业管理的所在。一个企业必须能够分辨过程是
否按关键目标制定,是否符合股东期望。最有效和有用的执行措施是跨职能的、
同恰当的战略、目标和执行标准相联系的。管理的目标和措施的极限经常建立在
外部基准的基础上,形成了一个企业的绩效衡量系统结构。
执行衡量文件应该包括不仅仅报告和查询的内容,还要记录从来源到最终信
息接收的数据路径。所有执行衡量的全部报告结合在一起组成了数据仓库的基础
和满足企业要求的真正特制的战略信息系统。
高层和经理们使用从数据仓库产生的信息来提高积极性、奖励好的行为和改
变战略。员工用它们来调整操作,对战略需求做出反应。连接特定目标的及时精
确的措施开始使企业管理变得更像是一门科学,而不是一门艺术。
所有企业业务规则和执行要素都是各种各样的企业元数据。正是这些重要的
元数据常常没被管理起来。
元数据结构体系
元数据管理取得成功的关键在于企业的元数据结构体系,它能反映一个企业
的执行衡量和业务需求情况。它的数据模型和元数据结构应该都建立在战略和战
术信息需求的基础上-而不是某些特定的技术的基础上。
企业数据模型
一个企业数据模型记录了一些数据要素,他们的值在任何点上任何时间对告
诉数据消费者企业的执行效能来说是必须的。数据模型对每个关键数据实体都作
了清晰、明确的定义,描述了每个使用方法,并定义了推导公式、聚合种类和刷
新时间间隔。和企业信息结构体系连接在一起的数据模型不仅仅成为需求文件,
也成为将企业元数据同它的消费者和开发者之间沟通的来源。
数据模型必须要说明的问题包括要使用什么样的元数据来源来填充元数据环
境、元数据应该如何从继承环境里转移出来、以及如何集成或者变换元数据要素
以保证元数据的质量和完整性。任何一个企业元数据管理环境里最重要的两个问
题是元数据的质量和访问。
元数据结构
元数据管理环境可能会有很多结构中的其中一种,实施特定的元数据结构时
必须要阐述的主要问题涉及到元数据的分配和复制。这些问题包括:
有多少元数据以及多久?
从哪里来?
单向还是双向更新?
谁需要它?他们需要什么格式的数据?什么时候需要?
元数据质量
元数据管理成功的单一的、最主要的因素是企业元数据的质量。很显然,企
业元数据必须有尽可能高的质量,必须精确、关联度高、完整、简练,必须及时、
通用,可 以用清晰、能够被理解的方式表达。一个包含可信企业元数据的元数据
环境变为一个颇有价值的企业资源,为所有组织级别的决策者们提供资源。如果
消费者发现元 数据不好,那元数据管理就是失败的。更糟糕的是,如果元数据不
好,而消费者又从来都发现不了,仍然以糟糕的元数据为基础来做决定,那么整
个企业就有可能失败。
元数据管理技术
只有在元数据结构体系被定义之后,一个企业才能开始选择并执行它的元数
据管理技术。否则,技术不支持企业需求的可能性就非常高。另外,如果企业元
数据方案是为某个特定技术设计的,当需要根据需求的变化和技术的进步和成熟
来革新技术时,即使是可能的,也将会很困难。
一个企业的元数据管理环境只能够用一种企业级的、工业级的元数据管理技
术来支持。该技术应该有以下特点:
高性能、高容量
可升级、适应性强
可延伸
安全
能基于网络
跨平台的
能够从许多来源里导入/导出
可以根据需要导入/导出
定制的用户界面
元数据管理环境
最容易被忽视的成功的关键因素是影响最大的那个因素。为了一直保持高质
量的元数据,企业必须拥有使用最好的操作和技术的环境。该环境的要素包括项
目、方法论、工具、技巧和知识。
项目组。除 了一贯的管理承诺、支持和数据仓库消费者涉入之外,还有一个
关键的因素:企业文化因素。实际管理企业元数据的项目组必须有一定的特点。
他们必须理解战略信 息和元数据的重要性,必须能够分析并用商业语言记录业务
需求,必须致力于元数据管理,有充足的资源,实行有效的项目管理。每个项目
组成员都必须有相应的技 巧、知识和经验(看下文),非常熟悉企业发展方法论,
并且能够有效地使用企业元数据管理工具包。
方法论。一贯严格开发高质量信息系统的企业使用的是完整生命周期发展方
法论。该方法论以相关的步骤的先后顺序为特征,这些步骤从决定业务需求开始,
并据此进行系统的设计、开发和实施。
建立了工业标准的软件开发能力成熟型模型(SW-CMM)的软件工程研究所
(SEI)声明,为了发展成为有效的软件开发商,绝对需要一个方法论。使用战略
驱动、以客户为导向、以信息为中心、基于模型的、专业的、严格的、可重复的
方法论对于成功的元数据管理也是必须的。
工具。企业元数据太复杂,数量巨大,无法用手工方法开发。有许多对元数
据管理有用的工具,包括建模工具、知识库和第 4 代或第 5 代编程语言。把这些
工具结合起来使用对快速有效地开发和维护元数据管理环境来说是必要的。一个
企业使用的专用的工具包将取决于元数据管理的需求。然而,不管使用的是哪种
工具,让这些工具共同工作,并且把他们用在企业所选的技术环境里是很重要的。
技巧和知识。要高效地管理企业元数据需要一套专业的技巧和知识,她们包
括使用建模工具和系统集成的经验,很强的技术背景-强调操作系统、数据库、决
策支持工具、消费者界面和客户端/服务器,数据建模理论的高层次上理解,很强
的沟通交流(口头和书面)技巧,以及和组织里从办公室工作人员到 CEO(首席
执行官)的每个人的互动能力。这些必要的技巧和知识可以通过雇佣经验丰富的
顾问或培训企业内部员工来获得。对顾问来说,最有效的方法是在帮助内部员工
掌握熟练的技术的同时开始开发,这样企业最终会自给自足。
元数据管理和其他 IT 功能不同,它的范围更广、可视性更强、消费群体更大、也更容易失败。
在开始一个元数据管理项目之前,企业应该评估是否已经对本文描述的成功的关键因素做了
充分的阐述。