第27卷第1期武汉理工大学学报·信息与管理工程版Vol. 27 No. 1 2005年2月JOURNALOF WUT (INFORMATION &. MANAGEMENT ENGINEERING) 文章编号:1007-144XC200日01一0026一05数据仓库中元数据管理技术王东龙，陈建，李茂青(厦门大学计算机与信息工程学院，福建厦门361005) 摘要:元数据是数据仓库实现和管理的灵魂，也是实现数据仓库系统的一个难点。首先介绍了元数据的定义、作用和分类;然后讨论了数据仓库系统中元数据的标准化情况，着重探讨了元数据的管理策略以及元数据体系结构。关键词:数据仓库;元数据;OIM;CWM中图法分类号:TP31文献标识码:A元数据的交换的研究大部分体现在对关系数据库1引言中，这主要是因为构建数据仓库所需面对的遗留元数据的概念并不新鲜，但是元数据在数据系统大部分仍是基于关系型数据库的，关于其他仓库环境中的作用和重要性是不言而喻的。元数数据源中的元数据的集成和交换的研究比较少。据是数据仓库中的一个重要组成部分，元数据管在元数据管理方面，曹蔚光等详细介绍了几种元理系统则是构建、管理、维护和使用数据仓库系统数据管理策略并进行了比较[。笔者介绍了元的核心部件。如果一个数据仓库中没有元数据，那数据的一些基本知识以及前人的结果，分析了一么用户就不知道如何进行分析。用户必须首先对些高级元数据策略以及其所对应的元数据体系结数据仓库进行各种试探才能确认其中有哪些数据构，并展望了元数据未来的发展趋势。和没有哪些数据，这样就浪费了大量的时间，而2 基本知识且不能保证一定能找到正确的数据。因此元数据及其管理对于数据仓库的成功实施是至关重要2. 1 元数据的定义的。人们通常将元数据定义为"关于数据的数目前国内关于数据仓库元数据的研究主要在据山"或者"描述数据的数据"。元数据是指来自元数据定义及分类、元数据标准、基于XML企业内外的所有(包括软件和其他介质中含有的)(XMI)的元数据交换、元数据管理结构、元数据模物理数据和(员工和各种媒介中含有的)知识，包型等领域。关于元数据的定义众多的文章均有介括物理数据的格式、技术和业务过程、数据的规则绍[川3J，InmonW H关于元数据的定义川是目和约束以及企业所使用数据的结构。元数据其实前被引用最多的，吕波等提出了广义元数据和狭就是知识，包括系统、业务和市场的知识。义元数据[吨。关于元数据的分类有很多，胡颖峰等 元数据的作用的研究从多个视角展示了元数据〔M·M-9]，对元数元数据类似于指向数据仓库内容的索引，处据的分类研究有助于加深对元数据的认识，更好于数据仓库的上层，并且记录数据仓库中对象的地集成元数据。到目前为止元数据业界标准还没位置，是内部技术人员开发与维护数据仓库的蓝有最终定型，在2000年9月MDC并人OMG后，图，是业务终端用户导航数据仓库以及定位有用最有可能形成统一标准的是OMG的CWM。戴信息的路标[气数据仓库系统获取、共享和管理元超凡等详细介绍了OIM和CWM[!.。而关于数据主要有2个目的。收稿日期:2004-09-08.作者简介:王东龙(1980一).男，福建泉州人，厦门大学计算机与信息工程学院硕士研究生.
第27卷第1期王东龙等2数据仓库中元数据管理技术27 (1)作为一致的描述性信息，描述系统的结构 元数据的标准化特征和静态特征;随着数据仓库的广泛应用，元数据的重要性(2)作为控制性信息，控制并配置特定工具和越来越被人们所认同，涌现出了许多基于元数据进程运行，实现数据仓库管理和维护的(半)自动的数据库工具。包括数据提取和清除工具、装载工化处理。具和分析工具等。分散在不同工具中的元数据的在数据仓库系统中，元数据机制主要支持以数据格式、数据模型和使用方法都不相同，对用户下5类系统管理功能:描述哪些数据在数据仓库来说使用复杂而且维护十分困难，解决这个问题中;定义要进入数据仓库中的数据和从数据仓库的关键是实现元数据的标准化，以便共享跨企业、中产生的数据;记录根据业务事件发生而随之进跨工具、跨平台的元数据。目前比较有影响的数据行的数据抽取工作时间安排;记录并检测系统数仓库元数据标准是元数据联盟MDC(MetaData 据一致性的要求和执行情况;衡量数据质量。Coalition)的开放信息模型OIM(Open 元数据在数据仓库系统中发挥着至关重要的Information Model)和对象管理组织OMG作用，如元数据可以用于集成各类复杂繁多的信(Object Management Group)的公共仓库元模型息;元数据定义的语义层可以帮助最终用户理解CWM(Common Warehouse Metamodel)。系统中存储的数据;元数据可以支持需求动态变因为2000年9月MDC并入了OMG，所以化，系统各项表现(界面等)的灵活性;元数据可以只介绍OMG的公共仓库元模型CWM。提高和保证数据的质量;元数据可以支持多种工OMG在2000年发布了公共仓库元模型具的开发应用;元数据可以提高系统的安全性;元CWM (Common Warehouse Metamodel)规范。数据可以提高系统的智能性。其主要目的是在异构环境下，帮助不同的数据仓 元数据分类库工具、平台和元数据知识库进行元数据交换。数据仓库中的元数据涉及数据仓库设计以及CWM模型既包括元数据存储，也包括元数据交管理的方方面面，对元数据概念内涵进行深入的换，它是基于以下3个工业标准制定的。剖析，建立比较全面的元数据分类将有助于元数(1) UML。它对CWM模型进行建模。据管理系统的管理和使用，有助于数据仓库的成(2) MOF(元对象设施)。它是OMG元模型功实施。目前元数据分类方法主要有如下几种:①和元数据的存储标准，提供在异构环境下对元数按照功能和使用用户可以分为3种[巧，即商业元据知识库的访问接口。数据、技术元数据和操作元数据;②按照使用对象(3) XMI(XML元数据交换)。它可以使元数和应用范畴可以分为2种[口，即技术元数据和商据以XML文件流的方式进行交换。业元数据;③从元数据获取和元数据存取的角度这3个标准是OMG元数据库体系结构的核可以分为2种时，即前仓元数据和后仓元数据;④心，UML定义了表示模型和元模型的语法和语广义元数据和狭义元数据;⑤根据元数据用法角义;MOF为构造模型和元模型提供了可扩展的色可分为3种，即实现时元数据、主动运行时元数框架，并提供了存取元数据的程序接口;利用据和被动运行时元数据;⑥从空间的角度可以分XMI则可以将元数据转换为标准的XML数据流为5种时，即活动元数据、位置元数据、实体元数或文件的格式，以便进行交换，这大大增强了据、人群元数据和时间元数据。CWM的通用性。OMG元数据知识库体系结构如另外，还有许多种分类方法，如分为业务元数图l所示。据、数据库元数据和应用元数据[111;从数据仓库使CWM为数据仓库和商业智能(BD工具之间用和组织的角度分为管理元数据和用户元数据2共享元数据，制定了一整套关于语法和语义的规类等。不同的分类方案对于不同规模的项目和不同范。它主要包含以下4个方面的规范。①CWM元类型的公司的作用显然是不一样的。总而言之，对模型:描述数据仓库系统的模型;②CWMXML: 元数据进行分类是一件非常有意义的事情。这将有CWM元模型的XML表示;③CWMDTD:DW/ 助于加深对数据仓库中元数据的认识，更好地使用BI共享元数据的交换格式;④CWMIDL: DW/ 元数据。但是目前的元数据研究还不够深入，这些BI共享元数据的应用程序访问接口(APD。分类都还没有给出元数据的严密定义，其根本原因OMG称CWM标准是元数据标准中的里程J是缺乏对元数据概念内涵的深入研究。碑[12，CWM的业内支持者目前包括Oracle、IB-
28 武汉理工大学学报·信息与管理工程版2005年2月能多强或者多么健壮，都不能代替一个合理、一致仓储公共设施的元数据管理策略。(1)全局安全策略。由于元数据是一种具有高敏感性和战略价值的信息财富，必须包含一个全面的安全策略以保证元数据能够得到充分保护;(2)对所有元数据源和目标的确定机制。通常对象服务情况下软件组件在不同时刻，为不同目的承担不同的角色，元数据管理策略必须明确定义什么组件在图1OMG的元数据仓储体系结构什么时候承担什么角色，并且定义在数据仓库或者信息供应链的整个处理流程中与其他组件的协作;M、Unisys、NCR、Sun和Hyperion等厂商，它将(3)对所有元数据元素的确认机制。这通常可在数据抽取、变换、交流、加载、集成和数据仓库分以用某种惟一的标识符进行标记，同时还要定义析领域提供一系列的API、数据交换格式和其他在不需要惟一标识的情况下如何处理的策略;类型的多种服务。(4)对每个元数据元素语义的一致理解。软件2000年12月22~23日，美国奥兰多，6个主组件所用到的每一种元数据元素的语义必须存在要的OMG组织参加商(IBM, Unisys, 一致，这直接影响元数据的共享和重用;Hyperion, Oracle, SAS, Meta Integration )成功(5)每个元数据元素的所有权。必须确定哪些运用CWM进行信息共享。这是CWM具有生命个体或哪些组件是一个特定元数据元素的最终所力的重要试验。而且CWM已经被Java社团着手有者。要确保元数据的所有权最终属于元数据的扩展到J2EE体系结构当中，形成JMI(Java 主要项目相关人员(数据仓库最终用户或者顾Metadata Interchange)规范、用于OLAP分析的客)，而不是属于数据仓库的技术管理员或者开发JOLAP规范和用于数据挖掘的JDMAPI规范。者;可以预见OMG组织的CWM标准将会成为数据(6)共事和修改元数据元素的规则。提供一种仓库元数据领域事实上的标准，在元数据管理系机制使得只有一个具有足够的权限的用户可以检统的建立过程中应尽量参考这个标准。出、修改和检人一个惟一的元数据元素;(7)重新发布元数据元素的规则。不管现有的3 元数据管理的策略执行这些操作的技术能力如何，都必须为每一个受CWM是OMG采纳的一个使用共享元数据元数据变更影响的工具制定一个明确定义的策略;的集成数据仓库和业务分析工具的开放行业标(8)元数据元素的版本控制。必须为被管理的准。CWM提供了基于模型的元数据集成体系结元数据设立专门的版本控制规则;构所需要的，用于描述问题域的语义完整的公共(9)元数据元素的重用目标。元数据管理策略模型。如果构建数据仓库用到的各种软件产品、工应该通过整个元数据集成解决方案，来为语义等具、应用软件和数据库产品能就CWM元模型达效性和元数据元素重用的程度设立目标;成→致，它们就能理解CMW元模型的实例(模型(10)手工过程的消除机制和冗余元数据的消或者元数据)，因而可以很容易在各软件组件之间除机制。任何依赖人工干预的元数据集成解决方案交换元数据(共享的、重用的)，从前端的数据资对整个数据仓库的投资回报率都有一个动态的、负源，到转换和净化，到终端用户分析，再到数据仓面的影响，应该找出目前所有的手工过程并提出一库管理，都能用CWM的元模型来建立。CWM能个最终能够使得它们自动的计划。另外，必须尽量够处理基于模型的元数据集成的面向模型的所有消除元数据冗余以最大程度共享和重用元数据。方面，但是CWM并没有定义元数据管理的策略4 元数据体系结构和元数据集成的体系结构。要进行成功的元数据集成，必须建立一个一一个稳固的元数据体系结构必须具有集成致且合理的管理策略，由这个管理策略为目标环性、可扩展性、健壮性、可定制性和开放性等特征。境中的元数据集成、共享和重用制定目标和需求。集成性，即必须能够集成各种类型和来源的元数因为无论元数据集成工具及其相应的软件产品功据，并把得到的结果转换成有意义的、可访问的业
第27卷第1期王东龙等:数据仓库中元数据管理技术29 务元数据和技术元数据;可扩展性，即构造元数据仓储之后，它能够进行扩展并随时间变化而改进，否则这种仓储体系很快就会过时;健壮性，即必须有足够的功能和较高的性能来满足其所服务机构的要求，必须能够同时支持业务用户和技术用户的元数据报表和视图，并提供访问这些元数据的权限;可定制性，即如果公司使用元数据工具实现仓储体系结构，就需要定制工具来满足元数据项目当前和今后的特定要求;开放性，即元数据集成和访问的所用的技术必须是开放灵活的，否则避免不了对体系结构进行大规模的改动。以下简要介绍几个高级的元数据体系结构。图2支持CWM的点到点体系结构(1)支持CWM的点到点的体系结构。如图2所示，可以发现这种体系拓扑结构上类似于传统的集中式互连体系结构，但是这种结构的中心连接点更多是概念上而不是物理上存在的，却如同引入了一个物理上的逻辑中心点(即元数据中心存储库)一样，引入逻辑上的逻辑中心点同样有益。从接口和元模型映射的角度看，所有的工具都是通过一个逻辑上的CWM基础设施层集成的，大箭头表示CWM适配器模块，而不是与特定产品相关的元数据桥。例如ODS使用标准的CWM元数据接口为建模工具提供元数据，建模工具通过同样的标准接口为其他各类元数据消费者提供元数据。所有这些元数据都与这个单一的、公共的CWM元模型保持图3支持CWM的集中式体系结构一致。每个参与到体系结构的每一个工具只有一个公开的元模型(即CWM模型)。(2)支持CWM的集中式体系结构。从图3可以看出物理集中的体系结构和逻辑上集中的体系结构之间几乎没有差别。事实上，从基于一个公共元模型的标准元数据的接口的观点来看，两者之间并没有本质的区别。只是元数据流的源和目标不同，另外，接口也可能存在差异。该体系结构要求用于定义和组织各种元数据的模式以及元数据本身都保存在全局的元数据仓储中。(3)分散式的元数据体系结构。分散式元数据图4分散式元数据体系结构体系结构(如图。的目标是创建统一和一致的元模型，这种元模型要求定义和组织各种元数据的(4)双向元数据体系结构和闭环元数据体系模式存储在全局元数据仓储和本地仓储的共享元结构。双向元数据体系结构类似于集中式元数据数据元素中。不同仓储之间的元数据共享和重用体系结构，不同在于它允许工具之间共享元数据的所有元数据必须先经过全局仓储进行处理，但和允许企业在元数据仓储上进行全局性的改动并是共享和访问本地元数据则独立于全局元数据仓使整个组织感知这些变动。但是实现双向元数据储。全局元数据仓储存储的是本地元数据仓储中面临着3个显而易见的挑战:①要求元数据仓储的元数据的一个子集。这种体系结构适用于具有必须含有将被反馈到元数据源的最新版本;②需多种独立业务的公司。要系统化地跟踪和解决变动;③需要构建几组额
30 武汉理工大学学报·信息与管理工程版2005年2月数据[JJ.计算机工程与应用.2001(6) :94-96. 外的处理接口，把元数据仓储连接回元数据源。[2J 戴超凡，刘青宝.数据仓库中的元数据管理[JJ.计闭环元数据体系结构允许仓储把它的元数据算机工程与科学.(4):54-57. 反馈回公司的操作型系统，这里的概念与双向元[3J 胡颖峰，卢美莲.数据仓库中数据互通的研究[JJ.数据体系结构有些相似，但元数据仓储仅仅将信计算机应用研究.2002(2) :34-37. 息反馈给操作型系统而不是其他应用。闭环元数[4J 戴超凡，邓苏.基于GMM的数据仓库管理与维据体系结构提高了元数据项目设施的复杂性，要护[J].国防科技大学学报.(6):81-86. 使从仓储反馈到操作型系统的元数据也能保存在[5J 李道奇，马志军.数据仓库中元数据的研究与应用该操作型系统中，元数据必须包含元数据的最新[JJ.武汉理工大学学报.(7):76-78. 版本。另外，必须系统地跟踪元数据使用冲突，并[6J 吕波，王延章.数据仓库元数据的界定与分类构建程序接口将元数据仓储连接回操作型系统。[JJ.信息与控制.(6):499-507. [7J 曹到光，王申康.元数据管理策略比较研究[J].计上述2种结构虽然使用的公司相对较少，但算机应用.(2):3-5. 是这是元数据系统结构发展的大势所趋。[8J戴超凡，邓苏.开放信息模型研究[JJ.计算机工5结论程与应用.2001(1):14-16. [9J Sperley E.企业数据仓库规划[M].陈武，袁国忠元数据的管理和维护是数据仓库实现过程中译.北京2人民邮电出版社.2000.非常重要的一环，元数据就像一座桥梁，将数据仓[loJ Inmon W H.数据仓库[M].王志海，林友芳译.北库中的用户和使用者有机结合起来，它不仅在整京:机械工业出版社.2003.个数据仓库系统，而且在决策支持系统中都起着[l1J Dyche J. Data Warehouse Metadata and Midd-lew›非常重要的作用。are[J]. EAI Journal. 2000(9):71-76. [l2J 天极网.对象管理协会采纳"元模型"标准[DB/O-LJ. htm. 参考文献:[l3J Poole J. Chang D.公共仓库元模型[MJ.彭蓉，刘进译.北京:机械工业出版社.2004.[1J 廖弹，王立刚，刘文煌.构造数据仓库系统的元Metadata Management in Data Warehouses Wang Donglong, Chen Jian, Li Maoqing Abstract: Metadata is the core of realization and management in data warehouse and also the difficulty of building a data warehouse system. The definition. function and classification of metadata are introduced. The standardization of metadata in data warehouse is discussed. The metadata management strategy and metadata architecture are probed. Key words: data warehouse; metadata; OIM. CWM Wang Donglong: Postgraduate; School of Computer Science and Technology. Xiamen University. Xiamen 361005. China. 〔编辑:王志全〕
