数据中心建设概念解释
数据元
元数据
主数据
元数据管理
主数据管理
数据服务资源目录
目录
数据元
元数据
主数据
元数据管理
主数据管理
数据服务资源目录
目录
定义
•用一组属性描述定义、标识、表示和允许值的数据单元。
•通过定义、标识、表示以及允许值等一系列属性(元数据)描述的数据单元,被认定为是不
可再分的最小的数据单元。
•数据元一般来说由三部分组成:对象、特性、表示
举例
•“船舶种类代码”为数据元,“0205”为数据元的值,“船舶种类名称”为数据元,“集装
箱船”为数据元的值
•“船舶种类代码”中,“船舶”为对象词,“种类”是该数据元的特性词,“代码”是该数
据元的表示词。
•所建立的数据库中,数据(基本)表的字段名应能从数据元集中选取且具有唯一对应关系;
因此可理
解表的列字段即为数据元
数据元
数据元描述示例:船员登记号数据元
数据源特征 数据元属性 属性定义
分类编号
CY010100001:CY 01 0100 001
船员 基本信息 登记 登记号
数据库表中展示内容
标识符 CrewRegNum
数据元类型 字符型
数据格式 an9
值域
代码结构如 C+9位整数数字,C表示船员,
数字表示编号。
数据库表中不展示内容,
用于理解
数据元名称
船员登记号(“船员”是对象词,“登
记”是特性词、“号”是表示词)
英文名称 Crew Registration Number
中文全拼 chuan-yuan-deng-ji-hao
同义名词 船员编号
相关环境 适用于海事全系统
定义 船员的唯一识别号
数据库表中不展示内容,
用于管理
注册机构 海事局
提供者 部海事局船员处
源系统 船员管理系统
维护者 部海事局科技信息处
限制项
该类数据一旦定义后则不可更改,例外
情况:……(省略)
数据元集信息示例
中文名称
(简称)
标识符 英文名称 定义 对象类 特性 表示 格式
姓名名称
(姓名)
PAT00_100020 Person-name 由人的姓和名组成的字符串。 人 姓名 名称 A[A(29)]
性别代码 PAT00_100031 Person-sex,code男性与女性之间的生物学区分,用代
码表示。
人 性别 代码 N
年龄(岁) PAT00_100042 Person-age, years表示人的实际年龄(岁)。 人 年龄 物理量 N[N(2)].[N]
身份证件类别名称 PAT01_100024 Type of identify card
表示个人的身份证件类别,如居民身
份证、军官证、护照等。
人 件类别 名称 A[A(20)]
身份证件类别代码 PAT01_100025 Type of identify card,code 表示个人身份证件类别的代码。 人 件类别 代码 N
身份证件号码 PAT01_100026 Number of identify card 表示个人的身份证件的号码。 人 证件号码 识别号 N[N(18)]
籍贯名称
(籍贯)
PAT010101_100030 Person-native place 表示人的籍贯。 人 籍贯 名称 A[A(20)]
国籍代码 PAT010101_100051 Person-nationality, code 表示人的国籍代码。 人 国籍 代码 N(3)
民族代码 PAT010101_100052 Person-race, code表示人的民族代码。 人 民族 代码 NN
数据元
是不是和表结构有些类似呢!
数据元 数据元作用
数据元
元数据
主数据
元数据管理
主数据管理
数据服务资源目录
目录
定义
• 就是“描述数据的数据”或“关于数据的结构化数据”
• 哈佛大学数字图书馆项目定义: 元数据是帮助查找、存取、使用和管理信息资源
的信息。
• 是关于数据仓库的数据,指在数据仓库建设过程中所产生的有关数据源定义,
目标定义,转换规则等相关的关键数据。
• 描述数据的内容(what)、覆盖范围(where, when)、质量、管理方式、数据
的所有者(who)、数据的提供方式(how)等信息,是数据与数据用户之间的
桥梁;
举例
•一张表是船员基本信息:姓名、编号、培训班,另一张表存放船员的培训课程信息:课程编
号、名称、学分。
•姓名、编号、培训班、课程编号、学分都是数据元,但这些数据元有自己的元数据,即描述
数据,分别是长度、类型、值域等。
•对于船员基础信息表而言,姓名、编号、培训班是描述船员基础信息的数据,是它的元数据。
•对于船员培训信息表而言,课程编号、名称、学分是描述船员培训信息表的数据,是它的元
数据。
元数据
例子太
少啦!
数据是手提箱,而元数据是它上面的姓名标牌;
数据是文件夹,而元数据是夹子的标签;
数据是书的内容,元数据是书脊上的杜威十进制数码。
船员违法记分示例元数据
源系统名称 源系统IP 源系统数据库 源系统表名 源系统类型
船员管理系统 *.*.*.* sysbase TABLE_XXX 内部_核心
行政处罚系统 *.*.*.* sysbase TABLE_XXX 内部_核心
抽取方式 目标表 目标字段 源表 源字段 计算公式
ETL 目标_TABLE 目标_字段 源头_TABLE 源头_字段 源头_字段=源头_字段+目标_字段
WS 目标_TABLE 目标_字段 源头_TABLE 源头_字段 源头_字段=目标_字段
静态元数据
名称 描述 数据类型 关系 生成时间 索引
船员违法
记分信息
记录船员
违法记分
信息
数字型 空 2015/9/2 XXX
动态元数据
入库时间 更新周期 数据质量 统计信息 状态 存储位置 存储大小 引用处
2015/9/3 天 200条 30000条 正常
XXX库/源
头_TABLE
200M 船员主题
/违规违法/记分
信息
数据源方面
数据抽取转换方面
数据统计方面
我们将要在共享数
据库项目中面对的
元数据
元数据 元数据作用
数据描述:对信息对象的内容属性等的描述能力是元数据最基本的功能。
数据检索:
支持用户发现资源的能力即利用元数据来更好地组织信息对象建立它们之间
的关系为用户提供多层次多途径的检索体系从而有利于用户便捷快速地发现
其真正需要的信息资源
数据选择:
支持用户在不必浏览信息对象本身的情况下能够对信息对象有基本的了解和
认识从而决定对检出信息的取舍
数据定位:
提供信息资源本身的位置方面的信息如DOI URL URN 等信息由此可准确获知
信息对象之所在便于信息的获取
数据管理:
保存信息资源的加工存档结构使用管理等方面的相关信息以及权限管理版权
所有权使用权防伪措施电子水印电子签名等
数据评估:
保存资源被使用和被评价的相关信息通过对这些信息的统计分析方便资源的
建立与管理者更好地组织资源并在一定程度上帮助用户确定该信息资源在同
类资源中的重要性
数据元
元数据
主数据
元数据管理
主数据管理
数据服务资源目录
目录
主数据
定义
•指在整个企业/单位范围内各个系统间要共享的、高价值的核心业务实体数
据
•主数据是指具有广泛共享性的全局型数据。主数据的共享性由根据其数据
性质分为长期共享和定期共享。
举例
•海事基础数据:船员基本信息、船员证书信息等
•海事动态数据:船员服务资历信息、船员培训信息、船员记分信息等
•海事位置数据:船舶当前位置信息
海事主数据定义示例主数据
数据元
元数据
主数据
元数据管理
主数据管理
数据服务资源目录
目录
元数据管理 元数据管理的建设目标
建立数据仓库系统元模型,规
范数据处理过程的结构化描述,
实现不同来源数据的元数据统
一维护管理
实现数据仓库系统各层之间元
数据定义与互通,促进数据处
理过程规范化
实现数据抽取、加载、加工、
调度的元数据管理,扩充元数
据服务接口
提供完善的元数据管理维护机
制,适应各业务系统频繁改造
元数据管理为数据质量管理
提供基础支撑,促进数据质
量标准管理
元数据管理 元数据管理的范围
技术元数据
•描述系统中技术领域相关概念、关系和规则的数据,主要包括
对数据结构、数据处理方面的特征描述,覆盖系统数据源接口、
数据仓库与数据集市存储、ETL、OLAP、数据封装和前端展现等
全部数据处理环节
业务元数据
•描述系统中业务领域相关概念、关系和规则的数据,主要包括
业务术语、信息分类、指标定义和业务规则等信息
管理元数据
•描述系统中管理领域相关概念、关系和规则的数据,主要包括
人员角色、岗位职责和管理流程等信息
元数据管理 元数据管理的功能点
应用层
对元数据管理的实际问题提供应用解决方
案,主要包括指标库管理、业务术语自助
学习、维表库管理、接口管理、数据仓库
软件各层元数据互通、辅助应用优化、辅
助安全管理、基于元数据的开发管理和数
据质量管理等。
功能层
元数据功能层为前端元数据应用提供了基
本的功能支撑,主要包括元数据基本功能、
元数据分析功能、元数据质量管理、元数
据服务接口和元数据权限管理五个部分。
存储层
定义了元数据存储所遵循的元模型,规范
从获取层得到的各类元数据的属性要求和
存储格式要求,包括业务元数据、技术元
数据和管理元数据。
获取层
于整个体系架构的最底层,元数据获取层
抽象概括了元数据获取的各种途径。业务
和管理元数据通常以手工方式获取,技术
元数据覆盖数据源系统以及数据仓库系统
数据的整个生命周期,要求以自动方式获
取,如数据字典和数据模型等。
数据元
元数据
主数据
元数据管理
主数据管理
数据服务资源目录
目录
主数据管理 主数据管理的建设目标
明确的主数据管理流程
主数据管理目标
完善的主数据系统功能
清晰的主数据管理范畴
弹性的主数据系统架构
通畅的系统间交互接口
良好的系统主数据质量
主数据管理 主数据管理的范围
高质量
标准化
主数据
数据
治理
数据
共享
数据
质量
数据
集成
主数据管理 主流MDM产品对比
厂商 企业数据类型 MDM产品 支持SOA 支持的业务实体 实施成本
SAP 主数据、业务数据(交易数据) SAP MDM 是 SAP的所有业备实体 最高
Oracle 主数据、元数据、交易数据、计费数据 销售数据、库存数据等
0racle MDM&OSB 或 0racle
MDM&0DI Suite& OWB&Metadata
Management 0SB
是
三类业务实体中心
(Hub)客户、产品、位
置 类似于IBM 的领域
中等
Microsoft 主数据、元数据、分级数据、非结构化数据、交易数据 Master Data Service(MDS) 是
未指定 任意实体和层
级
最低
IBM 主数据、元数据 变易数据、分析数据 InfoSphere MDM server 是
四个领域(Domain)的
业务实体:参与人、
产品、账卢、位置
中等
甲
骨
文
主
数
据
管
理
功
能
列
表
数据元
元数据
主数据
元数据管理
主数据管理
数据服务资源目录
目录
资源目录 资源目录要解决的问题
信息从哪里来?
需要的信息在哪里?
信息到哪里去?
在哪里使用?
通过什么使用?
谁提供?
谁加工?
谁使用?
什么时间可以使用?
什么时间可以提供?
什么时间用的?
有什么资源?
资源的内容是什么?
如何发布?
如何查找?
如何呈现?
如何使用?
如何管理?
业务流程示意图资源目录
业务系统机构 业务系统 业务系统
1 资源编目
资源目录管理机构
2 注册
3 审核维护
4 发布
5 查询
6 发现
7 获取 资源服务
业务系统 业务系统
资源目录功能点资源目录