大型企业数据架构设计
总体规划方案
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
目录
Contentsontents
1.数据架构设计的思路
2.数据资源总体规划
3.基础数据管理
4.数据分析与数据应用
5.数据治理与管控
6.项目实施计划建议
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
数据架构与管理工作总体来说还处于空白,是信息化相关工作中最为薄弱的
一环
在信息化现状评估中发现,企业统一数据模型缺乏、数据分析应用体系不健全、主数据管理体系不
健全、数据治理体系不完善是数据架构中存在的最大问题。
数据架构
数据管控
数据管理组织
数据资源规划
数据建模 数据分布
基础数据管理
主数据管理 元数据管理
数据分析应用
分析指标 数据仓库 分析决策
数据管理流程 数据管理工具
数据资源规划:
没有进行集团级数据架构设计。缺乏全局性数据实体一致性管控,没进行
实体间的CRUD分布分析;
没有建立数据管控和治理机制,缺乏数据架构管控的组织、制度和流程。
22
数据基础资源管理:
缺乏标准的主数据分类和管理制度、管理组织和管理工具;
元数据平台并未有效使用,缺失对元数据的维护,尚未制定完善的元数据
管理流程和制度。
33
数据分析应用:
未建立全面的企业级数据分析应用体系,曾经规划过集团级集成数据仓库
及经营分析平台建设,但因IT建设成熟度不够,该项工作尚未启动。
44
数据管控:
未形成统一的数据治理机制和专门的数据治理组织;
尚未建立相对完整和统一的数据标准,缺乏有效的途径贯彻执行数据政策
和数据标准,同时对数据政策和标准的执行缺乏有效的监控和审计手段;
缺乏数据质量监控和考核机制,质量管理没有形成PDCA闭环,数据质量
的问题无法从根本上得以解决;
未形成完善的数据生命理、考核机制。
11
数据管理绩效考核体系
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
的数据应用与管理现状与企业战略的管理需求不匹配,未来需要进行企业级
的数据整合和数据管控体系建设
4
分散、不一致的数据
不规范的数据架构,
无企业级的数据整合
初步建立数据架构体系,但架构不规
范,难以持续改进;
初步建立企业数据模型,但覆盖范围
不完整、难以保证企业一致性;
建立不同程度的数据管控组织、标准
和流程,但组织职责、标准覆盖范围
和流程执行存在不足;
未建立或初步建立企业数据仓库,但
数据范围不全面、分析模型不健全、
缺乏数据挖掘能力
未建立统一的数据架构与数据模型;
业务系统之间的数据缺乏统一的标准、难
以整合;
未建立数据管控体系,以业务系统为数据
管理手段;
以业务系统为基础实现数据的基本查询。
将数据架构作为企业架构资产中的一
部分进行统一管理,建立持续改进的
数据架构体系;
建立统一的企业数据模型,实现概念
模型、逻辑模型与物理模型的统一管
理;
具备完善的数据管控体系,建立职责
清晰的管控组织、标准规范和管理流
程,并使用专业的系统工具进行支撑
建立企业统一的数据分析应用体系,
能够快速、灵活的进行数据分析应用
的开发与部署。
企业级的数据整合与分析应用
未来发展方向
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
本次数据架构设计目标是,明确数据分布和流向,定义数据模型,配套数据
基础资源管理,规划数据分析服务管理,完善数据治理体系
5
数据架构 本次数据架构,以数据管理与架构框架为基础,结合企业特点,定义数据架构的基本
范围和总体结构,规划总体数据架构
概述
主数据体系工作内容:定义主数据分类、分布和管理策略,明确建设统一主数据体系的实施路径与
路线图
元数据管理平台工作内容:明确元数据管理的内容与平台设计,明确元数据管理所应具备的功能与
业务组件
基础数据管
理
>
数据治理体
系管理
数据治理体系工作内容:根据数据治理现状和未来对数据治理的要求,从数据标准、数据质量和
数据安全三个要素出发,明确数据治理体系所应该包含的组织、流程、工具,以及业务与考核四个
功能域的具体内容
>
数据分布及数据流向工作内容:从业务能力蓝图和应用架构蓝图着手,结合应用系统现状,描绘
出数据主题域,并明确主题域中数据在各业务以及组织机构中的数据分布及流向(CRUD分析)
数据资源规
划
>
数据分析服
务管理
数据集成与数据分析工作 内容:结合数据模型的设计,设计符合企业特点的数据分析服务体系,
构建数据分析系统
>
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
在制定数据架构规划目标时,将综合考虑总体业务蓝图和应用蓝图规划,并
以技术蓝图为参考依据,明确数据架构各项内容的规划目标
6
业
务
蓝
图
应
用
蓝
图
技
术
蓝
图
数据架构
数据结构
管理
基础数据
管理
数据分析
服务管理
数据治理
体系管理
应应用需求用需求
技技术术要求要求
业务业务需求需求 数据
结构
管理
意义
梳理数据模型,是信息化支撑战
略的基础
明确数据分布(CRUD),是数
据规划设计的基础
数据
基础
资源
管理
意义
定义主数据管理体系,是统一
数据口径,提升数据整合能力的
基础
定义元数据管理体系,是对数
据资产进行统一管理的基础
数据
分析
服务
管理
意义
规划数据仓库,是实施数据资
产管理应用核心平台的准备
规划数据资源管理分析体系,
是对数据资产具体应用的前提
数据
治理
体系
管理
意义
规划数据治理体系,是确保数据
应用的机制保障
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
按照的数据架构规划实施方法论,在明确架构目标的前提下,制定数据架构
的实施流程
设计实施路径
明确数据
分布
定义
数据模型
规划数据分析技
术体系
设计数据
治理体系
梳理主要的数
据资源,并根
据业务能力框
架、业务集成
关系等明确数
据的分布
(CRUD)
考虑各事业
部的差异,优
先梳理共性数
据资源
总体数据模型
数据分布
(CRUD)
基于数据分布,
结合业务蓝图,
并参考应用蓝
图,分析并定
义数据模型
考虑业务模
式,参考业务
蓝图及流程分
析成果
数据分析概念
模型示例
设计基础
数据管理
设计主数据和
元数据的管理
体系
考虑全集团对
主数据和元数
据的统一管理
需求和能力
主数据管理体
系与系统方案;
元数据管理方
案和系统
设计数据分析
系统的技术框
架,融入大数
据技术进行技
术框架设计
考虑数据在
总部与事业部
的分布
考虑数据分
析服务的需求
数据分析系统
技术框架
设计支撑数据
应用的治理体
系,包含组织、
KPI、流程等
考虑现有业
务和IT组织架
构
综合考虑人
员、流程和技
术等现实要素
数据治理体系,
包含数据管理
组织、KPI、流
程等
对数据架构的
实施项目、建
议时间等给出
建议和项目实
施路线图
工
作
内
容
考
虑
因
素
工
作
成
果
数据架构类项
目实施规划、
投资估算、项
目卡片等
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
目录
Contentsontents
1.数据架构设计的思路
2.数据资源总体规划
3.基础数据管理
4.数据分析与数据应用
5.数据治理与管控
6.项目实施计划建议
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
数据资源规划是信息化规划的内容之一,但要获得更加详细的数据管理体系,
需要进一步进行细化设计
9
战略规划
&管理提升
制定IT战略和
管理提升方案
信息化
总体规划
界定数据资源
规划目标、范
围和总体框架
• 数据&信息应用现状评估
• 企业战略和业务能力理解
• 数据资源优先级界定
• 数据资源应用方案规划
• 信息管理提升实施路线
• 后续任务
战略规划
&管理提升
信息化
总体规划
数据资源规划
(IRP)
主导:财务管理部门
配合:信息管理部门
主导:IT部门
配合:各业务部门
主导:数据管理部门
配合:各业务部门
信息化总体规
划是企业战略
规划&管理提
升成果的
分解和支撑
数据资源规划
数据资源规
划是信息化
总体规划的
延伸和细化
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
数据资源规划的主要任务是梳理企业级的数据模型
10
业务战略
IT现状
企业级
概念数据模型
企业级
逻辑数据模型
系统概念数据模型
系统逻辑数据模型
系统物理数据模型
业务需求
技术方案
企业级
系统级
遵照
参考
细化/基于
细化/基于
项目实施
数据仓库项目综合统计分析系统建设 主数据管理优化
系统优化和数据迁移系统数据设计
参考/指导
最佳实践
系统现状
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
数据资源规划的方法与过程
11
根据企业IT战略和对
各业务系统调研结
果,列出核心数据,
描述核心数据的主
要信息内容;
数据架构
系统架构
描述企业数据模型
在企业IT系统如何分
布(CRUD)。通过
了解数据分布可以
清楚定义企业数据
在IT系统中是如何产
生和使用
参考最佳实践对企
业数据做统一分类
规划,企业数据执
行同一个数据分类
标准
描述核心数据在企
业IT系统中流向轨迹,
反映数据在整个生
命程中的变化过程
以及系统之间数据
接口情况
描述数据架构所需
的技术架构,针对
不同类型数据流转
的特点,设计不同
的技术解决方案
描述
示例
输入
数据架构技术平台数据流向数据分布规划数据主题域划分数据梳理
应用架构
输入
业务能力与流程
输入
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
业务能力模型是数据资源规划的主要依据,要从业务领域出发梳理核心的数
据(造纸)
12
战略
决策
运营
管理
服务
支撑
企业战略规划
战略规划 投资组合管理
供应链计划 需求计划制定
共享服务
供应及库存计划 供需平衡管理 主计划制定 生产排程制定
财务管理 流程及信息化管理人力资源管理
生产管理
寻源与品类管理
事务性采购执行
供应商关系管理
MRO库存管理
产能拓展
质量管理
生产设备管理
供应链网络战略
仓储及成品库存规
划和管理
物流计划和管理
研发设计
制浆
造纸
产品规划
产品开发
研发协同
管理
市场洞察
营销和客户策略
销售管理
定价及合同管理
客户服务管理
寻源采购
物流库存 市场销售
内控及风险管理
电子商务管理
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
基于业务能力蓝图梳理的关键数据资源视图(造纸)
供应链计划
研发设计
寻源采购
生产管理
物流库存
市场销售
财务管理
人力资源管理
市场趋势预测、需求计划、供应计划、供需协调计划、获利能力分析、主生产计划、物料需求计划、生产
计划、物流计划、机台计划、排刀计划、采购计划、收货计划。
研发资源、研发战略、研发需求、研发年度计划、产品需求、产品项目规划设计、产品研发BOM、成本分
析报告、工艺卡片、变更后工艺卡片、专利申请表、专利估值报告、专利利用记录、专利保护信息。
物料主数据、采购价格、供应商基础数据、供应商绩效评价信息、采购申请、采购计划、采购需求、采购
策略执行结果、采购订单、送货通知、采购质量检验数据、采购入库信息、采购成本预测、采购成本分析。
生产计划、物料需求计划、生成订单、生成领料、原料库存、料单调整、工艺路线、产量工时、能源用量、
产品入库单、订单关闭信息、原料库存、成品相关参数信息、排刀优化组合数据、产品信息。
入库信息、库存盘点、调拨单、物料主数据、仓位主数据、库存时间、转储数据、出库信息、运输计划、
路线数据、承运商信息、承运商协议、到货单、运输费用结算/开票。
市场行情信息、竞争对手某省市场及客户策略、产品策略、价格策略、销售组织、销售区域、营销政策、
销售线索、销售数据、汇款数据、销售定价、销售合同、销售价、基本价、促销价、销售订单、对账信息、
订单状态、销售票据、产品信息、客户投诉、客户索赔、客户满意度。
银行管理、资金收付、资金计划、资金风险、税务筹划、战略规划、税务计划、组织绩效目标、投资计划、
投资项目信息、费用报销、会计科目、单体报表、总账数据、应收数据、应付数据、固定资产、成本数据、
计划和预算、资金支付计划、融资计划、纠偏计划、经营决策分析、绩效考核。
人力资源规划、人员编制、考勤信息、员工档案、劳动合同、员工沟通、员工申诉、员工个性信息、薪酬
福利信息、人才配置计划、人才配置结果、招聘信息、招聘结果、组织结构、岗位管理 、职位管理、职
业发展规划、人才匹配结果、能力评估结果、人员基本信息、绩效考核结果、人力成本。
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
对这些数据实体进行汇总、归类,定义企业级的数据模型(示例)
14
示
例
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
关键数据资源之间的交互与集成关系分析(示例)
15
示
例
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
数据架构原则一:单一和可信的数据源
16
原则描述 原则含义
每一数据必须定义唯一的数据源,
以保证跨流程/跨系统的信息的
唯一性和一致性
• 确保数据源的数据及时、准确、唯一、完整
• 系统必须从数据源获取数据,确保数据准确性和一致
性
• 数据的所有拷贝都是只读的
• 不能在报告系统中改变交,必须回归到交中进行数据
更改
a)明确数据使用者、管理者的权限
b)明确数据的CRUD关系
落地
举措
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
关键数据资源与组织部门/信息系统的CRUD矩阵分析(示例)
17
竞
争
对
手
信
息
市
场
趋
势
信
息
产
品
策
略
销
售
策
略
市
场
策
略
销
售
组
织
销
售
区
域
销
售
线
索
销
售
合
同
销
售
定
价
销
售
订
单
对
账
信
息
订
单
状
态
销
售
票
据
客
户
投
诉
客
户
索
赔
客
户
满
意
度
销
售
策
略
产
品
策
略
汇
款
数
据
组
织
部
门
部门1 CRUD R R R R R R R R R R R R - - - - R - CRUD
部门2 R R R R CRUD R R R R R - R - - - R - R - CRUD
信
息
系
统
系统1 R - R R R R - - - - - - - - R - - - - -
系统2 R R R R R R R R R R R R R R R R R R R CRUD
C—创建、R—读取、 U—更新、 D—删除
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
目录
Contentsontents
1.数据架构设计的思路
2.数据资源总体规划
3.基础数据管理
4.数据分析与数据应用
5.数据治理与管控
6.项目实施计划建议
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
数据按照性质可以分为基础数据、交和分析数据,做好基础数据的管理是数
据架构优化的关键
19
主数据
技
术
元
数
据
元数据
关系
层次结构
主数
据
物流 产品 客户
业
务
元
数
据
业
务
规
划
事务数据 统计分析数据
汇总数据 分析数据
运输 交易
交互
库存分析
销量分析
销售额汇总
生产
状态
成本分析
销量汇总
实时(状态)数据 非实时(结果)数据
账务 计划结算
产量
时段
预警
调度
到货
在途
订单
记录
控制
账单
金额
交
凭证
应收
应付
计划
费用
资金
利润分析
驱动
←
支持
→
会计科目人资
分类 层级 归属 口径
人员 组织 科目 库房 车辆 纸 包装 零售户
日
常
业
务
操
作
指
导↓
采
集↑
申请↓ 发布↑
指
导↓
采
集↑
支持
←
产生
→
支持
←
产生
→
产量
管理费用
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
统一进行主数据规划、标准和管理平台是主数据管理和信息化建设的必然要
求
20
统一、集中、标准化的主数据体系:
是提升数据质量的基础
是统一数据口径的基础
是业务应用集成的基础
是加强数据管控的要求
主数据管理原则
统一主数据规划
总部统一进行主数据规划,明确共性化主数据和企业个性化主数据内容
下属单位依照主数据规划拓展制定企业主数据规划
统一主数据标准
总部统一制定主数据的编制标准
总部统一编制集团共性主数据
下属单位依据主数据的编制标准编制企业个性化主数据
统一主数据管理平台
总部建设主数据管理主平台
总部统一维护并发布共性主数据
下属单位建设主数据管理分平台,接收主平台的共性主数据
统一主数据管理
总部建设主数据管理组织,统一领导全集团的主数据管理
下属单位在总部领导下进行企业主数据管理
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
数据管理框架应从质量、标准、安全、流程、架构和组织六个方面对主数据
进行全面管理
21
统一规划、统
一标准、统一
管理方法的
主数据体系
主数据管理框架
人
资
产
品
物
料
渠
道
物
流
设
备
财
务
项
目
物
料
主数
据主
题域
技术架构 数据分布 数据集成 数据模型 主数据库流程引擎
数据标准管理 数据质量管理 数据安全管理
业务标准 技术标准
真
实
性
一
致
性
安全等级 安全授权
完
整
性
及
时
性
组 织
制度与流程
主数据所有人 主数据认责人 主数据提报人主数据管理小组
职责分工 管理制度 管理细则
供
应
商
客
户
物
资
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
根据主数据实施方法论,主数据建设可分成如下四个阶段
22
第二阶段
建设主数据管理平台
建设主数据管理平台,
为主数据管理提供统
一的管理工具和平台
第一阶段
实施主数据规划
总部主导全集团主数
据规划
总部统一建立主数据
管理组织
同步制定主数据标准
和主数据管理规范、
流程、制度
健全主数据治理体系
逐步 建全完善的主
数据治理体系
第四阶段
标志成果
第三阶段
改造企业主数据
逐个对业务系统进行
主数据标准化改造
统一主数据架构规划
统一主数据管理组织
统一主数据标准体系
统一主数据管理平台 主数据标准在企业的统一应用 统一主数据治理体系
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
主数据管理的第一步是要梳理有哪些主数据。判断一个数据是否是主数据可
以从四个方面进行
23
主数据判断标准 解释
特征一致性
主数据的特征经常被用作业务流程的判断条件和分析的具体维度,因此主数据在不同应用、
不同层次重要保持特征的一致性。
识别唯一性
主数据作为不同业务部门之间的共享数据,要求具有唯一的识别标志(编码、名称、特征描
述等)。
交性 主数据的变化主要依赖于业务实体自身属性变化,不依赖于业务操作,而业务数据则不然。
长期有效性
通常主数据会在长时间内被使用,它的生命长,因此数据元素的生命以用来作为判定它是否
是主数据的标准之一。
序号 数据名称 特征一致性 识别唯一性 长期有效性 交性 是否主数据
1 客户数据 符合 符合 符合 符合 是
2 人员数据 符合 符合 符合 符合 是
3 订单数据 符合 符合 不符合 不符合 否
4 工程合约 符合 符合 符合 不符合 否
5 投资合约 符合 符合 符合 不符合 否
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
常见的主数据类型和内容
24
类型 主数据内容 非主数据内容
供应商、客户相关数
据
基本信息,如供应商 编码、名称、地址、
开户行等
投标报价、合同金额、供货记录、购货记
录、成交数量等
物资相关数据
物资分类信息,如类别编码、类别名称;
物资基本信息,如物料编码、名称、规
格编号、计量单位等
按照物资类别统计的收发存数量,物资的
历史成交价,物资的库存数量等
财务相关数据
会计科目的基本信息,如科目的编码、
科目名称等
科目余额、科目的接待金额等
设备相关数据
设备分类,如类别编码、类别名称;设
备的基本信息,如设备编码、名称、规
格、位置等
设备运行维护记录、设备停机记录、设备
维护运行参数等
组织机构、员工相关
数据
组织机构基本信息,如编码、名称、分
类等;员工基本信息,如编码、名称、
所属单位、部门等
组织机构的费用统计,组织机构资产统计,
员工绩效数据,员工薪酬数据等
项目相关数据
基本信息,如项目编号、项目名称、项
目类型等
项目费用统计、项目成本、进度等
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
其次要对梳理出的主数据进行优先级排序,重点解决优先级比较高的主数据
业务影响程度
数据共享程度
主数据重要程度分析
主数据管理成熟度
实施优先级
3. 6个系统以上
2. 3-6系统
个系统以下
3.总部和下属单位共用
2.总部系统使用
1.下属单位自用
a.非常重要
b.中等重要
c.一般
主数据统一难
主数据管控难析
3.统一较容易
2.统一难度适中
1.统一难,量大
a.管控容易
b.管控中等
c.管控较难
主数据需求迫切程度
3.非常迫切
2.中等迫切
1.一般迫切
3.已具备集中数据管理
2.部分具备
1.分散管理
主数据重要程度分析
全局、不重要部分、不重
要
全局、重要部分、重要
H
H
L
数据共享程度
业
务
影
响
程
度
1
主数据重
要程度
主数据管控
难
主数据需
求迫切度
实施优
先级
3 2 1 6
2 3 2 12
1 1 3 3
1 2 3 6
2 1 3 6
3
主数据管控难析
L H
H主
数
据
管
理
成
熟
度
主数据统一难
三级
2
一级
二级
二级
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
对主数据也要进行CRUD分析,确定主数据的归属关系
26
业务系统
主数据
CRM CSF SAP OA DW HR Core ... ...
医院 R CRUD R R R
病人 CRUD R R
药品 R CRUD R R
政府 R R R R R R
产品 R R CRUD R R R
渠道 CRUD R
组织 R R
员工 R R R RU R CRU
供应商 CRUD R
示
例
以CRUD矩阵作为数据规划工作的示例:
主数据CRUD矩阵是数据规划环节的一项重要工作,它描述了主数据在不同系统间
的创建,修改,读取,删除关系。
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
对梳理出来的主数据制定全集团统一的数据标准
27
数据标准
数据标准管理将从企业数据共享的角度为数据制定统一的业务解释和标准。同时为
数据标准内容与维护制定一套流程,推进企业数据的标准化与一致性
数据标准制定
管理涉及数据对象:
物料,设备,供应商,客户等
数据标准内容维护
制定数据的业务与技术标准(如设备的
属性、设备的属性)
梳理企业数据并整合生成标准(如梳理
各单位分类体系,制定统一的体系)
日常对数据标准内容(如设备编码的
维护,包括:增加、删除与修改)
关键成果
管理任务
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
制定全集团统一的主数据质量管理要求,确保主数据的质量符合要求
28
从业务应用对数据的质量要求出发,制定一套可管理的数据质量评价方法和评价指
标,将质量管理落实到数据整个加工处理过程中,保证满足业务对数据质量的要求
数据质量要求
质量要求制定 质量评价指标制定
制定船舶主数据的
质量要求。如完整
性要求、及时性要
求、准确性要求和
一致性要求
质量评价分为对数据本身
质量的评价和对数据上
报部门所涉数据质量的
评价
评价指标制定包括完整性
评分方法、及时性评分
方法、准确性评分方法
和一致性评分方法
数据质量评价指标
数据质量考核
根据质量要求和评价
指标对数据定期产生
评分结果
对数据的产生部门进
行考核
数据质量改进策略
提出生产运营过程中
数据质量问题并提出
相应改进意见
数据质量改进报告 质量评价结果关键
成果
管理
任务
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
制定全集团统一的数据安全管理规范,确保主数据的安全、可靠
29
数据安全分级清单
数据安全分级
管理涉及数据对象:
数据访问权限
数据访问授权
根据数据的敏感度和管理要求,将数据
进行分级管理
可分成“共享”,“需要数据管理岗位
经理审批”,“需要数据标准化指导委
员会审批”三个级别
数据访问授权清单
根据公司管理要求和数据敏感性要求,对数据制定一套合理、科学的安全分类标准,
并根据这套数据安全分类标准建立一套面向的数据使用授权机制
申请数据访问授权
关键成果
管理任务
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
主数据管理存在四种不同管理模式
分析型MDM 操作型MDM
分析系统
合并模式
生产系统
非实时更新
注册模式
生产系统
实时更新
分析系统
共存模式
生产系统
准实时更新
分析系统
事务模式
分析系统
生产系统
实时更新
合并模式:在分析系统中进行数据
整理与合并,存储一个完整的主数
据物理视图,主数据更新主要采
用准实时的事后更新方式。主数
据主要是为了支撑统计和分析等
应用。
注册模式:在主数据管理解决方案
中,仅搭建一个主数据的框架结构,
其中的实体数据都是直接链接或映
射到各个数据来源系统。
共存模式:主数据管理解决
方案构建在前端操作型应用
系统中, MDM系统通过准实
时的事后更新方式,不负责
分发和修改。
事务模式: 主数据管理解决
方案构建在前端操作型应用系
统中, 并存储完整的主数据
物理视图。主数据的更新采用
的是实时的事务更新方式。
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
注册模式的原理及适用场景
31
由业务系统进行主数据的创建、更新、删除等操作
MDM仅保存主数据的引用地址。当需要读取MDM上的主数据时,MDM根据引用地址从各业
务系统中获取数据
业务系统n
ID …………………………
…
ID …………………………
…
ID …………………………
…
ID
ID
ID
MDM
只读视图
业务系统2
业务系统1
注册模式
主数据维护
适合场景:
主要问题在于数据不一致,
如“员工”、“组织”主
数据。
不适合场景:
分散存储的数据,需要将
相关的数据片段整合成一
个完整的数据视图。
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
共存模式的原理及适用场景
32
MDM
不可修改视图
主数据维护
准实时同步
准实时同步
准实
时同
步
………
……………………
ID
业务系统1
……
…
……
……
…………
ID
业务系统2
……
……
……
……
ID
…
…
………………………
ID
……
…
业务系统n
……
……
……
……
ID
…
…
…
……
……
…………
ID
……
…
共存模式
适合场景:
大部分的与主数据相关的
业务逻辑都在业务系统里,
剥离出来成本很高,如项
目管理系统中的“项目”
主数据。
不适合场景:
原业务系统中的数据存在
大量的数据质量问题,如
不准确,不完整等。
主数据依旧在各业务系统进行创建、更新、修改与删除,采用定期抽取的方式增量同步至主
数据治理平台
MDM保存主数据的准实时副本,不允改
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
事物模式的原理及适用场景
33
业务系统n
MDM
可修改视图
业务系统2
业务系统1
主数据维护
更新修改
初次抽取
更新同步
初次抽取
更新
同步
初次
抽取
………
……………………
ID
……
…
……
……
…………
ID
……
……
……
……
ID
…
…
………………………
ID
……
…
……
……
……
……
ID
…
…
…
……
……
…………
ID
……
…
事务模式
适合场景:
原业务系统中的数据存在大量
的数据质量问题,如不准确,
不完整等
分散存储的数据,需要将相关
的数据片段整合成一个完整的
数据视图,如“供应商”主数
据,“物料”主数据
不适合场景:
大部分的与主数据相关的业务逻
辑都在业务系统里,剥离出来成
本很高。
从业务系统初次抽取主数据到统一的后,由主数据治理平台进行主数据的创建、更新、删除
等操作。
以后每次主数据更新后,由主数据治理平台主动推送或业务系统订阅等方式同步主数据的更
新至业务系统
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
主数据管理系统对交的数据一致性和分析系统的数据标准化都具有重要作用
34
统一主数据提供
数据分析师
数据加工与挖掘
(Data Mining)
某省市(Data Mart)和数据仓
库(Data Warehouse )
BI 报表及分析报告:
通过集成的平台提供
准确的BI分析数据
IT核心基础架
构、数据入口
标准
准确
实时
关键基础
主数据管
理系统
HR CRM PLM ERP SRM
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
建设全集团统一的主数据管理平台,对主数据进行统一管理
35
主数据分布:主数据分布在各个应用系统中
主数据标准:主数据标准没有形成,不同的系
统使用不同的标准
数据口径无法统一,数据集成和数据分析能力
受制约,主数据管理能力无法满足未来业务需
求
主数据现状
ERP
某著名企业ERP
SAP ERP
CRM
SRM
…
主数据分布:集团统一实行主数据规划,明确
主数据分布与建设方式。集文化建设设集团主
数据管理平台,统一管理集团主数据
主数据标准:制定统一的主数据标准,满足集
团和企业的需求
统一规划:明确分布与建设方式
统一标准:统一数据口径
主数据建设目标
统一规划,统一标准
统一平台,统一管理
总总
部部
事
业
部
集团统一
部署
财
务
应
用
经
营
管
理
决
策
企业应用
集团应用
专卖
OA
经济运行分析
MES
ERP
CRM…
主
数
据
建设集团主数据管理平台
制定集团主数据标准
板块可以根据各性
化需求,在集团主
数据标准的基础上
进行扩展和完善
集团主数
据发展的
目标
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
在集团总部构建全集团统一的主数据管理系统,对主数据进行统一管控
财经类系统
预算 费用
资金 ……
集团主数
据所有人
新编码请求 审批/维护
集团分析平台
BI/DW
大数据
HR类系统
核心HR 人才管理
portal ……
供应链类系统
SRM SCP
TMS
集团主数
据使用者
主数据
所有人
主数据
使用者
主数据
所有人
主数据
使用者
主数据
所有人
主数据
使用者
数
据
传
输
网
络
集团主数据
管理平台
数
据
传
输
网
络
造纸事业部 包装事业部
业务系统
EAM MES
CRM ……
业务系统
EAM MES
EMS ……
废纸事业部
业务系统
ERP TMS
CRM ……
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
主数据管理系统功能框架
37
目标系统A
数据
架构
数据模型工具
E
T
L
E
A
I
-
E
S
B
-
S
O
A
业务
规则
源系统 目标系统
主数据
主数据管理数据获取 数据发布
数据质量
手工处理
文件导入
标准模
板文件
主数据库
•主数据
•元数据
•参考数据
应用接口
目标系统B
源系统A
源系统B
……
源系统A
E
T
L
E
A
I
-
E
S
B
-
S
O
A
质量
分析
质量
匹配
清洗/
调整
质量
控制
风险与安全管理工具
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
主数据管理的主要流程与关键控制节点
38
流程名称 主要输入 主要活动 主要输出 控制点 备注
1. 变更管理 •变更申请
•变更内容
•变更相关业务
场景
• 申请评估
• 申请文档化
•变更方案
•变更业务流程设计
• 方案实施
•实施效果评估
•验收及发布
• 申请评估结果
•变更方案
•实施评估结果
• 影响性分析结果
•变更结果
• 影响性分析
•紧急性分析
• 方案实施范围
• 申请审核
• 方案审核
•实施效果审核
注1:变更包括
• 主数据系统的需求变
更或新增需求
• 主数据治理流程变更
• 主数据模型调整
• 主数据标准变更
• 元数据调整
• 源系统数据库变更
2.问题处理 •问题
•问题内容
•问题相关业务
场景
•问题验证
•问题根源分析
•问题处理方案设计
• 系统/接口风险评估
•创建问题监控策略
• 方案试实施
• 方案试运行评估
•问题根源
•问题处理方案
•问题监控策略
•质量控制策略
• 影响性分析结果
•质量优化建议或流
程优化建议或模型
变更建议
•问题升级
• 影响性分析
•问题监控策略审
核
• 方案实施范围
•问题优先级
• 方案审核
• 方案试运行审核
注1:问题包括主数据
同步失败、主数据更
新影响业务、数据严
重错误等通过普通运
维不能简单解决,或
重复出现的问题。
3. 质量控制 •质量优化建议
或质量分析结
果
•问题或事件
•质量计划
•质量审计
•质量分析
•质量监控
•质量报告发布
•质量分析结果
•质量日志
•质量报告
•质量审计
•质量评审
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
主数据变更管理参考流程
39
BU(事业部/工厂/公司)提出变更申
请,并详细描述变更的业务场景和必
要性
集团数据管理组织审核变更需求,并
提供相关的技术方案和实施方案
根据变更的内容,决策协调会决
定是否紧急变更,并控制变更的
影响范围
BU(事业部/工厂/公司)及数据管理
组织共同实施变更,并评估变更的效
果
•主数据变更管理是针对变更指主数据系统的需求变更或新增需求;主数据治理流程变更;
主数据模型调整;主数据标准变更;元数据调整等内容。
•数据管理组织的审核、评估等内容需要考虑从主数据层面进行控制,决策协调会控制变更
的紧急程度和变动范围。
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
主数据问题处理参考流程
40
BU(事业部/工厂/公司)向数据管理
组织反馈业务开展或系统运行时所出
现的问题,并支持问题的溯源和调查
集团数据管理组织对问题进行确认、
调查,给出方案(临时解决方案和监
控方案)
决策协调会知悉问题的影
响范围(主要指跨BU),
并对问题进行监控
BU(事业部/工厂/公司)及数据管理
组织共同实施临时解决方案,并对问
题进行确认和定位,转入变更和质量
控制流程
• 主数据问题处理流程是针对主数据相关问题处理(数据质量、数据服务、数据错误等)的识
别、评估、协调、升级、处置和监控报告的流程。主数据问题处理流程依据管理范围包含BU处
置的问题和需要跨BU协调的问题。
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
元数据的基本内涵与管理现状
41
不同的展示工具
不同的开发工具
不同存储数据库
不同的业务定义
不同的建模工具
不同的专家知识等
元数据管理现状
元数据(Meta Data)泛指描述领域概念(Domain Concepts)、领域关系(Domain Roles)、领域规则(Domain
Rules)的数据;
元数据协助企业的规划、设计、业务分析“落地”,为IT系统开发提供指导,从而促进企业统计口径的一
致,促进企业流程的规范化。
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
元数据可以分为技术元数据和业务元数据两大类,分别为不同的人员提供服
务,要有针对性的加以识别和管理
42
元数据管理可以清晰、直观地了解数据的来源、变化过程、应用对象等信息,当数据源发生变
化时,用户借助元数据管理可以快速、直观、准确地分析出数据变化的范围、内容和影响
技术元数据
源
系
统
元
数
据
应
用
元
数
据
…
…
运
行
环
境
元
数
据
E
TL
过
程
元
数
据
S
O
A
元
数
据
技术元数据是为技术人员提
供支持的元数据,当技术人
员对系统进行维护和扩展时,
技术元数据为他们提供了所
需的数据信息
从技术的角度描述数据,解
决技术人员无法全面、清晰、
直观地了解数据技术细节的
问题
业
务
数
据
定
义
业
务
规
则
…
…
业
务
术
语
业
务
指
标
管
理
流
程
定
义
业务元数据
业务元数据是为业务人员提
供支持的元数据。业务元数
据为业务人员提供了访问系
统某著名企业息的线路图和
背景图
从业务的角度描述数据,解
决业务人员难于“读懂”应
用系统和分析系统中数据的
问题。
元数据知识库
元数据知识库根据元数据的
各种不同定义格式,以结构
化和非结构化分别存储各种
元数据
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
元数据管理需要从制度、流程、系统等多个方面入手,要制定较完善的元数
据管理制度
43
• 此规范应作为制定元数据管理各个规范的指导原则,同时应说明在企业信息/数据管理
的框架下,和其它模块之间的关系
整
体
管
理
办
法
• 此规范是对元数据的管理、维护、考核、组织、流程等方面,做一个完整的要求和说明,
以确保元数据的可管理性、可维护性、可用性
系
统
管
理
办
法
• 由于元数据管理对业务定义、技术规范、系统建设起到了指导作用,所以元数据系统自
身的质量要求应该是最为严格。此规范是作为对元数据系统自身的质量要求
质
量
管
理
办
法
元
数
据
• 虽然元数据是“数据的数据”,但是它本身仍然是一种数据,也有其生命,也应有其生
命理规范
生
命
理
办
法
• 此规范应作为元数据管理对于各个系统的设计、开发、测试、运行、维护的稽核及监控
规范
对
系
统
稽
核
及
监
控
管
理
办
法
• 由于元数据的各个内容都是涉及到跨部门跨专业的,如何维持不同背景的人员对元数据
的理解及相关的操作(如创建、维护等)能保持一致,有组织、有系统的培训是达到此
一要求的有效方法
管
理
培
训
办
法
• 由于元数据管理具有强烈的规范性,对一般人员的作业习惯在初期会起到限制的作用,
而元数据自身的完整、准确、一致、及时等因素,对各个方面的影响非常重大,所以如
何对使用人员提供良好的服务,是元数据实施成败的关键
管
理
服
务
办
法
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
元数据管理流程示例:新增流程
44
IT项目组 元数据管理员
(信息技术部)
元数据
管理专员
(信息技术部)
是
提出新增
元数据需
求
岗
位
职
责
元数据平台
管理员
(信息技术部)
元数据管理平台需求管理平台 非管控平台流程
提交数据模型、
元数据导入模板
组织新增元数据有
效性评审
发起新增元数
据需求
审核通过?
否
导入基准库
提交元数据上
线审核需求
组织新增元数据落
地检核评审
待上线系统元数
据采集、检核
审核通过? 新增元数据发布
修改数据模型、
元数据导入模板
否修改待上线系统
元数据
是
新增元
数据需
求评审
新增元
数据需
求检核
与上线
IT开发流程
(开发环节)
IT开发流程
(上线环节)
说明
IT开发流程
(上线环节)
收集需求
收集需求
结束需求
IT项目组
经理
(信息技术部)
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
元数据管理流程示例:变更流程
45
提出变更
IT项目组
元数据
管理员
(信息技术部)
元数据
管理专员
(信息技术部)
提出变更
元数据需
求
岗
位
职
责
元数据平台
管理员
(信息技术部)
提交数据模型、
元数据变更模板
组织元数据变更可
行性评审
发起变更元数
据需求
审核通过?
否
提交元数据上
线审核需求
组织变更元数据落
地检核评审
待上线系统元数
据采集、检核
审核通过? 变更元数据发布
修改数据模型、
元数据变更模板
否修改待上线系统
元数据
是
变更元
数据需
求评审
变更元
数据需
求检核
与上线
IT变更流程
(审批环节)
IT变更流程
(实施环节)
导出变更影响分
析结果
是否影响其
它系统?
IT变更流程
(申请环节)
否
是
是
受影响
IT项目组/
业务部门
需求作废
新建基准库
IT变更流程
(上线环节)
IT项目组
经理
(信息技术部)
收集需求
收集需求
结束需求
元数据管理平台需求管理平台 非管控平台流程说明
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
元数据管理系统主要功能框架参考
46
元数据技术支撑(获取、关联、浏览/检索、导出)
元数据管理访问
技术人员 业务人员 项目管理人员
项目管理支撑
数据质量
评估辅助
信息地图
变更管理
版本管理
需求影响分析
过程映射分析
血缘分析
实体关联度
(活力)分析
实体差异分析
数据热点分析
业务规则
数据标准
指标字典
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
元数据管理系统技术架构参考
47
数据库
OLAP
工具
ETL
Report
工具
DM
工具
业务文档 ……
获取 转换 加载
数据管控数据库
业务元数据技术元数据
信息浏览 信息查询 数据跟踪 影响分析 定制报表 变更管理
技术用户(开发维护人员) 项目管理用户 业务用户(数据与业务分析员) 元
数
据
管
理
支
撑
工
具
管
理
及
维
护桥接器
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
使用统一的元数据管理平台,对整个组织范围内的元数据进行管理,逐步实
现对企业的数据资产的统一查询和管控
48
元数据查询浏览:侧重于对元数据的内容展现和查询方式支持
元数据数据分析:侧重于基于元数据的分析功能,从数据中提取对技术、业务用户有用的信息
元数据管理:元数据平台的管理功能
BI元数据和企业级元数据的互动:企业级元数据经ETL平台加工整理进入仓库,形成BI元数据,可通过
血缘分析和影响分析功能查看两者的互动关系;
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
目录
Contentsontents
1.数据架构设计的思路
2.数据资源总体规划
3.基础数据管理
4.数据分析与数据应用
5.数据治理与管控
6.项目实施计划建议
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
决策支持系统是企业决策和经营管理的重要抓手,可以带来多方面的收益
50
BI的重要意义
1
2
3
4
决策者的管理可视化平台
更直观的可视化方式
功能定位于决策、管理、分析
不同于ERP系统
管理“用数据说话”
及时、准确、完整的360统一数据
视图
对标分析、数据间挖掘钻取
内外部数据整合
信息透明
“倒逼”业务规范化管理
促进业务规范化操作
进一步优化完善业务系统
与ERP等业务系统形成信息化闭
环
标准化的KPI分析体系
一体化的分析体系,统一的分析视图
指标体系规范化,统一指标口径
数据标准化管理,统一数据口径
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
决策支持系统建设的第一项工作是梳理关键指标体系,确定分析主题框架
51
关键
驱动
因素
公司
战略
要求
核心
业务
能力
• 基于驱动战略发展、能
力提升的关键因素,建
立关键指标体系
是管理分析体系的核心
输入
企业指标体系
分析
框架
• 以核心能力为框架,以战略要求为起点,建立多层级分析体系
以关键指标为核心,配以相应的分析维度、方法、频率,构建详细的分析场景
企业决策分析主题
重要性 简洁性 可衡量性 可控性
分析主题
与分析场景
场景展现
以战略为要求,落实于企业核心能力,分解出驱动价值实现的关键因素;并据此建立相应的衡
量企业指标体系、管理分析体系,从而有效支撑公司能力提升、战略实现、价值创造。
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
指标体系设计方法:分析企业战略目标,形成企业战略地图
52
财
务
客
户
运
营
学
习
成
长
战略
目标
企业综合实力与品牌
竞争力双提升
F2-盈利能力及运营
效率提升
境外业务拓张
F1-利税增长
现有业务增长
提升当前投资回报 打造可持续发展能力
C1-提升企业品牌
价值
C3-提升客户服务
水平带动客户满意
C2-提升消费者洞
察能力
提升产品
营销能力
O1-加强资源获取
提升产品
品牌能力
提高资金使
用效率
加强成本精
细化管理
资源保
障
基础管理
保障
人力资本准备度 企业文化准备度组织准备度
O2-提升产品力 O3-增强资源保障
L1-提升运营能力准备度
信息技
术保障
提升投融
资水平
提升产品
制造能力
营销创
新
技术创
新
O3-建立创新驱动
管理创
新
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
建议公司启动企业绩效管理专项工作,以战略为输入分解指标体系
53
逐步分解战略价值因
素,并建立关键业绩
指标体系框架
•公司企业管理要求
•行业价值因素与指标库
•先进企业指标体系模型
1- 公司战略及愿景分析
•外部环境信息和驱动因素
•某省市场市场增长的发展趋势与核
心价值定位的契合
•公司战略
公司战略解读
4-分析主题
基于企业业务能力,设
计符合XXX公司管理需
求的分析体系框架
2-指标体系框架设计
•分析体系模型
设计符合公司管理
需求的分析主题与
分析场景
3- 数据分析框架设计
•指标体系设计
设计以图形化、多维
化、互动性展示信息
的分析展现
5-展现设计(示例)
•专业领域最佳实践
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
决策支持系统建设的第二项工作是构建科学完整的数据分析系统,以系统支
持分析自动化工作的实现
54
数据分析系统应用体系框架是以数据治理体系为保障,以多数据源为输入、以传统数据仓库和大数
据仓库融合的数据仓库为支撑,以数据分析为关键,以数据应用为目标。
数据仓库 数据分析数据源 数据应用
数据治理
数据交互与传输基础平台(ETL、ESB、FTP)
前端展示
XXX公司及子公司
应用系统
外部数据
手工录入平台
非结构化数据
数据交换区 数据整合区 数据加工区
企业数据仓库
缓冲层 ODS层
统计分析
大数据平台
工具
组织
流程
1
2
3
5
1
数据挖掘
流程驱动
4
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
集团级数据分析系统应用体系框架(细化)
55
数据分析应用体系框架是以数据治理体系为保障,以业务系统数据源为输入、以传统数据仓库和
大数据仓库融合的的数据仓库为支撑,以数据分析为关键,以数据应用为目标。
数据分析应用(平台部署)
数据源 数据仓库 数据应用
应用系统
外部数据
手工录入平台
外部数据
手工数据
非结构化数据
结构化数据仓库(平台部署)
数据治理(数据组织、流程、工具)
数据交互与传输基础平台(ETL、ESB、FTP)
数据交换区 数据整合区 分析决策区
企业数据仓库
数据挖掘区
缓冲层 ODS层 某省市 数据分析应用
某省市
某省市
分析报表
仪表盘
OLAP
数据挖掘库 数据挖掘组件
挖
掘
引
擎
模式
评估
大数据仓库(云部署 )
数据整合区
Hadoop
大数据仓库
分析决策区
高级文本分析 机器学习
非实时数据
实时/准实时
数据
统一ODS
数据分析
数据模型
1
2
3
4
1
分析决策区
流程驱动
前端展示
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
大数据环境下数据平台架构的转变:从以数据仓库为中心向数据资源池为中
心转变
56
ETL
企业数据仓库
数据模型
大数据资源库
仪表盘报表
商务智能
业务用户
业务流程
统计模型
分析结果
数据科学家分析师
数据
外部数据
关系数据
实时数据
空间数据
非结构化数据
分析挖掘环境
协作
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
目录
Contentsontents
1.数据架构设计的思路
2.数据资源总体规划
3.基础数据管理
4.数据分析与数据应用
5.数据治理与管控
6.项目实施计划建议
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
数据治理体系涵盖组织架构、评价与考核、治理流程和治理工具四个业务域
58
管理组织
数据管理组
工具
数据治理
评价
与
考核
考核指标
信息化领导小组
业务部门责任人 数据生产者 数据使用者 信息化支持团队
考核标准
数据认责
责任评价
数据标准
命名标准
长度/精度
业务主题
业务含义
…
标准执行评价
数据质量
真实性
及时性
完整性
一致性
政策执行评价
数据安全
权限定义
安全等级
信息披露
数据使用共享数据流转数据加工数据产生系统建设
标准管理 模版导入 标准编辑 属性映射 标准加载 标准分类 基础查询
质量管理 质量规则 质量报告 稽核任务 质量监控 问题管理 数据清洗
安全管理 敏感数据识别 访问监控 敏感数据监控
流程
组织建立/维护
流程
标准管理流程
评价与考核流
程
质量管理流程
安全管理流程
1 2
3
4
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
集团企业数据管理组织最常见的有三种模式,其中联邦式最普遍
59
集中式策略
数据治理委员会
特
点
• 设立专门的组织的来管理整
个企业的数据治理工作,所有
数据治理职责都由该组织承担
•不设立专门的企业级组织来
行使数据治理管理职责
• 各业务单元只负责本业务领
域的数据治理工作
•设立专门的组织作为数据治理
的日常管理部门
• 牵头负责数据治理管理各环
节的协调和组织工作
分布式策略 联邦式策略
数据治理委员会
结
构
特
点
• 设立专门组织作为企业数据
资产的管理部门,职责明确,
目标清晰
• 管理力度大,驱动力强
•在较小的投入下可取得较好的
数据治理成效
•对现有的组织机构影响较小
•起点较低,容个业务领域实
现
•资源要求不高
•对现有的企业组织架构影响较
大
•投入较大,需要较多的人员配
置
•数据治理日常管理部门对其他部门
的影响力有限
•对数据治理日常管理部门的协调能
力要求较高,需要较强的影响力和
协调组织能力来推动数据治理工作
•管控力度最弱
•缺乏企业级视角,无法实现
企业级的数据治理
优
点
挑
战
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
目前大多采用联邦制,但缺乏数据管理委员会
60
数据管控方法论的组织架构模型:
• 企业级数据管控组织架构
• 数据管控角色
• 数据管控工作职责
数据管控组织建设目的
• 建立数据管控决策、沟通
监控、考核机制
• 推动落实数据管控工作
• 建立培训和推广机制
•创造数据管控文化
技术组
•系统架构师
•数据架构师
•数据模型师
•元数据管理员
•数据库管理员
• ETL开发人员
•工具专家
•技术分析员
•应用开发专家
•培训专员
数据管理委员会
业务团队 技术团队
业务组
•业务分析专家
•业务需求专家
•质量管理员
•标准管理员
•培训专家
•用户支持专家
•沟通专家
•帮助中心
数据管控组织架构图
数据管控
组织
组织/协调
决策层
管理层
执行层
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
建议构建一个联邦式的数据管理组织,由财务部和流程IT部共同牵头,各业
务部门参与,共同做好数据管理工作
决
策
层
数据管理委员会
数据治理工作组管
理
层
执
行
层
数据架构师
集团财务部 流程IT部
数据标准管理员
数据质量管理员
数据平台建设工程师
数据治理业务主管 数据治理技术主管
数据管理员(兼职)
其他业务部门
部门主管
管理委会员由公司领导牵头,同时包含各职能部门一把手,是数
据管理最高权利机构,负责数据管控战略、管理授权、预算批准。
业务管理团队为虚拟机构,由各职能部门组
成,每个业务部门设立数据管理负责人(可
以兼职),主要负责:
(1)诠释本部门相关数据的业务规则
(2)提出本部门相关数据的质量要求
(3)提出本部门相关数据标准的变更需求,
制定并审核数据标准
(4)数据管理效果反馈
(5)检查并考核数据管理各项工作的执行情
况和执行效果
建议由集团流程IT部下设技术管
理专员,主要负责:
(1)制定数据安全授权策略和规
范,识别数据加工使用过程中的
安全风险
(2)制定数据架构,包括数据流
向、数据分布、数据模型等
(3)协调供应商参与数据架构设
计、开发实施和运维工作
(4)配合财务部对数据相关的技
术问题进行解决
建议由集团财务部下设数据管理专员,主
要负责:
(1)收集数据质量问题,协助制定数据
质量提升方案
(2)收集数据标准需求,协调标准制定
和落实
(3)参与数据管理各类协调会议
(4)配合数据管理各项工作的执行情况
和执行效果
(5)配合制定数据质量检查策略,推动
自动化质量检查工作
数据服务需求管理员
数据模型管理工程师
主数据、元数据管理工程师
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
数据管理岗位职责示例:数据平台建设工程师
62
岗
位
概
述
任职资格 岗位职责
学历要求:
大学本科(含)以上
专业要求:
计算机、软件工程等相关专业
工作经历:
大中型软件开发公司5年以上工作经验,数据平台建设5年以
上工作经验者从优。
能力要求:
• 熟练掌握数据平台架构、数据建模、数据分析等领域知识
• 熟练掌握数据平台管理体系建设知识
• 熟练掌握主流ETL工具的使用,如Informatica、DataStage
等
• 熟悉报表工具Cognos、BIEE开发等
• 精通SQL语句,具有开发和优化复杂SQL的能力,熟练使
用JA语言开发B/S结构的J2EE系统
• 熟悉建模工具Erwin、PowerDesigner等
• 项目管理能力
• 具有较强的学习和创新能力,善于沟通和合作,具有团队
精神
平台需求管理
• 协同数据管理中心收集编制平台需求;
• 参与数据平台和相应接口的需求分析。
平台规划和建设
• 负责数据平台的功能和架构规划,包括总体架构、数据模型等的
设计;
• 负责全行数据平台落地实施工作和实施管理,包括外包商选择、
功能开发、测试等工作;
• 负责数据平台的测试工作,包括功能测试,性能测试和用户接受
测试等工作。
项目管理
• 负责组织和协调数据管理平台建设项目组,编制项目计划,推进
项目完成;
• 随时收集汇总并及时向上反映项目建设风险,并提供解决方案建
议。
变革管理和培训
• 负责编制建成的数据管理平台的操作手册;
• 为数据平台的用户接受测试提供文本和技术支持;
• 为培训提供文本和技术支持。
技术文档编写
• 按照项目开发规范,与开发进度同步提供完整、规范,与程序完
全一致的技术文档。
推进数据平台的建设,提升数据质量和数据管理效率,为信息化建设打好数据基础。
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
数据管控考核评价工作必须纳入到集团绩效考核方案中,以提升相关业务部
门对于数据治理工作的重视程度
63
数据录入质量考核 数据标准落地执行考核 报表需求有效性考核 数据治理参与情况考核
考核
内容
和目
的
考核
指标
类别
考核
方法
选择关键指标对数据录入
的准确性进行考核,以确
保在系统源头录入数据的
可靠性
选择监管机构重点考察关
注指标或当前考核重点进
行质量提升的关键指标进
行考核
定量考核所选取指标的差
错率
采用扣分的形式
根据本考核数据标准或规
范在业务层面及IT系统层
面落地情况,促进数据标
准和规范的全面执行
考核指标可根据该考核制
定的落地执行方案进行设
定
定量考核数据标准或规范
在业务或系统层面的执行
率
采用加分的形式
考核本开发报表的使用情
况,提高报表需求质量,
提高IT资源使用效率,并
提升报表系统的可用性
可将该报表使用情况与该
报表需求设定的使用情况
进行比对进行考核
定量分析报表实际点击率
与报表需求设定使用情况
的符合度
采用加分的形式
考核总部业务部门及各分
公司数据治理工作的配合
程度,提高总行相关部门
及分支行参与数据治理工
作的积极性
考察是否按时、保质的完
成明确发文的数据治理工
作
定量评估考核各项明确发
文数据治理工作完成时间
和完成状态
采用加分的形式
考核
对象
所有涉及系统录入的业务
部门
数据归口业务部门和各IT
项目组
各业务部门 各业务部门
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
数据管控考核指标体系示例
64
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
通过组织管控与治理考核流程对数据标准、数据质量和数据安全这三个核心
管理流程的支撑,全面实现数据的规范化、流程化治理
65
组织建立/
维护流程
数据管理流程
数据治理考核流程
数据治理规划流程数据认责流程 组织管理流程
数据标准
管理流程
数据质量
管理流程
数据安全
管理流程
数据标准/质量/安全
考核流程
问题解决/升级汇报
流程
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
逐步构建完整的数据管理制度和规范
66
架构
规划
数据
规范
应用
方案
数据创建/
获取
数据
存储
数据加工/
使用
数据归档/
恢复
数据
销毁
数据质量管理办法
数据需求
管理办法
数据质量考核管理办法
数据录入
维护管理
办法
元数据管理办法
主数据管理(客户、产品、机构等)办法
数据生命理办法
数据治理基本制度
数据标准管理办法
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
为了实现数据管理的目标,建议未来实施统一的数据管理系统
67
数据管理平台
分析型系统
数据管理以形成企业级统一的数据标准为目标,通过数据质量管理和绩
效考核的方式,形成数据管理的长效机制,为业务人员提供统一的数据
视图
安
全
监
控
标准管理
②
数据质量稽核
③
绩效考核
④
展现管理⑥
⑦ 主数据管理
①
系
统
管
理
⑧
元数据管理
⑤
信息管理系
统
数
据
分
发
接
口
MES系统
…
… 数
据
分
发
接
口
核心功能
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
企业级数据治理平台的功能架构蓝图
68
标准管理
统一模型管理 工作流管理规范管理 接口管理属性模板管理
数据治理绩效考核管理
考核结果展示考核评分设置考核指标
展现管理
主数据视图 KPI指标视图 主数据查询管理 KPI指标查询管理
数据治理平台功能架构蓝图
应用层
数据质量管理
数据质量报告 数据质量报警 数据质量追踪
元数据管理
元数据类别管理 元数据查询、维护、统计管理 元数据统计管理
系统管理
菜
单
管
理
日
志
管
理
备
份
管
理
参
数
管
理
基
础
层
消
息
管
理
安全监控
身
份
认
证
授
权
管
理
异
常
管
理
状
态
监
控
基
础
层
角
色
管
理
管理层
主数据管理
采集管理
任务采集
实时采集
用户输入
模板导入
采集监控
数据分类
数据匹配
编码映射数据校验
数据审批
生命
版本控制
数据编码
数据查询
历史追踪
数据管理 分发管理
任务分发
实时分发
用户导出
模板导出
分发监控
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
数据治理平台支撑下的企业数据治理工作思路
69
企业级
数据仓库
(EDW)
企业级
数据治理平台
数据治理组
业务部门
BPIT部
数据分布分析
数据标准规范
数据质量指标
元数据
……
牵头规划
参与规划
参与规划
产生数据治理相关制
度规划并保存
数据治理
制度规范
数据需求
需求分析与
设计说明书
系统
4 数据入仓
3系统实现2设计实现
1提出需求
参照规范
参照规范
全程监控
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
目录
Contentsontents
1.数据架构设计的思路
2.数据资源总体规划
3.基础数据管理
4.数据分析与数据应用
5.数据治理与管控
6.项目实施计划建议
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
首先基于业务价值和实施难度两个维度考量,对未来数据架构项目的实施顺
序进行分类,然后进行系统相互关联度分析,确定最后项目实施路线图
71
业务价值包括财务收益、运营效能和战
略支撑度三个方面
财务收益:主要考虑系统建设的财务收
益
运营效能:主要考虑系统建设对企业业
务的运营效率及质量的提升程度
战略支撑度:主要考虑系统所支持的业
务与战略的关联程度
实施难度业务价值
信息化项目实施路线
优先级考虑
实施难度包括投入、技术难度&范围及风险程度等方面
投入:系统建设及运维成本
技术难度:主要考虑技术上是否成熟、先进、可靠和安
全,是否有成功的实施经验、案例或成熟的商用产品以
简化实施过程
范围和风险程度:主要考虑是否涉及大量组织、岗位、
职责、流程、制度上的变化,实施该项目带来的变革风
险,如业务转变准备度、人员接受度等
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
根据分析结果,将两大因素进行组合形成四个象限,明晰各应用系统在四个
象限中所处的位置(修改)
72
高 低中
高优
先级
中优
先级
速赢
实施难度
价
值
高
中
低
1
3
2
• 高优先级:业务影响较高,但实施难度
较高的,有条件时应优先实施
- 1 集团数据管理平台建设
- 2 数据仓库与决策支持系统建设
- 3 数据资源规划咨询
244/117/33
108 /108 /108
46 /46 /46
217/ 217 / 217
绿 137/185/83
蓝 0/97/165
51/119/34
87/187/255
0/64/108
90/125/51
81/0/75
规划集团2017-2020年数据架构建设路线图及投资估算,以确保流程信息化
建设目标的实现
73
集团数据平台建设
数据仓库与决策支持建设
数据资源规划项目规划
2017 2018 2019 2020
Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4
11
22
33
管理优化 系统实施 系统推广系统选型
项目名称 硬件投资 软件投资 咨询/实施费用 合计
集团数据平台建设 50 100 200 350
数据仓库与决策支持建设 400 400 2400 3200
数据资源规划项目规划 400 400
3950
单位:万元
THANK YOU