工欲善其事,必先利其器
——数据资产云图(DACP)白皮书
环球第一数字资产交易所
大数据事业群 数据资产管理部
主要内容
产品概述
架构功能
部署实施
应用案例
联系我们
2
3
尽管“数据是资产”概念已经广为人知,但“如何管理数据资产
”仍然缺少成熟理论以及工具手段
数据资产管理是企业或组织采取的各种管理活动,用以保证数据资产的安全
完整,合理配置和有效利用,从而提高带来的经济效益,保障和促进各项事
业发展。该领域是大数据时代企业布局竞争的核心,也是目前市场空白。
什么是数据资产? 存在什么问题?
数据源不规范,
导致无效数据
加工
处理缓慢,
导致低效决策
加工流程混乱,
人力物力浪费
评估手段缺失,
数据资产价值大
打折扣
分配不透明,
数据资产错配
定义不统一
错误判断
分布杂乱,
数据资产闲置
数据不开放,
企业数据合作
受限
……
数据库
报表
文件
接口
权限
视图
… …
治理无力
应用低效
运营缺失数据资产是企业及组织拥有或控制,
能带来未来经济利益的数据资源。
4
数据资产管理包括哪些核心内容?
让企业数据更加准
确、一致、完整、
安全,降低IT成本。
使得企业数据的使
用过程更为人性、
快捷、智能,从而
提升管理决策水平。
支持企业数据资产
的分发、开放、交
易等数据嫁接的实
现,从而促进数据
资产的价值实现。
5
交易所提倡建立一体化全流程的数据资产管理体系
数据资产规范及治理能力 数据资产运营、开放、应用能力
数据资产管理体系核心在于有效解决对数据资产进行管理的实践性问题,既帮助企业合理评估、规范和治
理企业信息资产,又可以挖掘和发挥数据资产价值并促进持续增值,并符合大数据的跨行业合作趋势
资产质量
更加可靠
创新合作
更加便捷
运营手段
更加丰富
数
据
资
产
应
用
有效处置
租赁、报损、转
换…
全面评估
资产分布、活性、配置合理性、使用
策略…
使能创新
交易、数据开放
…
数
据
资
产
运
营
协同工作
数据资产
数
据
规
范
管控体系
元模型数据
情景规则
人员组织
数
据
处
理
全局洞察
采集加工
快速可视化
运维管控
第三方应用加载
标准化数据接口、平滑迁移、快速定
制…
快速开发部署
效率、质量…
形式丰富易用
数据产品、报表
…
有
机
融
合
数据资产云图(DACP):数据资产管理的专业管家
6
DACP作为数据资产管理平台,涵盖了采集、加工、使用、评估、优化、下线等数据资产的全生命周期管理,并基于
全面数据治理能力,进一步提供专业化的数据资产“管家”服务,包括资产规划、运营管理、开放管理,以及面向企业客户
和个人客户的不同类型数据资产应用,从而为大数据时代的数据资产管理和增值发展提供全面支持。
数据资产治理
数据资产开放管理数据资产运营管理数据资产规划管理
数据资产应用
应用软件 浏览器 终端/app 电话呼叫 微信 短信 Email
内部数据 传统数据库 新型数据库 文档资料
数据加工 运维管理 安全管理 质量管理
数据体系规划
数据标准化管理
价值评估
增值策略
资产活性分析
资产配置优化
数据采集
开发者社区
数据交互中心
数据资产合作平台
数据可视化平台
企业客户应用 个人客户应用
金融-
风险识别
医疗-
传染源定位
征信管理 … 个人数据宝库 小数据聚合 …政府-舆情管理
注: 数据资产应用内容需要根据具体业务场景定制。
DACP将立足数据资产管理领域,服务于全行业和全客户
7
特定行业的大型企业
(如电信、金融、航空、制造等)
各行业的大中型企业
中小企业以及个人客户
产品部署+定制化开发
产品部署
+
云化服务
SaaS/App
管理
数据
资产
掘金
经济
价值
注: 云化服务和SaaS、App等形式目前仍处于规划阶段。
DACP能给企业内与数据资产相关的不同角色人员带来价值
8
能够合理评估、规范和管理企业信息资产,
在有效IT投资和降低管理成本的同时,挖掘和
发挥数据资产价值并增值。
企业管理者 IT建设部门
业务运营人员 数据运营人员
能够规范数据处理过程、保障数据资产质量、
提升IT系统建设效率、快速支撑业务部门运营
需要,从而激发创新、体现价值。
能够快速、高效的提供体验良好的数据展现
手段,通过确保了数据资产质量,从而有助
于做出更加准确的业务举措。
支持多种数据使用模式,并提供更为丰富、安
全的数据运营管理手段,有助于企业间进行更
广泛的数据合作并由此创造价值。
9
为什么传统数据管理方式不适合数据资产管理要求
?
传统数据管理方式
元数据
数据
稽核
管理
制度
外部性管理,依赖管理力度和执行自律,成难毁
易。
挑战1 挑战2 挑战3
从范围来看,
从形式来看,
从内涵来看,
非结构化数据、内外部数据混搭、
云化处理等都会冲击传统管理模式
数据加工的复杂度和速度要求越来
越高,也对传统管理效率提出挑战
数据的交换、转让、租赁、交易等
各种创新模式,也要求新的管理手
段
资产验证
数据整合
交易保障
DACP不仅是技术工具,也是重要的运营管理手段!
10
良好界面体验
完善规范标准 智能化过程控制
凝聚了10年以上电信级数据管
理规范和实践经验,形成了一
整套管理办法和信息体系
全Web界面的在线操作
提供了丰富的可视化组件,能
够很好地帮助信息展现、问题
定位和决策支持
能够根据数据资产实际使用过
程进行智能化分析,并动态调
整管理过程中的规则参数;
支持第三方应用集成
一站式管理:
• 面向业务人员提供快速取数、
自助分析、门户定制等功能;
• 面向技术人员提供可视化运
维、自动化处理等工具;
• 面向管理人员提供各种评估
告警以及决策支持手段;
数据治理
企业级大数据中心
数据处理及可视化框架
使能数据开放
支持多租户管理、数据开放平
台、数据合作加工模式等数据
交互模式,并能够很好地保证
数据使用过程中的隐私安全;
11
DACP客户概览
• 湖北移动
• 上海移动
• 青海移动
• 山东移动
• 四川移动
• 重庆移动
• 辽宁移动
• 福建联通
• 马来西亚
马来西
亚
青海
四川 上海
湖北
福建
重庆
DACP已通过市场认可,并持续拓展新空间
主要内容
产品概述
架构功能
部署实施
应用案例
联系我们
12
DACP在企业IT系统中的定位
13
网络通信平台
主机系统软件
主机 存储 备份 OS
1.网络通信层
2.主机存储层
数据存储层
db2 oracle hadoop
3.数据层
DACP平台
资产规划 资产应用4.应用支撑层 资产评估 资产运营
数据采集 数据加工 数据管理 运维监控
业务应用系统
应用
系统
1
5.应用系统层
应用
系统
5
应用
系统
2
应用
系统
3
应用
系统
4
…
应用
系统
6
分析门户、网站6.信息发布层
信
息
安
全
体
系
项
目
实
施
方
法
论
支
持
标
准
化
体
系
支
持
gp
DACP定位于应用支撑层,在数据治理基础上,实现资产规划、加工、评估、运营等功能
Non-disclosure Confidential Document. Unauthorized Copy Prohibited. Copyright 2014. All rights reserved.
DACP的功能架构
14
数据资产规划
数据架构管理
数据标准化
维度表标准化
指标标准化
数据资产质量数据资产加工
数据流程设计
数据模型设计
数据处理开发
数据应用开发
数据测试
上线
数据运维
运行监控
告警管理
数据评估
数据优化
存储优化
下线管理
质量规则管理
质量规则检查
质量问题管理
元数据管理
元数据采集
元数据分类
元数据稽核
数据关系分析
字段关系分析
元数据服务
数据资产安全
安全策略管理
安全漏洞检查
权限申请分配
安全审计
数据处理类 | 数据交换类 | 文件操作类 | 数据查询类 | 数据安全类 | 数据检查类
(函数适配器)
Engine for db2
db2
Engine for oracle
Oracle
Engine for hadoop
Hadoop
Engine for GBASE
MPP
功
能
层
统一
API层
生产
平台
数据地图
运
营
层
数据资产应用 数据资产评估 数据资产运营
指标墙
自助分析
多维报表
运营诊断
资产构成分析 资产使用评估
资产活性分析 资产分布评估
多租户接入管理 数据开放平台
BI应用商店 数据分发中心
…
DACP的技术架构
15
16
元数据库
元数据库
元数据管理 开发管理 运维监控管理
统一日志、通信、控制中心
生产运行环境
质量管理
上线
元数据
采集
1
2
3
4
元数据查询
元数据分析
元数据维护
元数据采集
开发过程管理
需求开发管理
项目开发管理
。。。。
数据生命周期管理
应用生命周期管理
进程启停
临时任务管理
数据质量采集
数据稽核评估
问题管理
质量报告
运维管理
同步开
发任务
DACP以元模型驱动,连接数据管理,开发、运维和生产运行,形成一体化管理
DACP的集成架构
17
关键特性介绍:完善的数据治理与管控(1/5)
建立标准体系1
数据标准是数据资产管理的基础,
需要对管理对象,管理要求、管理手段、
管理流程等进行规范,从而成为海尔相关
系统和部门统一遵循的标准。
具备管控手段3
针对数据生命周期各个阶段的不
同特性,提供各种监控、管理工具,将可
能出现的系统运行出错或数据异常变化进
行修正或告警,以避免出现更大的损失
形成信息地图2
建立全集团的IT的信息地图,通过
自动化的多源头元数据采集,自动分析汇
总,形成完整的企业数据地图,使用户能
够从全局视角审查企业整体数据状况。
实现影响分析4
实现数据来源的追溯,能够方便
内部管理、审计或外部监管的需求追溯业
务指标、报表的数据来源和加工过程, 即
能方便的找到想要的数据以及这个数据与
其他数据的传递关系和业务逻辑关系。。
促进数据协同5
实现跨平台的元数据管理,具备
数据管控统一功能平台,增强应用的协同
管理能力,能够展示出数据之间的关系,
从而促进不同阶段的数据形成协同关系,
以及闭环加工流程,确保数据可靠性。
持续质量改进6
数据质量体系需要通过实践和规
划的相互促进,不断完善改进,为此,需
要确保确保数据架构合理,条理清晰,过
程可控,知识积累传承,并通过监控和审
计不断促进质量水平的持续提升。
建立起可管可信的数据资产治理体系
18
关键特性介绍:完善的数据治理与管控(2/5)
DMP
数据质量智能化
数据标准化规范化
数据关系脉络化
通过对数据、应用、系统综合管理,构建标准化、
流程化、自动化、一体化的数据管理体系
确保数据架构合理,条理清晰,过程可控,知识
积累传承。
19
关键特性介绍:完善的数据治理与管控(3/5)
• 数据标准化制定
• 数据架构管理
• 主数据管理
• 指标数据管理
• 代码标准化管理
• 规则稽核评估
DACP提供了完整全面数据治理与管控功能体系,可以帮助企业实现数据资源的
条理化、脉络化,成为数据资产化管理的重要基础
• 数据采集
• 数据加工
• 数据分发
• 数据共享
• 敏感数据管理
• 质量规则管理
• 问题定位分析
• 影响范围分析
• 问题知识库
• 质量标准定位
• 数据标准化管理
专业数据管理 高效数据处理 持续质量改进
• 可视化开发管理
• 需求分析
• 变更分析
• 知识积累
• 自助分析
• 数据可视化
快速响应
20
关键特性介绍:完善的数据治理与管控(4/5)
接口
系统提供完整细致
的血缘分析,对问
题的节点进行回溯,
分析其处理路径上
可能存在的问题以
及相关影响范围
应用处理程序数据表
全面追溯的数据影响分析,一切尽在掌握
21
关键特性介绍:完善的数据治理与管控(5/5)
一站式统一运维监控
为运维部门提供了一个中央管理点,使得运维
人员可以紧密有效地对系统上发生的事件进行
控制,为分布式环境创建一个“任务控制”中心。
对收集到报警信息及时触发各种动作,可通过
邮件、短信、语音等方式提醒运维人员
对日常监控数据的分析,也可以帮助运维人员
分析出系统中存在的性能瓶颈,以便采取适当
的解决措施对系统进行优化或扩展。
22
关键特性介绍:高效的数据资产应用(1/4)
需求
设计
开发
调试
测试
部署、升级
文档生成
需求
设计
开发
测试
上线
接口开发
程序开发
指标开发
展示开发
数据流程设计
数据模型设计
规则设计
展示设计
测试方案
测试执行
测试报告
测试跟踪
需求受理
需求分析
上线审核
上线执行
上线跟踪
表格组件可视化设置
全过程的开发管理,提升
执行效率,确保数据质量
通过数据管理来提升开发效率,而加强开发管控反过来也促进了数据质量有效提升
23
关键特性介绍:高效的数据资产应用(2/4)
报表
组件
调度
类图表
组件 地图
组件
流程
类邮件
触发
UI组件 社区组件 分析导航组件
图形
组件 ……
短信
触发
……
规则组件 安全服务组件
提供方便灵活的
组合方式,并能
和数据组件进行
绑定
以组件的形式保
证应用在其内部
的事务控制动作
过滤
组件计算
组件 指标
警告清洗
组件 ……
封装了特定业务
逻辑,有明确的
输入和输出,保
证业务规则的实
现
脑图
分析 路径
分析预测
分析
用户身
份信息 日志
审计
安全
集成
负责BI Store 应
用使用日志的记
录,以及与经营
分析系统安全模
块交互进行客户
端使用权限控制
提供数据获取能
力,对获取的数
据需要提供明确
的数据指标、指
标口径、数据范
围、数据时效性
等
丰富的组件库快速帮助实现数据资产应用
24
关键特性介绍:高效的数据资产应用(3/4)
可视化的拖拽式开发 类Excel的报表设计过程
无失真导入Excel文件
体验良好、可靠高效的设计开发过程
25
关键特性介绍:高效的数据资产应用(4/4)
丰富美观、实用大方的数据可视化能力
26
关键特性介绍:创新的数据资产运营(1/3)
根据多年的经验积累,总结了从数据到资产的评估体系,可以帮助企业全方
位的诊断发现问题,并提供相应的策略来企业提高数据的健康度
27
关键特性介绍:创新的数据资产运营(2/3)
通过标准化数据服务,搭建企业的应用开放平台,促进应用的百花齐放
运行资源的稳定性
应用上线下线管理
应用共享管理
信息安全管理
统一数据访问接口
统一应用运行机制
封装好的sdk API进行开发
信息推送API支持
展示组件支持
订阅中心
数据处理开发;
数据高速访问提供
数据安全控制
数据沙箱提供
32类数据开放
运行基础平台
数据标准化服务
基于Api二次开发
统一运行环境,主机,数据库等
打通与各系统的接口。
统一数据中心
统一的开发工具
提供可二次开发的SDK包
应用发布评估管理
运行监控
下线管理
应用类型包括报表,信息推送,手
机经分,手机客户端等
企业应用商店
28
关键特性介绍:创新的数据资产运营(3/3)
数据分析师
ETL开发工程师
模型架构师
运营
程序员
数据化运营
商业决策
产品设计
理解业务
文档化业务和需求
BI产品设计
PD
业务分析师/数据PD
合作伙伴 合作伙伴
数据产品PD
购买决策
行业分析
营销支撑
分析、挖掘用户需求
数据产品设计
培训,咨询,解决
方案
架构师
技术框架设计
平台与工具的实现
数据产品开发团队商业智能团队
数据开发团队内部用户 外部用户
基础开发
&
开发架构
… …
使用、建设
建设
服务
能力开放,打造数据资产工厂
29
技术特点:DACP拥有八项专有技术
基于SQL解析实
现透明数据安全
访问的控制
业务指标的异
常自动发现算
法
数据库数据冗
余的发现和消
除算法
基于TopN的
多维数据诊断
算法
多数据库数据
分发同步技术
基于元数据流
程图形可视化
技术
数据库的智能
检索技术
数据仓库元数
据管理技术
DACP
专有技术2
专有技术1
专有技术3
专有技术4
专有技术5
专有技术6专有技术7
专有技术8
Non-disclosure Confidential Document. Unauthorized Copy Prohibited. Copyright 2014. All rights reserved. 30
小结
3类 发展方向 8项 技术专利 9年 产品积累
支持第三方
应用集成
覆盖数据资产
全生命周期
丰富易用的
可视化
管理与生产
有机结合
多元化
运营手段
有效数据资产
规划评估
主要内容
产品概述
架构功能
部署实施
应用案例
联系我们
31
32
DACP具备快速集成和部署能力
针对已建有信息系统的企业,系
统提供开放、开源的接口,可以
和原有系统无缝对接,不影响原
有系统的使用
只要硬件环境满足基础要
求,即可新建一套数据置
产管理的系统
支持主流的数据库软件,
如Oracle、SQL Server、
DB2、MySql等
只需500G,普通的PC硬
盘即可满足要求
支持开源的Tomcat,也
支持专业性较高的
Weblogic和Websphere
数据库
存储
WEB
服务器
普通PC机即可,安装
Linux操作系统
运行
平台
部署时对
平台要求
低
新建
系统
集成
升级
模式
灵活
快速
安装部署
学习
方便
建设周期
短
33
参考配置
配置说明 推荐配置
主机
PC Server *2 或小型机
尽量采用独立的环境,单台性能建议不小于30万TPCC(具备配置视数据量的大小调整),作为数据资产云图
(DACP)在正式环境的核心,必须保证双击热备和7*24小时不间断运行
存储 运行环境500G,数据存储5T – 10T
存储系统运行配置信息,日志中心,质量稽核,作业计划调度等(具体配置视数据量大小调整)
操作系统 Unix、Linux、Aix、Solaris、Windows Server
WEB服务器 Weblogic、Tomcat
数据库 Oracle、DB2、Mysql、SQL Server、Teredata
支持各种主流关系型数据库
主要内容
产品概述
架构功能
部署实施
应用案例
联系我们
34
35
典型案例1:助力数据治理、提升工作效率
类别 末端原因
人员
缺少对现有系统学习手段
离职或变动
数据
源
数据自相矛盾
复杂规则设有被充分理解
变更带来质量问题
开发
过程
时间太紧张
业务规则理解错误
需求理解不准确
缺少测试标准和方法
质量
管理
质量监控规则不好把握
系统构架设计中缺少质量考
虑
质量监控带来过多性能开销
优化构架
质量控制
1
2
3
4
全过程
开发管理
全过程
质量管理
元数据管理
引入
DACP平台
质量
管理
开发
过程
数据源
人员
质量
持续改进
人员培训周
期由3个月
缩短至5天
元数据覆盖
度从30%
上升至98%
问题查证率
提高50%
节约人力资
源成本30%
客户现状:
1、BI系统经过12年以上建设,超过10万张数据表、1600个以上应用,容量超过100T
2、存在多厂家合作开发,数据质量管理主要依靠管理制度和事后稽核
典型案例2:高效建设大数据应用系统,管理海量数据
客户现状:
1、客户计划采取Hadoop+DB2 混搭式结构实现经分域系统重构、优化。
2、2040个接口、功能模块,1058个模块,2700多个指标,2306个数据表重构,180个一经上报,参与团队多、周期长。
效率
提升
跨平台,跨系统数据抽取分发。数据处
理效率提升30%
可视化的开发平台,建设周期缩短20%
高效、灵活的报表展现工具,二次开发
效率提升40%
能力
增强
计算速度提升120%,存储能力提升5倍,
为过渡到企业级大数据中心奠定基础
成本
降低
整体性能差不多的情况下,采用DACP
投资降低20%左右;
DACP投入使用还释放了仓库的高端存
储25T;释放了仓库额外50%的计算能
力;同时通过新平台将传统仓库的详单
数据的存储周期从60天提升到210天。
37
典型案例3:基于应用平台,实现自主取数分析
客户现状:
1、业务部门需要开展营销活动或进行业务分析,则以工单形式要求IT部门临时统计或取数。
2、IT部门投入8个人负责对口,每个月完成临时统计300次以上,处理数据稽核90次以上。
38
典型案例4:通过数据提速,帮助实现实时运营
指标名称 维度 说明
移动新增客户数
地市->营业厅,
渠道
实时
联通新增客户数 地市 <5秒
电信新增客户数 地市 <5秒
业务办理量
地市,业务类型,
渠道类型
实时
计费时长
地市,长途类型,
漫游类型
实时
流量
业务类型,终端
类型
实时
通信用户数 地市 <8秒 实时刷新展示。由后台数据驱动的。只要数据有变化,直
接更新到前端界面
客户现状:
1、3000千万在网用户,1300万竞争对手用户,希望做到实时比对
2、当前数据获取和加工展现周期为1天,对于业务人员来说,只看到前一天数据
主要内容
产品概述
架构功能
部署实施
应用案例
联系我们
39
主要联系人信息
40
数据资产梳理与规范制定
提升数据资产应用效率
助力数据资产开放运营
公司:环球第一数字资产交易所
部门: 大数据事业群 数据资产管理部
姓名: 武 鹏
职务: DACP总裁
手机: 13601375226
邮箱: niurx88@
微信: 牛 市