数据模型&数据资产管理&数据安全
敏捷,生态,智能
2022
@2021 Datablau All right d
Databla某著名企业)
@2021 Datablau All right d
数据治理驱动数据赋能之路
敏捷,生态,智能。
总部位于北京
分公司:
1. 上海分公司; 2. 深圳分公司
3. 美国加州Irvine (尔湾) 分公司
办事处:
4. 苏州办事处; 5. 事处
6. 长沙办事处; 7. 济南办事处
80多家客户
金融类; 制造
类 教育类; 政
府类 企事业单
位 ; 其他:
团队构成
业务专家:
技术专家:
产品研发 :
项目交付:
服务支持:
某著名企业-公司概况
• 曾任CA ERwin全球研发负责人,2006年加入CA,十几年经验在数据建模领域,
客户多来自世界500强,美国银行 (BOA) ,SunTrust,AT&T,壳牌等。 深度
参与某著名企业新一代系统数据模型设计。
• 2016年创立Datablau,成功服务多家国内大型企业的数据治理项目,包括人寿
保险,微众银行,国电水电,四川航空,嘉实基金,税务等大型企事业单位,
具有丰富的数据治理项目咨询,管理和实施经验。
• 信通院数据资产专家委员会成员,数据资产白皮书主要撰写人。
• IEEE member, OMG member, DAMA CDMP
• 复旦大学、人民大学、北京航空航天大学 客座讲师
某著名企业创始人
(Allen Wang)
@2021 Datablau All right d
@2021 Datablau All right d
国 家 认 证 高 新 技 术 企 业 , 客 户 是 各 行 业
TOP 10 ,包括华为人寿等巨头企业。
全球数据行业重要成员 , EDW/ DA的贡献
者。
获中国信通院 大数据产品能力评测数据管
理平台认证。
中国电子技术标准化院 ( ESI) 会员单位 ,
参与制定国家数据标准 、 数据管理成熟度
模型DCMM。
拥有多个数据管理相关专利和论文。
拥有八个数据管理相关软件著作权。
某著名企业 -资质与荣誉
@2021 Datablau All right d
Datablau各领域头部客户列举
政
府
教
育
泛
金 融
银
行
保
险
能
源
证
券
基
金
航
空
Datablau产品体系介绍
Datablau产品体系
构建数据标准体系,结合数据模型管控,从源头开始治理,配合质量管控体系,实现资产盘点,最后通过数据服务,达到数据资产变现目的。
数据资产管理平台
Data Asset Mgr
数据模型管控平台
Data Modeler
数据资产目录平台
Data Catalog
数据安全管理平台
Data Security
模型设计 数据资产搜索引擎指标标准管理 数据静态脱敏
标准落标
协作共享
元数据管控 数据资产目录 智能数据分类分级
数据质量管理 数据地图 数据安全网关
模型管控
模型盘点 数据血缘与图谱
数据资产门户
数据服务
基础标准管理 集中用户确权
数据动态脱敏
@2021 Datablau All right d
指
数据战略
要
开发应用
导 求
数据生命理
数据管理
数据治理规划 数据管理战略及规划 数据管理政策及制度 数据管理组织及职责
数据
服务
数据字典 数据地图
血缘分析 治理评估
数据
共享
Datablau数据治理架构
Datablau数据治理体系是一个“梳理资产+数据管控+支撑开发+数据服务”的体系
数据治理管控落地
技术融合
数据需求开发 数据仓库建设 数据成熟度评估数据决策应用
自然语言智能分析 分布式数据服务
数据模型管理 可信源管理 数据标签管理
数据质量管理数据标准管理 数据认责管理
数据安全管控
资源目录管理
人工智能学习
@2021 Datablau All right d
微服务架构 流加工技术
数据发布 数据访问
1 数据资产目录
…
2 数据标准
业务
术语
数据
标准
L1 主题域分组
L2 主题域
L3 业务对象
L4 逻辑数据实体
属性
数据模型
客户
线索 机会点 客户合
同
业务术语
业务对象在企业
内的统一定义
数据标准
企业内需共同遵守的
数据含义和业务规则
数据分布组件
表达数据在业务
流的流转
表达数据在IT系
统的流转
定义数据产生的
源头
信息架构
• 数据在业务流程和IT系
统上流动的全景视图
• 识别数据的 “来龙去脉”
• 定位数据问题的导航
• 通过E-R建模实现对数据
及其关系的描述
• 指导IT开发 ,是应用系统
实现的基础
• 业务定义的规范
• 统一语言 ,消除歧义
• 为数据资产梳理提供标
准的业务含义和规则
• 通过分层架构表达
• 对数据的分类和定义
• 厘清数据资产
• 建立数据模型的输入
Datablau数据治理实施路径
@2021 Datablau All right d
数
据
分
层
结
构
数
据
标
准
组
件
数据模型 3
数据分布 4
数据流
数据源
信息链
L5
数据应用与服务 数据需求管理
数据修改与质量提升需求人工智能
数据管理制度与流程数据管理组织与职责
数据质量管理
维度信息管理
智能化标准管理
数据架构与共享管理
数据安全管理 元数据管理 主数据管理
主数据标准 /规范 数据安全管理策略
数据分类分级 数据加密与脱敏 元数据血缘解析 元数据服务 主数据模型 主数据服务
数据治
理审计
质量
审计
合规
审计
安全
审计
数据治理流
程管理工具
数据质量检核
数据质量分析
数据质量改进
Datablau数据治理功能架构
数据治理与管理战略规划 数据治理与管理实施路线 数据治理与管理绩效评估
价值层
治理层
外部数据采集采购需求应用层
管理层
基础层
算法应用
报表服务 数据取用与分析需求 系统及数据产品开发需求数据服务产品化
业务数据流
数据交换标准
数据采集规范
物理数据模型
数据管理组织架构
数据服务标准
企业数据架构
数据模型管控
概念数据模型
数据模型分布
逻辑数据模型 数据词典 /标准代码
指标数据标准
基础数据标准
数据管理制度及细则文档数据管理与职责 数据管理制度框架
数据质量规则
数据质量探查
@2021 Datablau All right d
元数据自动采集 元数据标签管理数据安全服务 主数据分类与定义
数据应用与
服务工具
元数据管理
工具
数据标准管
理工具
数据质量管
理工具
主数据管理
系统
数据安全
工具
数据共享
工具
数据战略与规划
数据模型管理 数据标准管理
技术支撑
Datablau数据模型功能架构图
@2021 Datablau All right d
• 对于商务套件类、
第三方产品类系
统不涉及。
• 自主研发类、 且
为关系型数据库
通过逆向或正向
工程导出模型
……
..
统一模型工具 模型库
增加模型评审环节 ,领域架构师、 企业架构师负责
模型的评审 ,通过资产平台进行完整性检查
部署生产环境后 ,通过数据资产平台检查并监控模
型的一致性、 完整性并出具相关报告
Datablau模型管控体系
存量系统
新建系统
元数据完整性报告
一致性报告
模型完整性报告
@2021 Datablau All right d
模型变更监控
模型采集与解析
完整性、一致性检查与监控
通过统一的建模工具 ,进行模型设计
DATAASSE
T
数据资产平台
DATAASSE
T
数据资产平台
导出上传
模型文件
导出数据库脚本
存储 、 查
阅
数据资产管理员
数据资产管理员
完整性检查
事前
统一
事中
评审
事后
监控
模型审核 模型采集
逆向工程
系统架构师 企业架构师
领域架构师
设计
设计
协同
将DDM纳入开发投产流程后 ,各业务模块需要进行模型迁移 ,并使用平台提供的典型能力进行进行模型设计、
开发测试和投产。
模型导入-通过导入工具, 将
PD 、 ERWin等工具的模型导
入 DDM中。
反向工程 – 通过直联数据库
的 方式, 反向生成模型。
信息补全-补充模型中缺失的
字段信息, 例如字段中文名
称
模型设计 - 使用客户端设计
器 进行模块设计与维护
影响分析 - 设计阶段能够显
示 模型的修改对下游系统的
影响
字段引标 - 设计工具中能够
引 用数据标准
任务管理 - 提交模型时需要
与 JIRA任务进行关联
分支管理 - 按照行内推荐的
最 佳实践进行分支管理, 分
支间 按照任务进行内容合并
模型评审 - 模型的变更必须
经
DDL校验 - 将投产DDL与模型
工具导出DDL比对 。 对于不匹
配的部分, 近期可以人工确认,
远期改为系统认定。
Datablau模型管控体系与数据开发
模型导入 投产阶段设计阶段 开发测试阶段
@2021 Datablau All right d
过线上评审
数据模型按照开发与测试环境进行对应的版本管理 ,形成开发、 SIT、 UAT、 版本等分支进行管理 , 并形成统一的
分支管理策略。
设计态 ( DataBlau) 运行态 (元数据)
Datablau模型分支管理策略
开发
UAT
SIT
版本
@2021 Datablau All right d
元 数 据 管 理
元数据分类
元数据: 是指对数据资产进行汇总 、 描述 、 分析并提供可视化血缘分析 、 影响性分析能力, 实现更方便检索 、
使用或
管理的结构化数据 。 元数据是数据资产共享和交换的基础与前提, 可以被视为公司信息资源地图, 指引信息资源的获取
与访
2. 如何快速直观识别某一数据结构变更对数据应用系统的影响
@2021 Datablau All right d
元数据应用价值
1. 如何及时全面了解各个系统中的数据结构和存储情况
业 务 元 数 据
面 向 业 务 分 析 人 员 , 是 对 数 据 和 处
理 规 则 的 业 务 化 描 述 , 主 要 包 括 业
务 规 则 、 业 务 术 语 、 指 标 业 务 口 径 、
信 息 分 类 等
面 向 技 术 人 员 , 偏 重 数 据 结 构 和 数 据 处
理 细 节 方 面 的 技 术 化 描 述 , 是 用 于 开 发
和 维 护 数 据 的 基 本 信 息 , 主 要 包 括 源 系
统 接 口 规 范 、 数 据 结 构 的 描 述 、 数 据某
省市 定 义 描 述 以 及 数 据 处 理 过 程 的 描 述
等 信 息
面 向 数 据 运 维 管 理 人 员 , 是 对 运 维 管 理
相 关 信 息 的 描 述 , 主 要 包 括 系 统 运 行 环
境 、 管 理 流 程 、 人 员 职 责 、 工 作 内 容 分
配 描 述 等 信 息
Datablau元数据管控体系
问 ,从而提升公司数据资产的可用性。 技 术 元 数 据
管 理 元 数 据
@2021 Datablau All right d
Datablau元数据管控体系
比较
引擎
生产库
数据仓库数据库
基于Datablau DAM的元数据库和模型库, 应用模型自动比较引擎功能, 将模型库中设计态模型与元数据库中运
行态模型进行比对, 获取模型差异, 及时发现” 模型两”情况, 并通知相关方处理“两态模型”不一致问题。
新增 变化 缺失
表 5 4 4
字段 3 10 2
视图 1 0 0
生产数据库
元数据
库表结构
中心模型库
Datablau元数据管控与模型管控联动
Datablau DAM (模型库服务器)
@2021 Datablau All right d
xxx数据库差异报
告
生产库元数据模型库基线模型
自动采集
自动比较引擎
发送通知产生报告
Datablau 数据
标 准 管 理 体 系 ,
通 过 基 础 数 据
标 准 流 程 化 管
理 、 指 标 数 据
标准流程化管理 ,
实 现 数 据 标 准 体
系 建 设 。 平
台 通 过 智 能 化
辅 助 功 能 , 提
供 自 动 化 数 据 标
准 推 荐 、 智
能 核 标 、 自 动
核 标 能 力 。 结
合 数 据 资 产 平 台
, 提 供 数 据 标
准 共 享 服务。
Datablau数据标准管理体系
@2021 Datablau All right d
Datablau数据标准管理体系-基础类数据标准
基础类数据标准设计思路 – “从无序到有序” ,建立基础数据的标准规范体系。
§数据项应遵循的标准属性和业务规则的统一定义与解释。
包括归属主题、子主题、 中文名称、英文名称、业务定义、标准来源、遵循级别、
敏感性分级、数据类型、数据长度、所属部门、标准状态、发布日期、停用日期
等。
§明确数据标准定义中所涉及的代码取值和业务含义 。
包括代码编号、代码中文名称、代码值、代码项名称、代码描述、代码值编码规
则。
标准属性
§主题定义: 明确业务主题 (如合约) 的概念、本质与内涵。
§主题基础分类: 明确业务主题在企业的分类体系。
主题定
和分类
数据标准的
核心内容
@2021 Datablau All right d
标准代码
义
指标定义
• 管理分析
> 服务于管理层和管理工作 , 为监督与控制达成
企业整体效益目标、 按照一定统计学方法而进行
的统计分析
• 管理分析类指标: >
定量的评价
> 在企业范围内是一致和通用的
> 反映的是企业总体经营状况及发展趋势 ,在统
计分析、 管理决策中占据重要的地位
> 使用者层次高
> 受关注度较高
5
加
汇总 (Amount) : 多用于各类金额
方 计数 ( Count) : 多用于交、 客户数
1
2
3
4
统计维度:
指标分析的视角与汇总的粒度。维度主要用来描述在
业务活动中会从哪些角度对指标进行使用和分析。
统计口径:
指标的统计限定条件或取数范围描述 ,主要用于补充
无法用计算公式部分进行描述的部分 ,其中也包括对
取数过程中需要用到的判断信息项界定条件的描述。
计算规则:
指标的计算方法描述 ,主要是指标通过取哪些数据进
行运算。对运算关系的描述包括+、 -、X、/、Σ等 ,
其中既包含直接计算关系 ,也包含所涉及的子项的计
算关系
Datablau数据标准管理体系-指标类数据标准
指标标准设计思路 – “从纷繁到简明” ,基于度量、 维度、 口径、 计算规则与加工方式的指标标准设计框架。
度量:
指用于对事物进行衡量的基本单位 ,如金额、笔数、
用户数、客户数等。
例如: 资产总额、 负债总额、 营业收入
例如: 设备台数、 供应商数量、 员工人数
比率 ( Ratio) : 多用于结构分析、 绩效衡量 例如: 流动比率、 资产负债率
样
例
方
案
@2021 Datablau All right d
工
式
数
据
标
准
应
用
加 载
数
据
标
准
维
护
Datablau数据标准管理流程
数据标准管理流程设计
书同文、 车同轨: 制定并实施统一的数据业务标准、 数据技术标准 ,形成统一的数据标准体系。
Y
@2021 Datablau All right d
No No
Y
数据标准
1
数据管理人员
开发 、建模人员
3
组装 数
据模型
2
数据建模
工具
Datablau数据标准落标
数据库
@2021 Datablau All right d
关
联
同
步
4
变 更 DDL
导
入
我们将根据现状调研及各业务部门反馈 ,梳理重要业务系统 ,确定数据质量探查范围。 通过数据质量检核规则探查关键数据质量并形成重要业
务系统数据质量报告 ,并结合数据标准给出数据质量提升解决方案。
Datablau数据质量管控体系
@2021 Datablau All right d
Datablau数据质量管控体系
质量规则管理 检核任务管理
规则模板 数据标准
自定义质量规则
质量规则库 质量问题库
业务
系统
规则检
核引擎
运行维护
创建检核任务 登记质量问题 规则分析报告
ODS
问题分析报告
解决方案/知识库
问题处理和分发
驾驶舱
分析报告
在ODS上检
核问题
Moia调度手工调度
@2021 Datablau All right d
质量问题管理
在业务系统
上修复问题
分析报告
定期入仓
处理周
期
影响程
度
问题级
别
形成问题解决闭环路线图,
控制和预防问题的产生
系统类
关键数据不能使用
部分数据不能使用
数据能使用但精度稍低
数据质量问题
Datablau数据质量分析思路
统计、分析及沉淀
问题解决 ,进入知识库
两小时
当日
月底前
非常严重
严重
比较严重
一般严重
业务变
更导致
统计逻
辑变化
新增业
务导致
统计逻
辑变化
部门统
计口径
不相同
评
估
指
标
方
法
评
估
指
标
分
类
@2021 Datablau All right d
…
…
重
复
数
据
值
缺
失
代
码
值
为
空
主从
数据
关联
缺失
格
式
不
正
确
数
据
精
确
度
…
…
1
2
业务类
3
数据质量提升
数据质量管理部门&相关部门&IT项目组
提出 核准 生
成
• 分析 、 汇总并确认各相关部门提交的度量规则
• 据此制定数据质量检核方法
• 冲突或歧义的数据协调解决
业务部门分析:
业务流程 、 业务操作规
范 性 、 管理制度, 以
及IT系 统需求等
IT项目组分析:
数据模型设计 、 IT系统
功 能等
Datablau数据质量管理流程
检核结果
开展检核
检核方案
组织检核
提交问题
组织 分析
数据质
量提升
的IT系
统改造
数据质
量提升
的业务
优化
历史数
据质量
提升
问题报告
数据质量管理&业务&IT
数据质量管理&业务&IT
数据质量管理部门
业务部门
数据质量管理部门
数据质量管理部门
编写工
作总结
报告
评估 检查
@2021 Datablau All right d
问题发现 问题分析
考核对象和内容
数据治理办公室:年度工作完成度评估,
治理工作推进,核心报表质量, 数据
质 量问题整改效果
相关部门考核:治理工作协同评估,核心
报 表质量,业务系统关键信息评价,数据
质量 问题整改效果
分支机构考核:数据录入质量评价,治理
工 作协同评估,核心报表质量,数据质量
问题 整改效果
总部层面: 数据治理办公室负责全面数据考核的统一制定和管理,主要职责包括:
( 一) 制定数据质量考核指标和考核办法;
( 二) 保证采集的考核指标的真实性 、 准确性 、 完整性,规范各类指标采集的内容 、 方法 、 步骤
和标准;
( 三) 数据质量考核工作由数据治理办公室会同人力资源部组织实施;
护工作,及时发现并向总部相应条线部门反映数据质量问题,
参与数据质量问题分析以及数据质量整改 、补录等提升工作,
落实总部有关数据质量管理的工作要求。
主要考核基础
数据源
配置数据源
定义指标
配置指标公式
配置考核对象
配置考核方案
明确考核范
围 、考核对
象
Datablau数据质量考核建议
分支机构层面: 按照业务流程进行日常数据录入和
维
(四) 负责数据质量考核的其它工作。
数据质量考核数据质量认责 数据质量检查
@2021 Datablau All right d
输出考核结果
组织与职责
考核流程
Datablau数据质量平台功能架构
@2021 Datablau All right d
数据发布
反馈
审核管理
数据服务执行
任务实例调度
Datablau数据服务体系
数语科技数据资产服务平台 ,基于数据平台的数据资源管控 ,通过数据封装 ,形成数据资产分类管理和API接口 , 以实时、 非实时的方式统一对
流程监控
数据中心
使用者
外提供数据服务。 数据服务平台可实现产品封装、 申请审核、 发布流程化管理 ,满足平台对数据服务需求。
数据建模
ETL
提供者
@2021 Datablau All right d
• 流程触发方式
• 产品交付方式
• 其他配置
映射规则
样例数目配置
脱敏规则
任务定义规则配置
流程实例
数据服务列表
发布规则配置
数据服务
申请服务
数据装
载
获取
定义
流程调度
服务申请
模型创建
审核反馈
•
•
•
•
•
• 1、 平台开发通过应用ID、
加密串token、 请求API参
数和调用方法;
• 2、应用采用Http (post
get) 请求RESTful API的
方式向API接口服务器
(web server) 发起数据
调用
设备信息API
… …
服务管理
申请服务
决策分析
Datablau数据服务体系
总部 地区公司1 地区公司2 地区公司3
API封装
安全认证服务
接入管理
@2021 Datablau All right d
门
户
应
用
层
数
据
共
享
服
务
第三方应用
RESTful
1
2
工程信息API
开
发
者
指标库API场站API
经分API
发布
… …
Datablau数据服务平台功能架构
@2021 Datablau All right d
Datablau数据资产管理体系
数据资产目录视角
• 数据主题视角
• 信息系统视角
• 业务主题视角
• 业务场景视角
• 业务流程视角
• 数据服务视角
面向技术
面向业务
数据分析
业务场景分
支撑企业数据及业
务运营
行业数据模型 遵循企业数据战略
参考对象 设计路线
数据中台主题
业务标准
数据分类分级标准
数据仓库主题
业务中台主题
数据服务分析
业务事项分析
业务流程分析
数据安全分析
重点数据资产优先
数据资产目录框架设计方法
@2021 Datablau All right d
析
产品基本
信息类
主题域
产品 类别信息
类别信息
......
基本信息
根据对华夏基金各业务系统数据资产现状摸底整理分析,结合数据资产盘点涉及主题域定义及范围和基
金证券行业数据模型分类,运用自上而下和自下而上方法梳理;参考数据中心、运作部和金融科技部数仓团
队的反馈建议,将产品、参与人、资讯及渠道主题域资产目录进行分类分级。
数
据
资
产
分
类
盘
点
案
例
账户信息
......
资讯
金融工具
......
自上而下梳理分类
确定数据资产盘点主题域分类
自下而上总结分类
示
例
参与人
渠道
......
10个二级分类:
产品基本信息、产品费用信息、产
品岗位信息、产品运作管理信息、产
品类别信息、产品评级信息、产品评
价信息、基金、资产单元、组合;
16个三级分类:
基金基本信息、投顾产品信息、管
理费、转换补差费、销售服务费、尾
随佣金、业绩报酬、产品管理负责人、
产品认责部门、基金会计、投资经理、
产品公告信息、产品参数控制信息、
产品生命理、产品满意度调查、 产品
投后评价。
数
据
资
产
分
类
盘
点
案
例
产品主题域资产目录分类
6个二级分类:
渠道基金信息、渠道类型信息、
渠道岗位信息、渠道费用信息、渠
道管理信息、渠道存量信息;
5个三级分类:
渠道名称信息、渠道编码信息、
渠道联系信息、直销渠道、代销渠
道。
数
据
资
产
分
类
盘
点
案
例
渠道主题域资产目录分类
6个二级分类:
参与人基本信息、参与人管理信息、参与人账
户信息、参与人资产信息、参与人合同信息、
参与人交;
18个三级分类:
客户基本信息、管理人基本信息、基金服务机
构基本信息、客户管理信息、营销活动信息、
涉税信息、反洗信息、客户账户信息、 管理
人账户信息等;
35个四级分类:
客户编号、身份信息、联系信息、客户类型、
银行卡信息、客户信息变更历史、员工信息、
机构基本信息、托管与结算机构、销售支付机
构等。
数
据
资
产
分
类
盘
点
案
例
参与人主题域资产目录分类
3个二级分类:
标的主体信息、金融工具信息、资讯管理信息;
11个三级分类:
基本资料、财务报表、信用评级、股票、固收、
港股、基金、期货、期权、指数、汇率;
37个四级分类:
基本资料、交易、分红、沪深港通、可转债信
息、资产支持证券信息、发行与承销、付息兑
付、含权行权信息、行情、估值、利率信息、
债券担保、债权评级、债券违约、债券衍生等。
数
据
资
产
分
类
盘
点
案
例
资讯主题域资产目录分类
@2021 Datablau All right d
数据资源目录可视化
数据关系维护页面
数据资源目录服务
数据目录服务
数据目录订阅管理
数据共享交换管理
数据资产评价
底层处理组件支撑
工作流处理组件
目录树维护组件
数据资产管理平台为数据资产管理体系的落地提供有效支撑。
通过数据资产管理平台 , 可持续进行数据资产目录管理、 元数据管理、 数据标准管理、 数据质量管理、 数据共享交换服
务等数据治理工作 ,夯实企业数据治理成果 ,提升数据质量 ,推动企业数字化转型。
目录分类管理
主题域管理
目录权限管理
Datablau数据资产管理平台
标签目录管理
标签管理
标签映射管理
数据资产目录模块功能
数据维护组件
搜索组件
标签维护组件
页面拖拽组件
批量导出组件
版本管理组件
数据地图展示页面
数据安全展示
数据标准展示
数据血缘展示
数据关系展示
标签维护页面
数据质量展示
信息展示组件
批量导入组件
目录维护页面
元数据展示
标签维护目录维护
处
理
层
表
现
层
业
务
层
支撑工具
身份与权限管理 数据保护与审计 数据防泄漏 数据加密 数据脱敏
数据全生命全管控
数据采集 数据传输 数据存储 数据使用
数据共享 数据销毁
检测响应能力
环境感知 、 行为分析
阻断 、脱敏 、 隔离 、 防泄
漏
识别发现能力
数据发现 、 分类分级
数据安全策略管理
推进数据分类分级标准落地, 构建覆盖数据生命 、 数据全流转过程 、 数据全处理场景的整体数据安全管控体系,做到
大数据场景下的数据不失控, 不被盗用, 不被误用, 不被
滥用
Datablau数据安全管理体系
认证 、赋权 、特权账
户
加密 、脱敏...
确定数据权限策略
数据分类分级
数据资产梳理
数据控制权转移
@2021 Datablau All right d
业务战略 合规 责权划分
安全保护能力
分析运营
技
术
管
理
数据资产和安全管理
盘点分类 数据资产目录 访问控制
数据安全框架
数据申请
资产盘点
访问等级
数据治理
Datablau数据安全管理体系
OLAP OLTP
安全定密 数据资产 白名单
数据安全分类
数据标准治理 血缘关系治理敏感数据识别
数据安全管理制度 数据安全共享制度
数据安全分级 组织人员
脱敏函数
数据服务API 即时查询动态脱敏
脱敏规则
脱敏数据流
访问策略
@2021 Datablau All right d
数据安全
应用
数据安全
访问引擎
静态脱敏工具
组织机构
数据库
认责定级
@2021 Datablau All right d
Datablau数据安全管理功能架构
Datablau数据安全管理体系
针对企业数据安全进行监测管控,展示重点数据安全统计指标
@2021 Datablau All right d
独立 、 高可用 、 高性能
数 据安全网关, 实现数据
的查询、 分析 、 封装 、 安
全控制 。 可实 现数据行级过
滤 、 动态加密 、 脱敏。
1. 支持对接多终端应用,
包括各类型报表 、 应用系统 、
APP 、 数据库开发客户端等。
2. 支持和兼容多类型数据
库对接, 包括结构化 、 非结
构 化数据库, 国产和非国
产化数 据库。
3. 独立, 安全可 靠。
Datablau数据安全网关
@2021 Datablau All right d
从管理角度:
1. 缺乏工具 ,无法形成企业级数据模型集中管控的目标 ,数据模型资产分散 ,管理能力匮乏。 模型安全性、 稳定
性、及时性问题会逐步显现。
2. 模型管理要求无法落地 ,数据开发上线规范无法落地。 随意性较强。 导致无法进行源头设计质量控制; 出现生
产问题的风险较大。
3. 无法提供模型设计— 》审核模型--》开发生产的管理能力。 无法通过报告的方式 ,清晰展示设计成果。
从数据架构角度:
1. 无法通过工具进行集团总体逻辑数据架构、 物理数据架构设计。
2. 对于数据架构调整 ,缺乏影响性分析能力 ,无法从全局进行考量 ,增加了模型变更的风险。 无法保留历史数据,
无法比对。
3. 对于治理过程中积累的集团层面的标准信息 ,元模型信息无法进行落地使用。 标准化和一致性要求无法推进。
4. 应变能力差 ,共享能力不足 ,继承能力欠缺。 知识难以传承。
没有模型工具
数据模型管控工具知识点
为什么需要模型工具
@2021 Datablau All right d
生产数据库
1. 脚本发布 、执行 - 测试
环境
2. 脚本发布 、执行 -
数据开发发布平台
Git Repository
开
发
平
台
数语DAM服务
(Tomcat)数据推送至GFS
搜索引擎支撑广
发数据资产目录
Nginx同源访问
数语DAM页面
(数据标准 、 码值 、 词根
)
数语DDM Server
(模型服务)
模型/数据标准
数据库
1.
码值同步
3.
通过开发平台直接访问数语DDM
数语DAM自动扫描模型引用的数
据标准并关联至脚本发布 、 执
行 后的生产数据库上, 实现数
据标 准从设计端到生产端的拉
通
数语建模工具
DDM Client
数语建模工具
DDM Client
系
统
功
能
架
构
Server待
发布的数据模型, 并通过数语提供的API
将 数据模型转换为SQL脚本直接形成开发
平 台的项目工程文件, 后续通过已有
的项目 测试 、 发布流程发布可执行脚
本至测试或
数据API功能:
1. 数据模型目录 、 版本的全量
信息
2. 数据模型自动生成DDL脚本
3. 数据模型数据标准应用情况
模型DDL语句执行后触发元数据采集, 同时主动上
报让DAM数据源和模型做自动关联 ,拉通数据标准
Client
单
点
登
录
/
免
鉴
权
iframe方式嵌入至GFS
数据标准同步
2.
命名词典同步
元数据采集及版本管理
模型及元数据比对
数语建模工具
DDM
数据管理平台
支持全量和增量脚本发布
传递userinfo标
识
协同建模
生产数据源
生产环境
21 3
元数据采集
与管理
模型评审
模型发布
数语
DAM服务
DDL作业
提交与发布
模型设计
引用数据标准
模型保存
模型提交
模型报告:
• 设计描述及评价
• 数据标准合规率
• 数据规范评分
• 模型设计问题集
符合发布要求的模型及其元数据
DDL脚本;
ETL脚本 (可选)
1和2暂用数语的DAM页面及服
务 , 将数据标准 、 码值 、
词根 提供给建模;
数语DAM服务及DDM服务保留
API对接能力, 一方面让GFS系
统已有的数据标准 (发布后)
及元数据数据推送至DAM, 另
一方面数语DAM及DDM系统能
够对接GFS已有的workflow实现
符合实际管理要求的模型/数据
标准审核 、 发布流程
数语
DDM建模工具
脚本发布并在生产库执行后 、 通知数语DAM触发元数据采集及数据标准自动同步
开发环境
测试库
生产库元数据与模型自动关联 、 差异比对; 数据标准自动同步至元
数据
生产库
数语能力/服务
DDL作业开发
标准定义
标准发布
词根管理
数据治理 、 业务
owner
@2021 Datablau All right d
数语
DAM服务
数据建模师 GFS数据中台功能
数据开发 数据运维
数据标准 、 码
值
图示说明:
标准评审
DDL脚本
❷
❹
❸
❺
❶
❻
词根
1. 丰富的案例: 丰富的银行 (建行、 交行、 平安、 民生、 邮储; 中原银行等各城商行) 、证券、 保险、
基金、 制造业数据治理案例。
2. 完善的平台产品体系: 包括最专业、 最完善的国产化数据建模工具; 最智能、 最灵活的数据治理平台、
最高效、 最全面的数据资产服务体系。
3. 成熟的集成能力: 某省市场主流中台产品、 客户现场的服务环境 (单点登录、 流程引擎等) 进行对接。
4. 完整的人员结构: 包括专家咨询团队、 产品研发团队、 治理实施团队、 售后维护团队 ,涵盖数据治理
咨询、 平台服务、 治理实施落地服务等各阶段、 各类型人员需求;
5. 权威的行业影响力: 数语科技作为全球数据行业重要成员 , EDW/DA的贡献者 ,获得中国信通院认证,
同时作为中国电子技术标准化院会员单位 ,参与制定国家数据标准、 数据成熟度模型DCMM。 拥有多项
专利和论文 ,参与编写和独立发表关于数据建模、 数据治理相关书籍。
6. 信创目录: 数语科技根据DAMA理论和中国国情独立研发的数据建模工具与新一代数据资产管理平台,
作为首款信创数据治理产品发布于 “基础软件-数据治理” 信创目录。
Datablau优势总结
@2021 Datablau All right d
生态
01
Datablau
平台特点
智能
03
智能
自带行业知识 ,降低治理门槛,
通过AI和机器算法智能治理 ,
使用大数据治理大数据
事前事后结合 ,治理应用结合 ,相互支持 ,共同参与,
共享共建打通数据环节 ,建设数据全生态治理
创新数据模型工具 ,改变传统数据治理的形式、
工具 ,引领国内数据治理潮流
@2021 Datablau All right d
02
创新
生态
总结
创新
2021
@2021 Datablau All right d
感
敏捷,生态,智能
Databla某著名企业)