A-PDF Watermark DEMO: Purchase from to remove the watermark数据架构及数据建模 2012. 09. 14 SACC2012
Contents 1 数据发展趋势 2 数据架构 3 数据建模 4 逆向建模
Ⅰ1 数据发展战略 SACC2012
04与数据相关的技术 BI : Business Intelligence Data Migraiton Data Governance Data Mining Data Integration Data Modeling Data Quality Data Profiling Data Warehouse Data Visualization ETL Database Marketing MDM ( Master Data Management ) Database Application Performance BPM ( Business Process Management ) Databases Content Management DW Design, Methodoloty CRM ( Customer Relationship Management ) EA ( Enterprise Architecture ) CDI ( Customer Data Integration ) EAI ( Enterprise Application Integration ) Customer Intelligence Metadata Management Data Acquisition, Replication Operational Data Store Data Analysis RTE ( Real-Time Enterprise ) Data Architecture SOA ( Service-Oriented Architecture ) Data Management Data Marts
05数据趋势 IDC estimates that the world will reach a zettabyte of data (1,000 exabytes or Quantity1 million pedabytes) in 2010 Mearian, Lucas. “A zettabyte by 2010: Corporate data grows fiftyfold in three years.” Computerworld, March 6, 2007. Process failure and information scrap and rework caused by defective information costs the United States alone $ trillion or more. Gartner, Inc press release. “'Dirty Data' is a Business Problem, Not an IT Problem, Says Gartner,” March 2, 2007. Best-practice data quality programs are not a one-shot measure (clean up and move on)... To achieve such results, successful programs identify the organizational Quprocesses behind data quality. Much like regular IT housekeeping, from virus scanning ality or performance monitoring to data backup, the data quality program becomes part of daily IT routine. English, Larry. “Plain English about Information Quality: Information Quality Tipping Point.” DM Review, July 2007. Over the next two years, more than 25 percent of critical data in Fortune 1000 SACCcomp2anies0 will 1conti2nue to be flawed, that is, the information will be inaccurate, incomplete or duplicated… “Organizing for Data Quality.” Research note from Gartner Inc., June 1, 2007.
06数据趋势 Data governance (DG) refers to the overall management of the availability, usability, integrity, and security of the data employed in an enterprise. A sound data governance program includes a governing body or council, a defined set of procedures, and a plan to execute those procedures. Many companies have difficulty keeping data consistent, synchronised and in a high quality state, Data needs to be managed in a robust way, so Data governance is needed. Governance Data governance processes can be automated using data services built using workflow and deployed on a data Management platform Enterprise data governance requires systematic implementation of common processes via re-usable services on a data management platform. Mike Ferguson “Accelerating Enterprise Data Governance” Intelligent Business Strategies. December 2007
07Data Governance Maturity Model HIGH Think Locally, Think Globally, Think Globally, Think Globally, LOW Act Locally Act Locally Act Collectively Act Globally MDM DQMS SFA : Sales Force Automation BPM CRM Integration ERP GovernaCDI nceData Warehouse PDM SFA DatCDI : Customer Data Integration MDM : Master Data Management abase LOW MarketingPDM : Product Data Management BPM : Business Process Management HIGH UNDISCIPLINED REACTIVE PROACTIVE GOVERNED SLAOW CPeopleC, Polic2ies, 0Techn1ology2 Adoption HIGH ‘The Data Governance Maturity Model’, 2007, DataFlux Reward Risk
Ⅰ2 数据架构
0Enterprise Architecture Framework 8 详细内容依据6W原则设计 DATA What FUNCTION How NETWORK Where PEOPLE Who When MOTIVATION Why SCOPEList of Things Important List of Processes the List of Locations in which List of Organizations List of Events Significant List of Business Goals/Strat to the Business Business Performs the Business Operates 继承关系Important to the BusBusiness iness to the C ONTEXTUAL PlannerENTITY = Class of Function = Class of Node = Major Business BuPeople = Major OrganizationEnds/Means=Major s Time = Major Business Event siness Thing Business Process Location Critical Success Factor 概念. Semantic Model . Business Process Model . Business Logistics S ystem . Work Flow Model . Master Schedule . Business Plan EMNTERPRISE ODEL CONCEPTUAL OwnerEnt = Business Entity Proc. = Business Process Node = Business Location People = Organization Unit Time = Business Event End = Business Objective Reln = Business Relationship I/O = Business Resources Link = Business Linkage Work = Work Product Cycle = Business Cycle Means = Business Strategy . Logical Data Model . Application Architecture . Distributed System . Human Interface . Processing Structure . Business Rule Model 逻辑Architecture Architecture SMYSTEM ODEL LOGICAL Node = I/S Function Ent = Data Entity Proc .= Application Function (Processor, Storage, etc) People = Role DTime = System Event esigner Reln = Data Relationship I/O = User Views Link = Line Characteristics Work = Deliverable CCEnd = Structural Assertion ycle = Processing ycle Means =Action Assertion . Physical Data Model . System Design . Technology Architecture . Presentation Architecture . Control Structure . Rule Design 物理TECHNOLOGY MODEL PHYSICAL Node = Hardware/System Ent = Segment/Table/etc. Proc.= Computer Function SoftwareEnd = Condition People = User Time = Execute Builder Reln = Pointer/Key/etc. I/O = Data Elements/Sets Link = Line Specifications Work = Screen Format Cycle = Component Cycle Means = Action . Data Definition . Program . Network Architecture . Security Architecture . Timing Definition . Rule Specification DETAILED REPRESENTATIONS OUT-OF SCONTEXT CAPontractoCrEnt =Pro Fieldc.= Language Stmt Node = AddreEnd = Sub-condition sses CReln = Addre2ss 0I/O1 = Contro2l Block Link = Protocols Weople = Identity Time = Interrupt ork = Job Cycle = Machine Cycle Means = Step FUNCTIONING . DATA . FUNCTION . NETWORK . ORGANIZATION . SCHEDULE . STRATEGY TERPRISE
0数据架构流程 9环 境分析 数据库的使用结构，模型CASE TOOL, 环境问题、当前需求、 未来需求 架构定义 数据、数据结构、数据管理流程定义 架构原则定义 确保具有较好的扩张性、运维性、标准化、一致性、整合性，制定管理体系 参考模型选定 先进模型 (ERP, 同行业案例) •逆向建模 AS IS物理模型标准化AS IS逻辑化AS IS概念化 AS-IS架构设计 •数据质量对象指定质量指数制定BR编写数据质量测定 •TO BE概念模型TO BE逻辑模型TO BE物理模型 TO-BE架构设计 •错误分析改善计划制定改善应用目标修订 迁移计划设计 新一代系统构建计划或模型重构计划制定 管理系统构建 构建元数据管理系统，及数据质量管理体系(包括使用质量管理工具) 管理方案设计 设立数据架构管理部门，制定流程
Enterprise Architecture Framework 10 数据 数据架构 数据管理流程 EDA 主题域 (继承关系) 继承关系模型数据管理政策 DA 数据标准 概念模型 标准管理 (概念) (词汇,术语,域) 数据集成架构 需求管理 Modeler 模型数据 逻辑模型 数据模型管理 (逻辑) (模型申请，变更) 物理模型 数据流管理 DBA管理数据 (数据流、备份、验证、数据库 数据库管理 (物理) 使用) SAUseCr (运维)C20业1务数2据 图 数据应用管理 (实际数据用户视)
Ⅰ3 数据模型
数据模型与树的比较 11 叶子 主干 枝干 分支 叶子 枝干 分支 主干 主干 是根本，最上层集合，是中心，一定要稳固，个数少。 枝干 与主干相连，业务上的最上层集合，存在多层，是分支的父母。 分S支 AC 与枝干C相连，2个数0较多1，存2在多处，上面张着叶子。 叶子 处于最底层，描述的是业务处理中的行为，分支类型不同深度不同。
数据模型与树的比较 12 一颗大树 深度很深的树 很矮的树 多颗树 就像树的种类不同，枝干及外形不同一样，行业不同数据模型的骨骼形状也不尽相同。 放射型结构 分层型结构 粗且简单的结构
13数据模型的骨骼 不论是什 么样的模型，整体行为主体 组织Involved Party 形状基本上都是大同小异！！！ A人 法人 ccount Ag/CondProduct/Service reementition 签约/条件 /帐户协议 产品/服务 AcPrice plan Product factory tion data 行为/处理 价格政策/产品工厂 交易 通话 运输 销售 结算 SACC2012
14集成实体的定义原则 集成实体定义的原则 优先定义子实体 优先定义实际存在的物理实体 优先定义比较明确的实体 以实体存在的集合为基准，决定其之上和之下的逻辑集合 主要子实体集成实体 组织 公司 明确的机会 部门Person 删除的集员工 合 负责人 实际存在的物理职位权限 分组 实体 下层逻辑集合 上层逻辑集合
物理个体与逻辑个体 15 SACC2012
16逻辑实体存在的理由 必须在正确的位置定义信息 家庭家庭成员数 住址类型 派出所名称 派出所编号 如不存在家? 庭集合 2人? 限额管理? 1人?
17逻辑实体存在的理由 3代同堂 俱乐部 俱乐部 企业集团 权限组 人 法人 组织 逻辑个体 物理个体的以物理集合为基准， 导出逻辑集合。 会员 业务负责人 代理商 物流公司 SACC2012
Ⅰ4 逆向建模
18逆向建模的定义 基于现有系统中的元数据重新设计数据模型 当前系统缺乏数据模型，模型中存在很多问题，模型错综复杂难以管理时，利用系统元数据信息重新设计数据模型 利用建模工具从DBMS Dictionary或相关文档中收集元数据信息，通过对其中包含的表和列的分析，准确寻找不同实体之间的相互关系。 最终目标 SACC2012
19逆向建模的流程 DBMS, 文件 表定义 类型分析及标准设定 表主题域划分 类型分析 主题域指定 词汇抽取 逆向建模标准化 主体实体分类术语抽取(构建词汇字 典) 行为实体分类 (查找意义上的主语同义词分组 ) 寻找和定义关系 标准术语选定 物理化 英文及缩写设计
逆向建模的流程—1 20 元数据收集及分析 收集 分析结果 表英文名称 表中文名称 表说明 使用与否 付款时使用的方式，现tbl_paymentType 付款方式 金，刷卡等方式。使用 payment 付款 付款信息 使用 Reverse Documentation Ccollect 会费 会费管理表(年会费) 使用 ase Tool META REPOSITORY collect_wait 预付款 预付款信息 使用 contract 合同 合同信息 使用 contract_hist 合同履历 合同履历表 使用 ER-win R-DBcontract_joiner 合同认证 合同的认证管理 使用 request 缴费 缴费信息管理 使用 H-DB staff MA用户 MA用户管理 使用 N-DB, SAM cart 购物框 购物框 使用 BranchClub 加盟俱乐部 加盟俱乐部 预定删除 SCHEMA 信息 BranchDiv 加盟店地址 加盟店地址 预定删除 SACC2012tbl_findBranch_会员信息 会员信息管理 备份 bk
21逆向建模的流程—2 表主题域分类 标准域 分类结果 个体分类 分类名称 表中文名称 客户 客户,公司, 工厂… 客户 商品 产品产品, 检验服务, 费用,打折, 注/服务 册条件… 个体 零件/设备 零件, 终端, 网络设备… 内部组织零件/设备 内部组织 员工, 代理商, 部门, 分公司… 事件 事故, 诉讼 合同/帐户/订购客户帐户,注/采购册, 订购, 采购合同 行为… 合同/帐户/订购/采购 (合同/帐户/订购/采购)详服务合同详细, 订购详细, 采购细 详细 详细内容使用 通话详单, 交易详单… 调整行为 滞纳 电话费, 打折详细… 催费 催款, 催费详细, 销售… 缴纳缴纳 转账 催费手续费， 滞纳 使用 调整 客户投诉，退货，交换 过期延迟 未收，过期帐户…
22逆向建模的流程—3/6 关系查找 关系定义 继承父实体的识别符(键)通过识别符查找与之有关系的实体 关系查找 从对象实体的属性中查找从父实体中继承来的属性，并利用它来找其父实体。 关系结束 绝对关系：父实体的识别符也是子实体的识别符-先有父实体后有子实体 相对关系：父实体的识别符是子实体的一般属性–子实体的辅助属性 关系维持方法 PK: 完整性– 识别符的角色 , FK: 参考完整性 关系难以确认 ERD不完整，为提升DBMS执行速度而未指理由的定FK 辅助识别符滥用，关系模糊 S关系A查找的C方法 C2012真正意义上的主语
逆向建模的流程—3/6 23 绝对关系，继承关系(identification relationship) 两个实体之间存在关系是指子实体继承父实体的识别符，并将其作为关系属性来使用。 朋友 姓名 年龄 出生年月 电话号码 地址 金强 5 017-234-4567 北京市… 张智创 9 010-3033-1234 上海市… 姓名 电话号码 朋友电话 金强 017-234-4567 金强 010-3033-1234 张智创 010-3033-1234
逆向建模的流程—3/6 24 绝对关系，继承关系(identification relationship) 将两个实体之间的关系创建成一个关系实体，并继承这两个实体中的识别符。 客户 姓名 年龄 出生年龄 订购商品商品 库存 单价 金强 1 电话 1 20000 张智创 4 TV 4 30000 客户 商品 金强 电话 金强 TV SACC2012张智创 电话
逆向建模的流程—3/6 25 相对关系, 非继承关系(None identification relationship) 两个实体之间存在相对关系是指一个实体继承另一个实体的识别符属性，但 将其作为一般属性来使用。 朋友 姓名 年龄 出生年月 地址编码 地址名称 金强 1 001 北京市 张智创 4 002 上海市 参考继承 地址编码 地址名称 地址 001 北京市 002 上海市
26逆向建模的流程—4 意义上的重要 个体实体位于最上层，只拥有相对关系，主要以此为基准去查找绝对关系。 行为实体是查找绝对关系父实体的对象->需要使用关联识别符寻找父实体。 利用形成数据的4个原因来验证其正确性。 辅助识别符 意义上的主语(本质识别符) 采购父实体 WHEN? 谁 ? 数据发生的主体 采购编号 WHO? WHAT? 什么 ? 数据发生的对象 材料资料 6W 原则 什么时候? 数据发生的时间 采购部门 在什么地方? 数据发生的场所采购数量 WHERE? 承认数量 HOW部门 ? WHY?管理的属性 供应商 怎么样各种属性采购日期 ? SACC为什2么0各1种属2性内外资区分 ? ………….父实体
逆向建模的流程—5 27 关系确认 材料出库详细? #出库编号 谁 ? 出库区分 什么 ? 出库日期 材料编码 什么时候? 出库部门 使用部门 什么地方? 出库数量 申请日期 出库仓库编号 供货商编号 受理人 部门 员工从属于部门但是需从业务的角度确认数据的所属 员工 所有权如随着受理人部门的改变而改变，则受理人将成为主 体，否则出库部门将成为主题。
28逆向建模的流程—6 逻辑化 客户 客户基本信息 个人客户 86之前客户 企业客户 临时客户 客户详细信息 团体客户 删除未使用表 合并充分实体 垂直分割合并 水平分割合并 个人客户 客户客户 客户 . 客户id . 客户姓名 . 身份证 .兴趣爱好联系方式(p) . 客户ID . 客户名 个人 . 固定电话 企业客户 个人客户 企业客户 . 手机 企业 人员 法人 .客户名 . 家庭住址 .客户id . 身份证号码 .营业执照编号 . 公司地址 .营业执照编号 . 兴趣爱好 .法人代表姓名 团体 . 电子邮件 S. 法人代A表姓名 C 属性C合并 2012 实体详细化 属性详细化
29逆向建模的实际案例
DATAWhatList of Things ImportantSCOPEto the BusinessCONTEXTUALPlannerENTITY = Class ofBusiness . Semantic ModelMODELCONCEPTUALOwnerEnt= Business EntityReln= Business . Logical Data ModelSYSTEMMODELLOGICALEnt= Data EntityDesignerReln= Data . Physical Data Mo30数据架构结构图delTECHNOLOGYMOD EL PHYSICALEnt= Segment/Table/= Pointer/Key/etc.分类体系、DETAILED Data Standard . Data DefinitionIntegrated /DData Quality 标准ata ModREePRl ESENTATIONSRepository 概念模型、DRM申请 EAMS标准单词、术语OUT-OF (新增/变更) 业务规则 域CONTEXT结构信息 主题域、 Integrated Meta 质量检验标准 业务规则 数据标准 命名规则Sub-ContractorEnt批= 准Fiel dRepository (Data Rule) DA、建模人员 集成模型 Re退ln=回 Address 编码 . DATA标准影响度分析ENTERPRISE数据标准 数据质量 检验信息质量检验结果 (错误数据内容) 数据标准 概念、逻辑、物理 数据模型 变 Model更 Viewer DDL生成、DDBM影 S信息 B Creation 响 信 DBMS Catalog数据质量信息 息Application Impact Analysis 应用影响度 抽取 结构信息Inventory 应用程序 统计、分析报告书 Application DBA变更 变更 用户、权限、计划应用结构 RParsing 相关关系epository SACC2012Single Sign On
EN-CORE Data Framework 31 Enterprise Data governance Framework Policy Layer 1 DA团队设计 2 数据管理政策制定 3 数据管理体系制定 Method Layer 1 数据建模 Horizontal method. 2 逆向建模 3 数据库架构 Function Layer 1 数据标准化 2 数据架构 3 数据流程管理 4 数据质量 5 数据库性能优化 Solution Layer Vertical method.
Thank you! SACC2012
