浪潮集团
浪潮MDM+ESB解决方案
企业数据标准化需求背景
主数据管理解决方案(数据标准化)
基于ESB的集成方案(服务标准化)
一、
二、
三、
目录
发展趋势-数据驱动成为集团企业信息化建设的新理念
企业信息系统建设的三种模式:
人力
OA
公文
档案
财务
审计
决策
…
资金
项目
投资
集采
应用+集成
系统按专业分别建立应用
各系统挂接集成总线,实现互联互通
适合多业态集团企业
应用大集中
人力
集采
客户
财务
决策
…
资金
项目
投资
应用驱动型建设理念
一套ERP平台囊括主要应用
平台内实现各专业互联、数据共享
适合单一业务集团企业
企业互联网开放平台+创新应用
战略决策层系统
资源管控层系统
职能管理层系统
生产经营层系统
现场管理层系统
内外协同层系统
数据
资源
空间
先开展数据资源空间建设,各系统按需
从中调取数据使用
适合单一业务和多业态集团企业
数据驱动型建设理念
集团企业信息化管理现状:一物多码
缺乏统一标准,出现一物多码现象,不利于科学的采购决策,导致库存积压。
不利于集团的集中采购,难发挥集中采购优势,增加采购成本。
仓库A
仓库B
物料编号:1234
物料说明:管材 Φ20
数量:50
物料编号:4321
物料说明:管材 Φ20
数量:50
集团库存
报表合并
仓库B504321
仓库A501234
存储地点数量物料编号
工单
物料编号:4321
消耗数量:50
物料编号:4321
物料说明:管材 Φ20
数量:0
仓库B提出
数量为25个的
采购申请
仓库B04321
仓库A501234
存储地点数量物料编号
同意采购申请
实际仓库A有该物料
集团企业信息化现状:系统异构、数据分散、信息孤岛
财务管理
系统
生产
管理
系统
HR系统
……
工程管理系统
综
合
管
理
信
息
系
统
营销
管理
系统
计
划
管
理系统
实现
业务
价值
实现
企业
战略
持续
目标
:
管理
体制
和调
控力
度
不完
善
内部
信息
化发
展
不均
衡
信息
化应
用
单项
应用
、信
息孤
岛
数据
编码
不统
一
业务
流程
不规
范
信息
技术
人员
流失
较为
严重
信息化建设阻力
基础数据不统一,缺少标准化
系统缺乏横向和纵向集成,只能满足部门需求
信息和数据割裂,缺乏完整性、准确性和及时性
备件管理系统
基础设施
IT服务管理与治理
信
息
安
全
IT
组
织
与
能
力
建
设
集团企业信息化建设 推动主数据应用
采用主数据管理系统,为企业提供标准规范的数据环境。
建设期
整合期 提升期
信息化积累初见规模
信息化问题基本暴露
信息化蓝图规划完成
为企业信息化应用提升
创造良好的数据环境
企业信息化标准建设
应建立在事实的基础上
信息
化标
准
提升期
大系统 数据中心
辅助决策系统
整合期
数据集成 应用集成
数据集成 应用集成
建设期
财务系统 物资系统
营销系统 生产系统
缺少标准规范的数据环境支撑
提升的应用系统价值得不到最大化
潜在的问题进一步放大
缺乏标准指导,集成难度大
问题没有得到根本的解决
增加维护成本的支出
业务竖井式的构建模式
纵向独立、横向未打通
信息孤岛
企业信息化历程及存在的问题
企业数据标准化需求背景
主数据管理解决方案(数据标准化)
基于ESB的集成方案(服务标准化)
一、
二、
三、
目录
主数据、主数据管理概念
主
数
据
管
理
数据标准化
主数据
核心
主体
主数据经常称为更通俗易懂的“基础数据”或“公共数据”,比如我们通常熟知的客户、供应商、物
料、产品、员工等公共基础信息数据。
数据标准化是信息系统尤其是大型系统成功应用的前提。任一信息系统的建设,都是一个对数据采集、
加工、分析的过程,都是一个伴随数据流转而进行管理和控制的过程,只有在管理规范的基础上完成对
数据的标准化和结构化,才能使信息系统的采集和加工更有效,分析更准确、管控更到位。
数据标准化相当于“书同文 、车同轨”
主数据、主数据管理概念
主数据( Master Data )定义
在整个企业范围内各个系统(业务应用系统以及分析型系统)间要共享的数据,指具有高业务价值、可以主企业
内跨越各个业务部门被重复使用的数据,是单一、准确、权威的数据来源。
主数据特征:
特征一致性
识别唯一性
长期有效性
主数据管理(MDM Master Data Management)定义:
描述了一组规程、技术和解决方案,保证主数据一致性、完整性、相关性和精确性
主数据管理系统解决方案
• 在整个企业范围内合并
和维护唯一的、完整的
和准确的主数据信息
(客户、供应商、员工、
资产、设备、财务数据
等)
• 集中、全面维护详细、
可信任的(多变)主数
据信息
• 在需要的时候分发主数
据信息到所有的运营和
分析系统
• 确保企业
- 提升数据质量
- 提高主数据信息在研
发、产供销、门店等
业务环节的敏捷一致
- 符合企业和政府的法
律法规
- 提升商务智能分析业
务洞察力
- 降低数据管理成本
清洗
整合
使用 监管
发布可靠的
主数据
变更管理、版
本管理等全面
审计管理
将统一的主
数据按需发
送到各应用
系统;支持
web、
Database、
文件等多种
发布方式
支持编码申请、
审批管理流程;
支持“特征项”
编码方式
通过数据查重、
排重,获得准确
的主数据;支持
第三方质量管理
工具
实现多种异构
系统的主数据
获取、合并。
支持NC、K3
、SAP等多种
异构系统
主数据管理建设内容
建设关键任务
主数据编码标准
分类规范 编码结构
数据粒度 属性描述
标准
主数据编码库
数据收集清洗排重
数据加载
数据校验
规范
主数据管理平台
数据清洗
申请审核
配码发布
平台
管理组织
维护流程
考核流程
数据监控策略
组织
浪潮主数据管应用框架
12
接入端
移
动
应
用
桌
面
应
用
Off
ice
集
成
源
业
务
系
统
操
作
层
模
型
层
开
发
层
元数据 权限设置 流程定义 编码规则定义
值映射 表达式
数
据
源
定
义
属性
扩展
层次
关系
映射定
义
关联关
系
规则定义
整合 清洗 监管交换包 增量规则
主数据模型 主数据数据库主数据交换
分类
物料
… …
客商
业务模型定义
界面定义 规则定义
例外流程
申请流程
批量更新
变更流程
主数据维护 主数据扩展 管理流程
发
布
标准
数据
目
标
业
务
系
统
敏捷开发 流程管理 数据交换 预警平台GSP应用平台 安全运维
资源管理 交付管理 运营管理 服务支撑云服务支撑平台(CSP)
基础
环境
业务
环境
主数据管理系统
管理模式
分布管理
集
团
本
部
二
级
单
位
分布部署 主数据库 主数据集权管理
三
级
单
位
业
务
场
景
分
布
部
署
、
集
权
管
理
审
批
流
程
主
数
据
发
布
主数据库
ERP系统基础数据
供应链
基础数据 主
数
据
整
合
GS 资金
BI
财务
基础数据
NC
K3
主
数
据
申
请
结
果
反
馈
GS
集
团
本
部
二
级
单
位
主数据库
分布部署 主数据库 主数据多级集权管理
三
级
单
位
业
务
场
景
分
布
部
署
、
多
级
集
权
财
务
主
数
据
整
合
主数据库
GS
5.
2
HR
BI
财务
基础数据
财务系统
基础数据
供应链
基础数据
GS
审
批
流
程
财
务
主
数
据
发
布
结
果
反
馈
财
务
主
数
据
主
数
据
申
请
GS
NC
PS
集权管理
应用模式
业务系统(主数据消费系统)
主数据管理系统
(数据生产者)
数据下发 编码申请
辅助决策
支持系统
财务管
理系统
人力资源
管理系统 . . .
主数据库
数据模型
权限控制 数据优化
数据监管
• 集中管理模式:主数据的产生、发布、管理全部由主数据管
理系统负责,业务系统新增编码时,首先向主数据管理系统
提出申请,在主数据系统中审批通过后,形成新编码并保存
在主数据库中,然后发布给业务系统。
• 特点:主数据管理系统负责编码形成、发布、质量管理;业
务系统仅做为消费系统使用主数据。
• 代理管理模式:可指定某一业务系统负责某一类主数据编码的形成,
并将形成的编码传输给主数据系统中进行发布。
• 特点:主数据管理系统只负责编码发布、质量监控;指定的业务系
统可提供主数据编码,其它业务系统销售主数据。
业务系统(主数据消费系统)
ESB企业服务总线
HR系统
(数据生产者)
数据下发 编码申请
主数据库主数据管理系统
(数据管理者)
辅助决策支
持系统
财务管
理系统
人力资源管
理系统
. . . . . .
数据模型
权限控制 数据优化
数据监管
集中模式 代理模式
控制台
清洗规则设置 匹配规则设置
列关系映射
适配器
主数据上传
主数据更新
管理范围设置数据源管理
编码映射转换
主数据申请审批
合并规则设置
主数据建模
业务对象
Excel导入模板 数据转换规则
审批流预制业务模型
复杂(BOM)模型
开发平台 .Net ADP GSP
GS系统接口 PS系统接口
异构系统接口规则定义
应用系统接口
科目主数据-公有
核算项目主数据 核算产品主数据
组织主数据
客商主数据-公有
人员主数据
客商主数据-私有
科目主数据-私有
物资特征主数据 物资主数据
供应商物资主数据
工程项目-私有 银行账户主数据
主数据变更申请及审批
主数据维护及发布
物资特征维护
项目主数据维护 银行账户维护
组织编码维护
财务主数据维护
人员编码维护
客商主数据维护
物资主数据维护
代码标准维护
BOM主数据工程项目-公有
数据监控 数据追溯
数据血缘分析
质量管理
管理流程
编码规则
标准&规范
建筑行业
物资编码
系统软件平台 OS DB 网络 服务支撑
数据自动映射
数据人工映射
主数据清洗
主数据获取
主数据存储
联网发布
离线数据导出离线数据导入
异构系统
接口调用
手工映射
手工发布 自动定时发布
资产主数据
主数据日志管理
建筑行业
项目标准
系统功能
主数据管理-多种编码规则定义
1、提供多种编码生成规则:
常量、顺序号、表达式。
2、支持编码连续及断码处
理方式。
3、支持按照时间戳编码。
手工码 ACD00001
特征组合码 [×× ×× ××] [××××× ×××× ×××]
01 01 03 00001 0004 005
顺序码 0003
可变位 10000008
主数据管理-完善的物资编码数据
产品中预置建
筑行业物资标
准数据:
主数据管理-自定义主数据管理范围
1、设置管理的异构系统
2、设置每个异构系统管理的主数据。
3、每个主数据的管理字段,可灵活配置。 三种管理范围均可根据用户的业务场景灵活配置。
主数据管理-扩展性强-适应用户场景变化
1、支持主数据
字典能够应对各
种数据类型字段
的扩展。
2、如果业务模
式和流程发生变
化,灵活适应改
变。
主数据管理-完整的申请、审批、下发流程
某某集团有限公司主数据标准管理流程 某某集团有限公司主数据管理办法
数出独门
%E6%9F%90%E6%9F%90%E9%9B%86%E5%9B%A2%E6%9C%89%E9%99%90%E5%85%AC%E5%8F%B8%E4%B8%BB%E6%95%B0%E6%8D%AE%E6%A0%87%E5%87%86%E7%AE%A1%E7%90%86%E6%B5%81%E7%A8%
%E6%9F%90%E6%9F%90%E9%9B%86%E5%9B%A2%E6%9C%89%E9%99%90%E5%85%AC%E5%8F%B8%E4%B8%BB%E6%95%B0%E6%8D%AE%E6%A0%87%E5%87%86%E7%AE%A1%E7%90%86%E6%B5%81%E7%A8%
%E6%9F%90%E6%9F%90%E9%9B%86%E5%9B%A2%E6%9C%89%E9%99%90%E5%85%AC%E5%8F%B8%E4%B8%BB%E6%95%B0%E6%8D%AE%E6%A0%87%E5%87%86%E7%AE%A1%E7%90%86%E6%B5%81%E7%A8%
%E6%9F%90%E6%9F%90%E9%9B%86%E5%9B%A2%E6%9C%89%E9%99%90%E5%85%AC%E5%8F%B8%E4%B8%BB%E6%95%B0%E6%8D%AE%E6%A0%87%E5%87%86%E7%AE%A1%E7%90%86%E6%B5%81%E7%A8%
%E6%9F%90%E6%9F%90%E9%9B%86%E5%9B%A2%E6%9C%89%E9%99%90%E5%85%AC%E5%8F%B8%E4%B8%BB%E6%95%B0%E6%8D%AE%E6%A0%87%E5%87%86%E7%AE%A1%E7%90%86%E6%B5%81%E7%A8%
%E6%9F%90%E6%9F%90%E9%9B%86%E5%9B%A2%E6%9C%89%E9%99%90%E5%85%AC%E5%8F%B8%E4%B8%BB%E6%95%B0%E6%8D%AE%E7%AE%A1%E7%90%86%E5%8A%9E%E6%B3%95(%E6%9A%82%E8%A1%8C).docx
%E6%9F%90%E6%9F%90%E9%9B%86%E5%9B%A2%E6%9C%89%E9%99%90%E5%85%AC%E5%8F%B8%E4%B8%BB%E6%95%B0%E6%8D%AE%E7%AE%A1%E7%90%86%E5%8A%9E%E6%B3%95(%E6%9A%82%E8%A1%8C).docx
%E6%9F%90%E6%9F%90%E9%9B%86%E5%9B%A2%E6%9C%89%E9%99%90%E5%85%AC%E5%8F%B8%E4%B8%BB%E6%95%B0%E6%8D%AE%E7%AE%A1%E7%90%86%E5%8A%9E%E6%B3%95(%E6%9A%82%E8%A1%8C).docx
%E6%9F%90%E6%9F%90%E9%9B%86%E5%9B%A2%E6%9C%89%E9%99%90%E5%85%AC%E5%8F%B8%E4%B8%BB%E6%95%B0%E6%8D%AE%E7%AE%A1%E7%90%86%E5%8A%9E%E6%B3%95(%E6%9A%82%E8%A1%8C).docx
%E6%9F%90%E6%9F%90%E9%9B%86%E5%9B%A2%E6%9C%89%E9%99%90%E5%85%AC%E5%8F%B8%E4%B8%BB%E6%95%B0%E6%8D%AE%E7%AE%A1%E7%90%86%E5%8A%9E%E6%B3%95(%E6%9A%82%E8%A1%8C).docx
主数据管理-开放的数据接口
主数据管理系统 数据交换总线 目标业务系统
主数据
数据上传
及分发服
务
身份验证策略
数据发送
获取、记录
生成主数据
分发日志
生成日志
验证失败失败日志
分发日志服务
分发数据服务
自动触发
身份认证
成功
返回信息
业务
应用
支持自动上传分发和手动上传
分发
可同时定义多异构系统数据上
传及分发策略和规则
自动生成并提供标准Web
Services 服务
…………
通过开放的数据服务接口,
与第三方易于集成开发、
接口稳定。
主数据管理-开放的数据接口
浪潮主数据管理-详细的安全审计
浪潮主数据管理-灵活的版本管理
元数据版本管理(规则、映射)
元数据生命周期管理
版本变更时,保持数据同步一致
版本 版本
浪潮主数据管理-多种接入方式
提供全终端业务审批
打造企业级审批中心
移动审批
桌面 Web审批
浪潮主数据管理-多种通知方式
预警平台发送短信消息。
预警平台发送扩展消息。
主数据管理-预计成效
1. 建立主数据
管理标准
2. 实现主数据
编码自动化
5. 减少开发和
维护成本
6. 减少信息传
递的成本
3. 建立主数据
档案
4. 降低接口成
本
主数据管
理效益
在各业务系统中,避免主数
据编码重复。
建立集团层面的可集中管理
的主数据档案。
实现与其他业务系统直接主数据
的一次性同步。
可以通过主数据统一管理新建
系统的主数据。
能够实现基础编码在各个系统间的
统一管理,便于准确决策。
保证各个层面编码操作的唯
一性、自动化。
信息资源共享 提升数据价值
财务
运销
人
力
资
源
备
件
需
求
信
息
物
资
库
存
信
息
物资
设
备
生产与安全
材
料
需
求
材
料
领
用
销售计划
产品发运
设
备
配
套
计
划
设
备
检
修
计
划
IT管控 IT基础架构 数据管控
预算控制
客
户
供
应
商
经
营
管
理
决策支持
会计凭证、报表
物
资
信
息
产品信息
销售信息
集成化信息系统平台
费
用
核
算
主数据管理
设备信息
组织、人员
产
品
、
定
额
科
目
、
项
目物
资
编
码
产
品
、
地
址
主数据
建设目
标
业务系统
横向贯通
一致、完
整、准确
搭建共享
服务平台
支撑决策
支持数据
数据
价值
企业数据标准化需求背景
主数据管理解决方案(数据标准化)
基于ESB的集成方案(服务标准化)
一、
二、
三、
目录
主数据管理与ESB的关系
ERP系统 财务管理
系统
人力资源管理
系统 CRM
主数据管理系统
数据上传 数据发布
ESB企业服务总线
提高开发效率
降低维护成本
快速适应改变
建设背景
Interface
(FTP Sockets Http
JMS JDBC)
Interface
(FTP Sockets Http
JMS JDBC)
Interface
(FTP Sockets Http
JMS JDBC)
Interface
(FTP Sockets Http
JMS JDBC)
Interface
(FTP Sockets Http
JMS JDBC)
Interface
(FTP Sockets Http
JMS JDBC)
Interface
(FTP Sockets Http
JMS JDBC)
Interface
(FTP Sockets Http
JMS JDBC)
Interface
(FTP Sockets Http
JMS JDBC)
Interface
(FTP Sockets Http
JMS JDBC)
Interface
(FTP Sockets Http
JMS JDBC)
Interface
(FTP Sockets Http
JMS JDBC)
Interface
(FTP Sockets Http
JMS JDBC)
Interface
(FTP Sockets Http
JMS JDBC)
32
Interface
(FTP Sockets Http
JMS JDBC)
Application
Interface
(FTP Sockets Http
JMS JDBC)
Application
Interface
(FTP Sockets Http
JMS JDBC)
Application
Interface
(FTP Sockets Http
JMS JDBC)
Application
Interface
(FTP Sockets Http
JMS JDBC)
Interface
(FTP Sockets Http
JMS JDBC)
Interface
(FTP Sockets Http
JMS JDBC)
• 接口的数量随着系统功能的增多而越来越多,同时,系统的规模也越来越大
• 系统接口随着业务需求的变化而变得越来越复杂多样。
• 接口逻辑的复杂程度远远超过了业务逻辑,响应业务变化的周期越来越长
ESB背景介绍
问题1:系统规模庞大复杂,接口需求多种多样,开发维护工作量巨大
系统规模
33
• 应用系统之间彼此紧密相连,相互必须理解和依赖彼此的消息格式和传输协议
• 应用系统接口依赖庞杂,系统间“谈 ’重构’ 色变”
• 运维人员监控系统接口的服务质量变得遥不可及
监控系统
营销管理
工作门户
决策分析
资源计划
人力资源
财务系统
固定资产
运维中心
监控系统
工作门户
ESB背景介绍
问题2:系统间点对点直连,依赖关系庞杂,运维管控的成本成倍增加
ESB背景介绍
问题3:移动互联、大数据时代,信息服务互联互通会变得更加复杂
• 移动互联时代,需要提供多种接入渠道,并需快速响应业务变化。
• 大数据时代对数据发布、共享、应用提出了更高、更快地要求。
现状
服务开
通
服务保
障
112系
统
综合资
源
IP网管
数据资
源
交换资
源
PHS网
管
接口管理
服务开
通
服务保
障
112系统
综合资
源
IP网管
数据资
源
交换资
源
PHS网
管
ESB
1、不能有效管理服务相互间的调用关系
• 不知道某服务的影响范围
• 不知道服务的运行情况
• 不知道服务被访问情况
• 无法有效控制服务访问
• 无法知道那些是关键服务
• …….
1、某电信OSS域有几十个业务系统,2000多个接口,如何更有效地管理这些接口及其调用情况??
2、接口的现状对于IT部门来说是不可见的,不可见就意味着不可控,不可控就意味着高风险 。
如上的驱动力推动了其实施如上的驱动力推动了其实施ESBESB产品产品 。。
ESB接口管控(服务治理)应用场景
解决的业务问题
• 由于核心系统稳定性的要求,不能频繁应对
业务的变化
• 但是市场的压力又迫使市场部门不断调整和
制定新的策略
• 将核心系统的能力开放出去,增强系统稳定
性,激发集体的业务创造性
企业内部
支撑能力支撑能力
ESB
CRM
支撑能力支撑能力
计费
支撑能力支撑能力
OSS
企业外部
网厅 掌厅 10000号 代销商
淘宝 京东 …
1、某企业建设要求通过ESB将核心系统多年积累下来的能
力开放给各渠道,从而激发业务创新;
2、某企业SOA试点项目同样希望通过ESB向各地市开放其核心
BOSS能力,从而有助于业务创新;
ESB能力(服务)开放应用场景
服务平台趋势
服务治理平台 服务开放平台 服务运营平台
实现按需分配、弹性扩展
建立互联网生态圈,实现合
作、共赢、业务创新
开放平台Open API
实现平台多终端多渠道
接入
建立完善的授权与安全
体系
构建面向SOA架构的服
务管理体系
制定服务集成规范与度
量标准
建设服务监控系统
2 3 4
服务集成平台
搭建集成平台技术架构
实现服务统一管理
1
ESB(企业服务总线)业界公认的应用集成解决方案
Shape = Protocol
Color = Data type
企业服务总线(ESB)是一个整合应用和服务的灵活互联架构
ESB能够减少SOA架构中应用整合接口的数量和复杂程度
• ESB在服务提供者和请求者
之间能够完成如下功能:
– 路由,服务间的消息传递
– 协议转换,请求者与提供者
之间的传输协议转换
– 数据格式转换,请求者和提
供者之间数据格式的转换
– 事件处理,不同消息来源的
业务事件处理
– …………
2.服务集成解决方案
服务集成总体方案
集
成
度
量
集
成
方
案
集
成
模
型
集
成
需
求
管理体系
接口服务
规范
服务资产
管理
应用系统
命名规范
松耦合、模块化、可配置的
建设原则
互联网化、多渠道接入
的支撑能力
云计算、SOA技术
的应用模式
体系化、主动式
的运维能力
服务接口
管理流程
SAM服务接
口管理系统
ESB服务
总线
SSM服务接
口监控系统
服务接口
部署规范
服务接口
设计规范
治理
小组
平台与工具
服务集成
总线
服务资产
管理系统
服务资产
监控系统
治理
小组
服务
提供者
服务
消费者
组织保障
接口服务
度量
闭
环
管
理
服务调用频次
服务调用成功
率
服务响应平均
时间
服务响应平均
报文
服务调用排名 部署违规次数 调用违规次数
服务资产生命周期管理
管理体系–服务资产管理
注册管理
部署管理
统计监控
审计管理
服务资产管理旨在将组织内部现有的服务资
产状况和软件的使用情况联系起来进行管理。
在服务集成领域,服务资产主要包括:接口
服务、UI服务、数据服务,SOA服务治理从
接口服务入手。
服务资产管理
服务资产是一种无形物,无法像有形物一样进
行管理(记入账簿、定期清点)。
需要对服务资产的整个生命周期进行有效管理。
服务生命周期包括:注册、部署、运行监控、
审计管理(注册审计、运行审计)
软件生命周期管理
管理体系–接口服务规范
管理规范技术规范
接口原则 编码规范
服务编码规范
操作编码规范
异常编码规范
请求编码规范
版本编码规范
应用编码规范
服务规范
典型交互场景
服务描述规范
请求报文规范
响应报文规范
确认报文规范
异常报文规范
报文大小规范
技术原则
无状态原则
数据格式原则
服务异常原则
管理过程
集成平台介绍
平台管理过程
角色职责定义
过程阶段定义
新增场景管理
修改场景管理
注销场景管理
管理体系– 服务度量体系
• 统计接口响应超时
• 统计接口超并发
• 统计接口平均响应时间
• 记录接口执行最慢TOP10
• 记录接口非授权调用明细
• 统计应用系统访问ESB次数
• 统计接口被ESB访问次数
• 统计接口访问ESB次数
• 配置监控分析时间间隔
• 配置响应时间阈值
• 配置执行效率明细数量
接口
服务
服务提供者
服务消费者
分析某时间段内服务提供者系统性能较差的TOP10列表;
分析某时间段内某服务提供者系统中性能较差的服务的
TOP10列表;
分析某时间段内某服务提供者总体服务提供概况;
服务提供者系统行为分析
分析某时间段内访问峰值较大的TOP10的服务消费者系统;
分析某时间段内某服务消费者系统访问量的变化趋势;
分析某时间段内某服务消费者系统失败访问次数;
……
服务消费者系统行为分析
分析某时间段内服务运行的总体情况:成功率、失败率等
分析某时间段内TOP10性能较差的服务列表
分析某时间段内系统整体的性能变化走势分析
……
接口服务行为分析
平台与工具:服务资产管理系统(SAM)
在线工具
Excel模板生成
权限管理
系统权限 应用权限
运行统计
统计综合
查询
服务资产管理
接口注册管理
系统IP地址管理
资产审计管理
上线部署管理
资产管
理者
资产
提供者
资产
调用者
服务资产全生命周期管理在SOA体系下至关重
要,其中接口服务资产的集中管控使得“资产状
况透明化”从而有效支撑集成架构的部署价值
调用关系管理
服务资产统计
管理
部署管理
变更历史
查询
注册审计 报文审计
调用审计
审计任务
管理
接口运行
统计
接口运行
诊断
接口运行
检索
Excel格式校验 在线比对工具
注册管理 部署管理
统计监控 审计管理
注册方式:支持界面、命令
脚本两种方式进行单条或者
批量注册接口服务;
提供手工和自动化脚本部署
等多种方式。
统计:对服务消费者和服务
提供者之间请求量进行数量
统计;
对服务运行期状况进行有效
的管理和监控;
审计:根据请求报文、调用
关系、主机IP等信息进行规
范性审计,提供手段对开发
商进行有效管理;
平台与工具– 企业服务总线(ESB)
ESB内部实现机制
① ESB 内部可以进行流量控制、访问控制、消息路
由、消息转换等操作;
② 同时通过消息机制MOM提高了系统的可靠性和扩
展性;
③ 另外依托异常处理机制能保障服务调用的可靠性;ESB
多协议接入(WebService)
PBOSS 知识库 WMS ……
访问
控制流量
控制消息
路由消息
转换
多协议接出(WebService)
密
码
库
系
统
物
资
配
送
系
统
终
端
维
修
系
统
…
…
消息机制MOM
系统日志管理
异
常
处
理
机
制消息
转换
ESB是SOA体系中的核心部件,是SOA时代
的“服务交换机”
服务资产全生命周期管理在SOA体系下至关重要,其
中接口服务资产的运行期监控使得“资产使用情况透明
化”从而有效支撑集成架构的部署价值
平台与工具:接口服务监控系统(SSM)
通过SSM的统计分析数据管理开发商:
服务消费者:根据IP非法和非授权调用统计数据,
考核开发商规范执行情况
服务提供者:根据服务响应时间、平均报文大小、
失败率等统计数据,考核开发商开发软件质量
开发商管控
通过SSM的统计分析数据处理故障:
日志明细信息:SSM记录接口调用详细日志信息,
协助分析故障
调用趋势分析:根据出现故障时调用趋势数据,
协助分析故障
故障诊断
治理小组
治理需求
服务资产管理员
度量指标
SSM系统
运行整体状态
访问故障诊断
服务响应时间
执行效率明细
IP非法调用情况
非授权调用情况
组织保障– 服务集成组织架构
名称 组成 职责
治理组织
治理组织
推动和实施SOA治理活动,确保管理体系和平台工具的执行,监控
服务接口的运行情况,评估SOA治理的绩效,保证SOA治理最终
实现业务目标和需求。
资产管理员
在SAM系统中完成应用系统名称的注册和注销;完成对服务接口注
册申请审批、变更审批、注销审批,定期检查和审计服务接口使用
情况和状态。
服务接口提
供者
应用系统开发
部
内部服务接口的提供方责任人,负责提供服务接口,保障服务接口
运行稳定、可靠。
外部系统
在业务支撑系统中有可能调用的外部服务,比如天气预报、航班信
息等。
服务接口消
费者
外部系统
外部系统使用上海移动业务支撑系统开放出来的接口,比如:话费
查询、余额查询等。
应用系统开发
部
业务支撑系统内部各个系统之间的调用通过集成平台进行,服务消
费者按照管理规范进行服务接口调用。
治理组织
服务规划
资产管理员
SAM系统
服务消费者
服务提供者
服务总线
ESB
SSM系统
服
务
注
册
服
务
注
册
服服
务务
部部
署署
业务系统
服
务
监
控
服
务
监
控
2.方案价值
方案价值
是服务全生命周期管理,不仅仅是ESB
关键不是搭建一个平台,而是从组织结构、流程、规范方面提出可行方案,保障实施落地。
平台工具: 组织结构:
流程与规范:
业务系统
集成架构建设方案
应用1 应用2 应用3
资产与知识
……
方法与规范 平台与工具
服务资产管理系统(SAM)
固化
规范 支撑 复用
沉淀
服务管理规范
服务管理规范
服务接入规范
服务测试规范
……
资产管理
资产库
组件库管理
业务
组件库服务监控系统(SSM)
企业服务总线(ESB)
沉淀
方案价值
标准规范先行,技术平台保障
高性能、高可靠只解决了用户的放心问题;
业务需求:
对跨部门业务流程的感知度;
业务需求:
服务运行情况、系统交互情况透明化;
部署ESB是为了解决业务问题
客户对ESB产品的个性化要求促使:
1、开源 ESB产品的外围模块;
2、客户根据自身需要根据API扩展开发;
高性能与高可靠性:
直接运行在JVM之上
S-EDA架构
异步处理支持
资源可调配
异步记录/分析日志
…
业务化
易管控
平台支撑
方案价值
高性能、高可靠,一体化的管控能力
方案价值
异构系统实现互联互通
协议适配
数据转换
消息路由
服务封装CRM
OA 财务系统 ERP
Mail FTP PDM 遗留系统
移动应用 财务系统
SOAP适配
协议转换 消息转换
FTP适配邮件适配 遗留系统适配
服务路由 服务封装
企 业 服 务 总 线
PDM Mail
质量系统 物资系统 Mesweb应用
方案价值
对内服务标准化、对外互联网化
服务标准化 互联网化
提升面向客户的跨系统、跨业务领域的产品与服务创新能力。
提升产品服务的营销与销售能力。
构建面向服务的、松耦合的、以客户为中心的业务集成服务架构,降低业务集成复杂度。
服务工厂,标准化开发
搭积木式构建新服务
一体化服务管理 SOA
多渠道扩展
能力开放
对外提升差异化服务能力,快速响应市场需求。
对内实现直通式高效运营
MES
SPPS
质量系统
AVIDM
物资系统
CAPP
XXX
MESSPPSAVIDM 物资系
统
CAPP XXX质量系
统
设计
(企业服务总线)ESB
PLM
新规划
原有
方式
方案价值
集成架构的转变
成熟
套装
软件
AVIDM 财务系统 OA ……
企业服务总线(ESB)
服务
CAPP
XML
服务
MES
服务
物质信息管理
服务
质量信息管理
服务
SPPS
XMLXMLXMLXML
XML XMLXMLXML
服务服务服务服务
SOAPover
HTTP/JMS
SOAPover
HTTP/JMS
服务消费者
业务系统无需了解相互之间的物理位置“空间”和运行状态“时间”
有效降低了IT运维风险,提高IT对业务的服务质量
集成松耦合
方案价值
系统集成松耦合特性
企业服务总线(ESB)
AVIDM CAPP SPPS MES 物资质量系统
PLM
XXX
具有服务注册、服务查找、SLA管理等能力
新上线系统,在符合规范与标准的前提下,可以通过配置的实现与系统的集成
多协议的支持以及为服务运行提供了高性能、高可靠的运行环境
方案价值
新上系统集成容易、安全
提供了独立和集群环境中的ESB Server进行管理,同时对于服务全生命周期进行
管理
提供了增强的客户感知度,譬如:事前预警、事中告警、事后统计分析等功能
方案价值
服务调度的监视能力
4.产品支撑
ESB功能
ESB 产品主要包含:
① ESB Studio:主要提供各种服务(中介服务、穿透服务、编排服务等)的开发、调试以及属性设置、元数据导出等,为便捷快速地开发各种
服务提供可能;
② ESB Server:提供了多协议的支持以及为服务运行提供了高性能、高可靠的运行环境,方便的扩展机制,为ESB 融入企业IT环境提供了
有效支撑及管控手段,同时不依赖于J2EE容器的特性大大提升了性能;
③ ESB Console:提供了独立和集群环境中的ESB Server进行管理,同时对于服务全生命周期进行管理;
④ ESB Service State Monitor:提供了对 ESB Server运行时数据的存储、分析能力,增强了客户感知度;
⑤ ESB Software Asset Management:提供了服务注册、服务查找、SLA管理等功能;
ESB(企业服务总线)
ESB
Service State Monitor
ESB Server
SOAP/HTTP、JMS、Http/Https、
Socket、IBM MQ、SAP、FTP、JDBC等
消息路由
服务编排
消息机制(MOM)
协议转换
基础服务
资源分
配
扩展机
制
超时机
制
重试机
制
热加载
异常处
理
消息转换
ESB
Studio
服务开发
服务调试
消息转换服务编排
消息增强
JVM
ESB Console
服务监控
消息监控
流程监控
日志分析
系统配置
消息路由
ESB
Software Asset Management
SLA管理元数据管理
服务注册服务查找
SEDA基础框架
服务器管理 集群管理
部署管理
服务生命周期管理
• 基于Eclipse的开发环境;
• 内嵌了ESB Server方便了
调试和测试;
• 相关功能:
– 消息路由
– 消息转换
– 消息加工
– 协议转换
– 服务编排
– 动态路由
– 组件框架
产品构成 ESB Studio
ESB Server
Java(JVM)
序号 功能 特性 价值
1 直接构建在
JVM上
① 摆脱J2ee环境束缚;
② 使ESB系统更加轻量级;
③ 为性能提升创造了空间;
① 高性能价格比:降低了对底层硬件环境的要求,即使在一般的PC
Server上也能体现良好的性能;
② 降低购买成本:无需购买商用J2ee容器(WebLogic、WebSphere、
JBoss、Tomcat等);
③ 增强运维管理:降低了客户部署、运维的复杂性提高了工作效率;
产品构成-ESB Server
产品构成 ESB Console
产品构成-ESB SAM
• 服务资产全生命周期管理在SOA体系下至关重要,其中接口服务资产的集中管控使得“资产状况透明化”从而有效支撑
集成架构的部署价值
– 提供了符合SOA方法论的服务注册、服务查找、服务部署、SLA管理等功能
– 提供了服务质量统计、审计和诊断界面
• ESB SSM(Service State Monitor)
负责从ESB集群中各Server节点上搜
集每次服务请求的详细轨迹信息并进
行之久化,后续就可以依托这些持久
化信息进行多维度的服务统计分析 。esb Server-1
esb Server-2
Disk / DB
http负载
[F5/Apache]
ESB Cluster
http
esb Console/j2ee
服务提供者
JMS负载
[esb Server]
服务消费者
jms
Jms/http
序号 功能 特性 价值
1
默认数据库
通过扩展
使用NoSql
① 在特定环境下使用针对性技术;
② 提高了数据持久化的性能;
③ 对底层硬件要求低;
① 高性能价格比:降低了对底层硬件环境的要求,即使在一般的PC Server
上也能体现良好的性能;
② 降低购买成本:无需购买商用数据库,降低了系统建设成本;
① 提供API抽取日志数据 ① 增强价值数据的开放性:可以通过API抽取并持久化到其他系统中;
esb SSM-1
esb SSM-1
产品构成- ESB SSM
Studio/Console/ESB Server/SAM/SSM的协同工作机制
① 每个ESB服务总线都是集群(负载均衡)部署
② 集群中的每个ESB Server都通过SAM加载服务配置信息,SAM支持配置热加载
③ 根据SAM配置,SSM负责IP地址阻断、调用关系阻断,实现接口服务调用管控
④ 为了保障日志持久化行为不影响正常的服务调用,采用异步的方式进行日志的持久化,由SSM负责离线监控
ESB服务总线
负载均
衡
服务资产管理系统(SAM) 接口服务监控系统(SSM)
ESB Server-1
……
ESB Server-n
系
统
A
系
统
B
服务配置信息
服务调用日志
服务调用路径
file
file
file
异
步
异
步
异
步
服务调
用日志
服务调用路径
服务配
置信息
ESB 开发平台(Studio) ESB管理控制台(console)
服务部署操作
ESB部署架构
esb Server-1/jvm
esb Server-2/jvm
……
esb Server-n/jvm
DB[noSQL] R/R
http负载
[F5/Apache]
Primeton ESB Cluster
http
esb Console/j2ee
服
务
提
供
者
JMS负载
[esb Server]
服
务
消
费
者 jms
Jms/http
一个ESB集群包含:
① 一个逻辑HTTP协议入口
(负载均衡),可以由F5或
Apache HTTP Server、
Nginx等充当;
② 一个逻辑JMS协议入口(负
载均衡),由一个esb
Server充当;
③ 若干esb Server实例;
④ 一个R/R库;
⑤ 一个Console管理节点;
5.典型案例
接口管控阶段
能力开放阶段
能力运营阶段
•搭平台:ESB集成平台搭建
• ESB服务总线
• SAM服务资产管理
• SSM服务监控系统
•建规范:技术和管理规范
•接服务:业务支撑系统域内系统间服务接入
•搭平台:能力开放平台搭建
• 平台应用:合作伙伴/运营/运维三大门户
• 平台服务:Open API服务/安全类服务/管控
类服务
•试点渠道应用接入
•平台推广
•规范完善
•渠道应用接入
上海移动IT集成能力建设里程碑说明:
接口管控阶段:2011年8月启动IT集成能力建设规划,2012年5月集成平台上线,2013年1月实现业务支撑系统域核心系统和外围系统间接口管控。
能力开放阶段:2013年年初开始方案规划,2013年6月启动项目建设,2014年3月8号顺利上线,实现试点的139邮箱、飞信、小米、一号店等内外部渠道应用接
入。
能力运营阶段:2014年开始关注能力应用和运营,同步支持集团试点。
内部管控
外部开放
生态链建设
上海移动
ESB集成能力演进路线
ESB
服务总
线-A
CRM
ESB服务总线-C
服务资产管理系统(SAM)
ESB
服务总
线-D
接口服务监控系统(SSM)
① 按业务域分别部署ESB服务总线,每根总线采用集群部署
② 调用的外部公司的服务有单独的ESB服务总线管理;
③ 该移动向企业外暴露出去的服务有单独的ESB服务总线管理
④ 建设企业级服务资产管理系统(SAM)
⑤ 建设企业级接口服务监控系统(SSM)
服务调用
淘宝
京东
集团
公司
新浪
ESB
服务总
线-B
面向集团公司
面向外部应用
引入外部服务
BOSS
BASS BOMC MMS
管理内部系统
69
上海移动
ESB集成架构
接入系统数量70+,接入服务数3000+
日调用量:105,073,594次;峰值TPS:6000次/每秒
达到淘宝级服务调用处理能力
ESB助力上海移动迎接互联网时代
上海移动
实施效果
支持了飞信、小米手机、京东等应用接入,其中5个外部渠道、2个内部渠道
接入
与外部厂商实现 平台化思维 的互联互通,实现低成本、高效
率的业务创新
1)能够将集成商核心BOSS与CRM接口安全、可管控、可计量/计费的提供给合作伙伴;
2)通过合作伙伴自助接入的方式,既实现了标准化和快速交付,又大幅降低了运营商投入;
3)避免了“牵专线”的方式独占资源、浪费严重。
对内服务治理、对外能力开放
上海移动
实施效果
新建系统需集成的对象多,集成工作量大,风险高;老系统改造难,缺乏统一规范、平台
系统集成服务监控难,状态不易掌控,风险不可预知
72
航天科技五院
现有系统集成方式
系统间点对点集成,关系复杂,技术
不统一,网状连接故障不易定位
73
航天科技五院
ESB的集成系统概述
集成目标
集成过程
集成范围 产品信息、计划信息、工艺信息
调度信息、物料信息、质量信息
1、实现制造过程管理与执行系统间信息交换与
共享;
2、实现制造过程管理与执行和其他应用系统间
信息交换与共享
形成完整的车间执行信息体系
改变现状 实现目标
各应用系统集成的耦合程度高,
系统间大量业务相关的接口集成形成了复杂的网状结构
调用。现有服务接口无法形成知识沉淀,复用率低,对不
断增长的系统建设和集成需求造成很大难度和风险。
改变系统网状集成现状,为集成系统带来松耦合特性。系统
服务得以汇集并在平台上发布,便于服务复用和系统集成,简
化新系统上线集成工作量,降低系统集成难度和风险。
各应用系统服务统一接入ESB,发布地址统一规划,由ESB集中管理。
航天科技五院
项目成果
ESB
增强服务调用监视能力
改变现状 实现目标
缺乏有力的监控工具,无法有效了解各应用系统提供
服务的整体这行情况,使得风险变的不可预知。
实现服务行为的统一监控,包括数据对接口调用的正常、
超时、非法、拒绝、失败、响应时间,从而有效掌控服务
整体的运行情况,并对故障点进行快速定位。
AVIDM
SPPS MES
物资
系统
质量
系统
航天科技五院
项目成果
为后续的信息系统建设预留扩展空间
航天科技五院
项目成果
多协议接入的支持,确保后续可能的异构系统的接入
基于监控API,改进监控机制,使之支持更复杂更业务化的查询、审计及统计分析等。
基于拦截器API,将对服务的权限管理纳入全局统一的权限管理体系。
基于服务管理API,定制个性化的服务开发、服务编排、服务注册等服务开发及管理工具。