发挥聚合洞察的潜力
——数据的灵活展现与数据挖掘
SAP中国/吴自强
2014年12月
© 2013 SAP AG. All rights reserved. 2
大数据商务智能的四个层级
原始数据
已清洗数据
标准报表
即席报表与多
维分析
敏捷可视化
数据挖掘
模型优化
发生了什么?
为什么发生?
将要发生什么?
用
户
参
与
度
分析能力成熟度
希望发生什么?
自助BI
预测分析
集
体
洞
察
力
高级分析/预测分析
敏捷可视化
/数据探索
企业级商务
智能工具
© 2013 SAP AG. All rights reserved. 3
Portal
SAP BusinessObjects Enterprise
Crystal Reports
Web
Intelligence
Dashboards
DATA
Explorer
元
数
据
管
理
OLAP
Analysis
Infinite Insight
Database 接口 OLAP接口 应用接口
Data Integrator / Data Federator
数据整合
Data Quality Management
数据质量管理
SAP BusinessObjects Data Services
CBA商务智能及大数据方案架构
Web Services接口
Hana
商务智能平台 /
预测分析
数据仓库 /
大数据平台
数据整合与治理
BI Mobile
SAP商务智能方案概览
敏捷可视化
与数据探索
数据挖掘与
预测
大数据
移动
企业级
云
企业级商务智能报表、
分析工具
企业级
商务智能报表、
分析工具
敏捷可视化
与数据探索
数据挖掘与
预测
企业级商务智能报表、
分析工具
© 2013 SAP AG. All rights reserved. 6
大数据商务智能的四个层级
原始数据
已清洗数据
标准报表
即席报表与多
维分析
敏捷可视化
数据挖掘
模型优化
发生了什么?
为什么发生?
将要发生什么?
用
户
参
与
度
分析能力成熟度
希望发生什么?
自助BI
预测分析
集
体
洞
察
力
企业级商务
智能工具
© 2013 SAP AG. All rights reserved. 7
不 同 的 业 务 问 题
满足众多业务需求
仪表盘
如何可视化数据,以制
定更明智的决策?
如何回答即席问题并
与信息进行交互?
交互式分析 数据探索
如何立即获得业务问题
的答案?
如何在移动设备上查看
最新的报表数据?如何
减少开发成本?
移动办公
如何访问企业数据并
将其转化为高度格式
化的报表,从而增强
洞察力?
固定报表
1 个 B I 套 件
© 2013 SAP AG. All rights reserved. 8
第一类需求:企业报表需求
© 2013 SAP AG. All rights reserved. 9
报表的实际标准
公认的世界级报表设计标准
普及的报表知识和技术,可实现快速实施
500 多家主要的独立软件供应商首选的报表解决方案
部署可满足企业所有报表需求的通用框架
构建任何类型的报表,比如业务报表、财务报表、法律
报表和监管报表
复杂的报表格式:创建多页、多查询的高清报表
模板和向导可加速报表创建
通过网络安全地分发大量报表
可连接至任何数据源
水晶报表 – Crystal Reports
部署企业报表的通用框架
© 2013 SAP AG. All rights reserved. 10
水晶报表(Crystal Report)
© 2013 SAP AG. All rights reserved. 11
报表的使用及订阅
© 2013 SAP AG. All rights reserved. 12
第二类需求:业务用户的自助查询
© 2013 SAP AG. All rights reserved. 13
即席查询(WebIntelligence)
© 2013 SAP AG. All rights reserved. 14
Web Intelligence
成本分析–成本中心合作伙伴编制明细表
© 2013 SAP AG. All rights reserved. 15
第三类需求:决策支持
您的商务智能如何满足领导层决策分析需要?
向领导开放系统所有权限
领导看到浩如烟海的报表和数据
却找不到自己的关心的内容
向领导提供灵活拖拽的查询工具
领导没时间和兴趌学习该项“新技术”
领导放弃使用BI系统
不能支持领导决策的商务智能系统,还是商务智能吗? 领导
层决策分析的需求特点:
指标数量少……但宏观性强
展现界面简洁……但信息量大
商务智能需要把数据进行可视化处理,呈现在领导面前
© 2013 SAP AG. All rights reserved. 16
动态交互式仪表盘 -Dashboard
交互式分析和仪表盘打造领导分
析门户
联机或脱机使用极具吸引力的个性化
仪表盘
• 访问基亍 Flash 的个性化仪表盘
• 可在仸何地方实现安全的可规化——门
户、报表、PDF、Office 文档
借助交互式信息增强业务用户的能力
• 带滑块和其他控件的强大假设分析功能
• 能够向下钻取到详绅信息
• 预置的部件、外表、地图、统计图、量
表和选择器
从宏观到微观,从表象到本质,从问
题到答案的辅劣决策系统
实时、真实、预警
© 2013 SAP AG. All rights reserved. 17
利润分析 – 银行多维利润分析
© 2013 SAP AG. All rights reserved. 18
Dashboard示例
© 2013 SAP AG. All rights reserved. 19
第四类需求:找到所需要的数据
让所有业务用户都能享用商务智能
简单、高效的搜索
直观的数据发掘和可视化
通过搜索企业任何位置的海量数据做
出快速响应
借助内存技术加速了搜索速度
帮助 IT 取得成功
轻松、高效地管理
和扩展
业务响应能力更强,交付速度更快
支持异构数据源
融合高效性与商务智能的可靠性和强大功能
Explorer 演示
© 2013 SAP AG. All rights reserved. 20
通过合适的BI分析工具随时获得业务的洞察力
任何时间,任何地点,任何方式
在Excel中连接BI服务器,
实现查询、分析、格式化
将BI发布到网络上
查询、展示
将BI放到控制中心
的大屏幕上
将BI放到放到您的桌面上
将BI放到放到您的手机里
© 2013 SAP AG. All rights reserved. 21
第五类需求:移动商务智能
随时随地获取信息
从移动设备获得信息
良好的交互性
易于部署
互动性与实时性
下钻、仪表盘、图表
报表导航
Mobile BI Demo
© 2013 SAP AG. All rights reserved. 22
SAP业务分析解决方案
合理的信息获取方式
敏捷可视化
与数据探索
敏捷可视化
与数据探索
数据挖掘与
预测
企业级商务智能报表、
分析工具
© 2013 SAP AG. All rights reserved. 24
大数据商务智能的四个层级
原始数据
已清洗数据
标准报表
即席报表与多
维分析
敏捷可视化
数据挖掘
模型优化
发生了什么?
为什么发生?
将要发生什么?
用
户
参
与
度
分析能力成熟度
希望发生什么?
自助BI
预测分析
集
体
洞
察
力
敏捷可视化
/数据探索
© 2013 SAP AG. All rights reserved. 25
视觉与脑相连
理解不同大小,
各式结构的数据
及时发现问题
的答案
65%
的信息在72小时之后人们只能记住
图片的部分
30% 的大脑皮层细胞用于处
理图片处理
人类的视觉系统花费150ms
去处理一个复杂的自然图片
100101
011010
© 2013 SAP AG. All rights reserved. 26
立刻发现问题答案
区域销售
Q: 我的区域销售
成绩如何?
Q: 在这个商店进行的
市场活动效果如何?
库存
Q: 是否有足够的
库存?
© 2013 SAP AG. All rights reserved. 29
增强对数据的理
解和应用
发现数据总的
隐含洞察
无需IT人员帮助
借助SAP Lumira 授权给数据分析员
Lumira演示
© 2013 SAP AG. All rights reserved. 31
2013商务智能和分析软件市场占有率
数据挖掘
与预测 企业级商务智能报表、
分析工具
敏捷可视化
与数据探索
数据挖掘与
预测
© 2013 SAP AG. All rights reserved. 33
大数据商务智能的四个层级
原始数据
已清洗数据
标准报表
即席报表与多
维分析
敏捷可视化
数据挖掘
模型优化
发生了什么?
为什么发生?
将要发生什么?
用
户
参
与
度
分析能力成熟度
希望发生什么?
自助BI
预测分析
集
体
洞
察
力
高级分析/预测分析
© 2013 SAP AG. All rights reserved. 34
市场机会都“时不待我”
即便在统计学家的帮助下,现有的工具从收集数据到生成可理解的知识也要花费数周
你只能应用尖端技术与少数重要项目
专业资源的稀缺性 — 你能等吗?
过于专业
你需要一名拥有博士学位的专家帮你应用现有的数据挖掘工具
你能完全理解现有工具生成的长达50页的报告吗?
分析专家都很繁忙,你很难让他空出充足的时间帮你建模
你能相信他吗?
你如何能知道建立的模型应用的真实数据上时是可靠的?
只有长时间的经验才能让你对结果放心
如何部署?
你需要程序员帮助你在现有的商业运作中部署模型应用
现有的分析工具经常生成重复数据,浪费资源,整合效果不理想
什么因素影响数据挖掘在商业运营中的应用?
© 2013 SAP AG. All rights reserved. 35
传统数据挖掘流程
选择变量
商
业
问
题
准备数据
用不同算法进行建模,
选择不同参数
建模
Improve Control
模型测试 理解 应用
Analyze Measure Define
选择与商业问题最相
关变量, 以适合算
法需要
• 得到分析型数据集
• 缺失值处理, 异
常值处理, 函数
变换。。。
把数学语言转换成商
业描述
成本:人力+时间
平均耗时:2-4
周
© 2013 SAP AG. All rights reserved. 36
SAP InfiniteInsight - 面向业务用户的预测分析方案
用
户
数
量
技能要求
低 高 中
低
中
高
业务用户和业务部门
业务分析师
嵌入式分析
行业和业务
流程分析
数据
科学家
Predictive
Analysis
SAP 预测分析
InfiniteInsight
(KXEN)
© 2013 SAP AG. All rights reserved. 37
SAP 改变了规则
InfiniteInsight的方法:
商
业
问
题
建
模
应
用
几天或更少
减少了数据准备时间从以前的整个建
模周期的70%到现在的几乎不用花什
么时间
InfiniteIngsight的模型与传统工具
创建的模型一样精确/健壮
即使经验不是很多的分析员也可以创
建高质量的模型
一年自动维护几百个模型
期望生产力提高10倍
发表于2005 Teradata 用户大会
© 2013 SAP AG. All rights reserved. 38
SAP InfiniteInsight的独特优势
预处理-----------------自动化
模型性能验证--------自动化
最优模型搜索--------自动化
模型商业化解释-----自动化
传统工具 InfiniteInsight
使用对象 数据分析师 决策支持者/ 集成商
建模时间 数周 数天
上帝的归上帝,
凯撒的归凯撒;
数学的归InfiniteInsight,
商业的归用户。
© 2013 SAP AG. All rights reserved. 39 39 39
InfiniteInsight能做什么?
分类 (Classification)
谁在接下来的 (周 | 月 | 年…) 是否 将 (购买 | 欺诈 | 流失 …)?
回归 (Regression)
(销售额 | 流失客户数量) 在下(周 | 月..)将会变成 怎样?
时间序列 (Time Series)
(销售额 | 流失客户数量) 在下(周 | 月..) 在下来一年每个月的变化趋势是 怎样?
推荐引擎 (Recommendation)
在网页或零售店的客户提供商品推荐
聚类分群 (Clustering)
有多少个拥有相同(行为 | 属性 )的客户群组
关联分析 (Social)
分析相关关系来确定(社区 | 影响者)
© 2013 SAP AG. All rights reserved. 40
如何保证自动模型的准确度?
如何确定最佳模型?
弗拉基米尔·万普尼克
Vladimir Vapnik
俄罗斯统计学家、数学家,美国工程院院
士。他是统计学习理论(Statistical
Learning Theory)的主要创建人之一。
支持向量机(Support Vector
Machines)发明者。InfiniteInsight科
学委员会首席科学家
SRM
Structural Risk Minimization
结构化风险最小化原则
© 2013 SAP AG. All rights reserved. 41
如何保证自动模型的准确度?
SRM原则如何选择最佳模型?
高准确/低稳定
低准确/高稳定
最佳模型
测试模型
已知数据
新数据
(低训练误差/高测试误差)
(高训练误差 = 高测试误差)
(低训练误差 ≈ 低测试误差)
© 2013 SAP AG. All rights reserved. 42
学习误差
错误
模型复杂度
最佳模型
验证误差
模型稳定度
准确性(KI):
模型对现有数据的解释能力怎样?
通过最小化误差获得
稳定性(KR):
现有模型对将来事件的预测能力。
减小不稳定性
如何保证自动模型的准确度?
SRM原则如何选择最佳模型?
© 2013 SAP AG. All rights reserved. 43
商业化的图形解释 模型提升
© 2013 SAP AG. All rights reserved. 44
商业化的图形解释 变量贡献
变量贡献:哪个变量与是否达到年收入5万美元关联性最大?
InfiniteInsight演示
© 2013 SAP AG. All rights reserved. 46
人人都知道啤酒加尿布撬动了大数据分析
可你知道这个案例是InfiniteInsight做的吗?
沃尔玛关联规则案例---购物篮分析---对POS数据挖掘
设定最小支持度与最小信赖度两个阀值
假设最小支持度min_support=5% 且最小信赖度min_confidence=70%
挖掘---算法--关联规则结果
Support(尿布,啤酒)>=5%且Confidence(尿布,啤酒)>=70%
在所有的交易纪录资料中,至少有5%的交易呈现尿布与啤酒这两项商品被同时购买
的交易行为
Confidence(尿布,啤酒)>=70%于此应用范例中的意义为:在所有包含尿布的交易纪
录资料中,至少有70%的交易会同时购买啤酒。
若有某消费者出现购买尿布的行为,
超市将可推荐该消费者同时购买啤酒
© 2013 SAP AG. All rights reserved. 47
InfiniteInsight 专注于发现整个流程的真正瓶颈,
即数据准备。
. Cellular 深入了解客户
仅使用 天时间内, 便开始构造严重
流失模型,建立了竞争流失模型, 并初
步建成5个产品交叉销售/向上销售模型
客户发现效率提升 17%
现在, 能够在一天内建立一个高效的模
型
- Dave Torgerson,EDW/CRM 项目与客户知识总监
© 2013 SAP AG. All rights reserved. 48
金鹰百货
方案:CRM (欺诈)
行业:零售 地区:中国
商业挑战:
金鹰集团总部发现存在营业员办理VIP会员卡盗刷大额积分的情况。
总部领导希望找出有效方法屏蔽“异常卡”,降低企业损失,且不误伤真正的大额忠诚客户,
现有的商务智能工具缺乏数据挖掘功能从而不能支持公司做出更加明智的决策。
金鹰集团BI部门尝试使用SPSS建立分析模型,结果发现建模时间相对较长(1周以上)同时模型调试需
要密集的劳动力支持。
解决方案:
选择SAP InfiniteInsight 作为分析建模的标准化工具
方案成效:
• InfiniteInsight导入数据后3秒钟即输出结果
• InfiniteInsight自动建模的结果与SPSS人工模型拟合度达到90%
• 从之前使用SPSS耗时2-3天的模型迭代调优到如今只需要3秒钟,极大增加建模效率
• InfiniteInsight提供的商业化模型解释工具比SPSS的模型方程更贴近商业需求
• 公司可以建立更多的模型,做更多的探索性分析,用更贴近迭代的方法优化模型
© 2013 SAP AG. All rights reserved. 49
平安保险
方案:KXEN (客群)
行业:金融 地区:中国
商业挑战:
平安保险集团总部希望找出客户与保险产品之间的联系。
现有的商务智能工具缺乏数据挖掘功能从而不能支持公司做出更加明智的决策。
数据量大,基础数据大于1亿条,清洗后的模型数据大约200万条。传统数据挖掘工具已经数据库很难很
很快得出结果。
解决方案:
选择SAP InfiniteInsight 作为分析建模的标准化工具与HANA数据库
方案成效:
• 200万条数据计算时间大约20分钟。
• 分类回归用于计算客户流失
• 聚类算法用于客群分析
© 2013 SAP AG. All rights reserved. 50
与全球超过 400 家领先企业合作缔造成功
电信 零售/电商 金融
感谢各位支持!