大数据平台服务的商机
报告人:舒 翼
讨论组成员:陈秋军、代小春、朱凤兰、丁颖琪、闫文波
朱雪菲、王建华、周 璇、贾玉萌、张海兵
大纲
• 大数据产生的背景及其概念
• 大数据平台服务的商业模式
• 大数据平台服务能为您做什么
• 大数据平台服务的技术准备就位
• 大数据平台服务的供应商就位
• 总结
GB
TB
PB EBZ
B
大数据到底有多大??
地球上至今总共的数据量:
在2006 年,个人用户才刚刚迈进TB时代,全球
一共新产生了约180EB的数据;
在2011 年,这个数字达到了。
而有市场研究机构预测:
到2020 年,整个世界的数据总量将会增长44 倍,
达到(1ZB=10 亿TB)!
1PB (拍字节) = 2^50字节
1EB (艾字节) = 2^60字节
1ZB (泽字节) = 2^70字节
大数据产生的背景:信息大爆炸
大数据产生的背景:信息大爆炸
facebook 社交网络微 博
淘 宝
、 ebay电子商务 …
手 机
、 Apps 移动互联…
移动互联网、社交网络、电子商务等信息化发展极大拓展了互联网的边界和应用范围 。
互联网(社交、搜索、电商)、移动互联网(微博)、物联网(传感器,智慧地球)、车联
网、GPS、医学影像、安全监控、金融(银行、股市、保险)、电信(通话、短信)都在疯
狂产生着数据。
传感器
RFID从2005年的亿增加到2010年的30亿
互联网
Google每天处理大约24PB的数据
社交网络
Facebook每天处理25TB的数据
Twitter每天处理7TB的数据
电信
中国移动每天产生10TB+话单、30TB+上网日志和100TB+信令数
据
金融
每交易周期,纽约证券交易所捕获1TB的交易信息
零售
沃尔玛每小时要处理100万笔电子交易记录
科研
欧洲核子研究中心的强子对撞机每秒产生40TB数据
政府
美国政府拥有848PB数据,居于美国第二位
网上一分钟,人间一万年
什么是大数据平台服务??
大数据平台服务 = 海量数据导入 + 分析软件 + 挖掘过程
什么是大数据平台服务??
企业用以分析的数据越全面,分析的结果就越接近于真实。大数据分析意味着企业能够从
这些新的数据中获取新的洞察力,并将其与已知业务的各个细节相融合
大数据技术将被设计用于
在成本可承受
(economically)的条件
下,通过非常快速
(velocity)的采集、发现
和分析,从大量化
(volumes)、多类别
(variety)的数据中提取
价值(value),将是IT 领
域新一代的技术与架构
以服务为核心的商业模式
卖license 卖服务
从对从对licenselicense的需求到对整体解决方案、服务的需求的需求到对整体解决方案、服务的需求
•易复制、利润率高
•边际成本为零
•卖人头
•盗版
•客户粘度高
•软硬一体化
•利润率较卖license低,
需要解决复用问题
因泛在计算而导致
行业需求变化
利用好海量的大数据,解决中国软件公司卖人头、卖授权、无粘度的商业模式,转变为以
数据服务为核心的新商业模式。
数据的价值链
数据的价值链
大数据平台服务的盈利模式
• 模式1:数据存储空间出租
• 模式2:客户关系管理
• 模式3:企业经营决策指导
• 模式4:个性化精准推荐
• 模式5:建设本地化数据集市
• 模式6:数据搜索
• 模式7:创新社会管理
大数据的价值
数据已经成为可以与物质资产和人力资本相提并论的重要的生产要素
行业大数据应用契合度矩阵
应用可能性
电信
政府(公共事业)
交通
金融
医疗
教育
能源(电力/
石油)
• 纵轴契合度:
表示该用户的IT应用特
点与大数据特性的契合
程度;
• 横轴应用可能性:表示
该用户出于主客观因素
在短期内投资大数据的
可能性;
• 注:
该位置为分析师访谈的
综合印象,为定性分析,
图中位置不代表具体数
值
High
Mid
Low
Low Mid High
优先关注行业用户
应用特点与大数据技
术有较高的契合度,
在主客观条件上也有
较高的应用可能性。
值得关注行业
用户
应有特点与大
数据的契合度
及应用可能性
综合较高
适当关注行
业用户
两个维度暂
时都不具备
优势,可适
当给予关注
互联网(电
子商务)
契合度
流通零售
制造
各行业对大数据平台服务的需求
零售商减少80%的分析查
询的时间 优化仓储
股票交易所原本在2PB数据
上26 小时的查询减少到 2
分钟
政府机构分析声学数据 从几
小时减少到
70 毫秒
电力公司通过在若干分钟分析
10 PB 数据避断电
电信分析流式网络数据减少硬
件成本 90%
Hospital医院通过分析生命特
征流提前
24 hours检测疾病
大数据平台服务能为您做什么? 行业分析篇
大数据平台服务能为您做什么? 智慧地球篇
2011年3月11日日本大地震发生后仅9分钟,美国国家海洋和大气管理局(NOAA)就发布了详细
的海啸预警。NOAA通过对海洋传感器获 得的实时数据进行计算机模拟,制作的海啸影响模
型出现在各大网站。
1962年,经过“圣灰星期三”风暴后,美国陆军工程部和美国国家海洋与大气管理局共同建设了一
个传感器监测系统,对兴风作浪的海洋进行监测。2005年,浮标上安装了更高端的传感器,用
来监测海浪方向。2009年,系统再次升级,开始着手建立一个覆盖全美海岸线的精确海浪监测
网络。这些传感器以分秒为单位,将数据源源不断实时传回
大数据平台服务能为您做什么? 语言文字分析
奥巴马和罗姆尼辩论情况分析。
大数据平台服务能为您做什么? 社交网络分析
电信行业、传媒业借助社交网络分析,对客户的通话数据、微博连接进行分析,能够识别出
这部分“影响者”。社交分析并不是分析单一用户的通话记录和微博信息,而是分析各用户所处
的社交网络。
圈子识别
关键成员识别
传播影响分析
重入网用户识别
双机双卡用户识别
六度空间理论
关系强度分析
大数据平台服务能为您做什么? 算法交易、欺诈检验
欺诈检测:监控信用卡使用,当检测的信用卡
在很短的时间内并且相距甚远的位置已连续
被使用,检测到欺诈行为,拒绝卡的使用
算法交易:及时发现存在的交易机会,每次
一小笔,毫秒级交易,每天进行数量众多的
交易。已经成为趋势
金融交易是最能体现大数据的Velocity特性的,机会稍纵即逝,甚至券商对连接到交易主机的
网线长度都有至关重要的诉求。算法交易成为趋势,但也导致了一次小型的股灾。
大数据平台服务能为您做什么?客户特征交叉销售
今年年初,美国一名男子闯入了他家附近的 Target 店
铺(Target 是一家美国零售连锁超市)。“你们怎么能
这样!”男人向店铺经理大吼到,“你们竟然给我 17 岁
的女儿发婴儿尿片和童车的优惠券,她才 17 岁啊!”
店铺经理不知道发生了什么,立刻向来者道歉,表明
那肯定是个误会。然而,经理没有意识到,公司正在
运行一套大数据系统。一个月后,这个愤怒的父亲打
来电话道歉,因为 Target 发来的婴儿用品促销广告并
不是误发,他的女儿的确怀孕了。
——《纽约时报》报道
更多:反恐(万维信息触角计划与建言计划),库存管理(沃尔玛的Retail Link)、卖数据!
大数据驱动市场营销、驱动成本控制、驱动产品和服务创新、驱动管理和决策的创新、驱动
商业模式的创新。
技术解决方案准备就绪
Gartner 新兴技术成熟度曲线 (2012年)
Gartner 新兴技术成熟度曲线 (2011年)
仅一年时间,大数据技术就取得快速
成长。
仍处于上升通道,处于期望膨胀期
(Peak of Inflated Expectation)
需2-5年才能达到成熟期,成为主要
应用技术。
技术解决方案准备就绪
海量存储
GFS
HDFS
Amazon
S3
TFS
CEPH
Hadoop
离线计算
MapReduc
e
Tenzing
Hive/Pig
Dremel
Drill
Impala
Elastic
MapReduc
e
在线计算
Spanner
BigTable
HBase
SimpleDB
DynamoD
B
Redis
MongDB
流式计算
S4
Puma2
Storm
StreamBa
se
相关领域
Chubby
Zookeeper
Pregel
HAMA
Mahout
Spark
Caffine
ProtocolBuffer
Avro/Thrift
供应商准备就位
▪ 基于SQL语言: 面对
OLAP的传统行和列
▪ 不基于SQL或map-
reduce的: 由谷歌率先
发起
▪ 数据流: 基于运行商数据直接
生成任意图形
新平台技术
数据入
口/汇聚
数据平台
分析
不同范围的服务
▪ 前提:传统交付模式 - 单片或
基于设备的解决方案
▪ 云: 能够充分利用物理设施的
弹性,以实现处理快速增长数
据的能力
“数据库将演变成一个虚拟的,
基于云计算,超级可扩展的分布
式平台。”
- Forrester analyst Jim Kobielus
新的传输方案
总结:大数据和大数据平台服务的意义
“Data is the new oil.”
Clive Humby
结论:能够提供数据分析和挖掘的大数据平台服务供应商
是真正的数据淘金者
除了上帝,任何人都要用数据说话
----爱德华·戴明
Google的判断 : 为了淘到一点金子,需要保存全部沙子!
以一种特定方式,对海量数据进行分析,获得有巨大价值
的产品和服务或深刻的洞见。
人类从依靠自身判断做决定到依靠数据做决定的转变,也是大数据
作出的最大贡献之一。——《大数据时代》
大数据的误区
大数据仅仅是工具和手段,不是目的
其更大的意义在于便捷人们的生活,优化商业模式和组织
形态,降低社会运行成本
推荐读物:
大数据发展:
《大数据:正在到来的数据革命》 涂子沛 著
《大数据时代:生活、工作与思维的大变革》 维克托•迈尔•舍恩伯格 著
技术类:
《hadoop权威指南》
《大数据•互联网大规模数据挖掘与分布式处理》 王斌译
......
Thanks
!