大数据
1、概念
2、特点
4、大数据价值
5、多重挑战
目
录
6、服务前景
3、商业应用
8、我国的应对
7、大数据分析
随着云时代的来临,大数据(Big
data)也吸引了越来越多的关注。大数
据(Big data)通常用来形容一个公司
创造的大量非结构化和半结构化数据,
这些数据在下载到关系型数据库用于分
析时会花费过多时间和金钱。大数据分
析常和云计算联系到一起,因为实时的
大型数据集分析需要像MapReduce一
样的框架来向数十、数百或甚至数千的
电脑分配工作。
简言之,从各种各样类型的数据中,
快速获得有价值信息的能力,就是大数
据技术。明白这一点至关重要,也正是
这一点促使该技术具备走向众多企业的
潜力。
概念
大数据比云计算更为落地
商业模式驱动 应用需求驱动
云计算本身也是大数据的一种业务模式
大数据不仅仅是“大”
多大?
PB 级 比大更重要的是
数据的复杂性,
有时甚至大数据
中的小数据如一
条微博就具有颠
覆性的价值
软件是大数据的引擎
• 和数据中心(Data
Center) 一样,软件是大
数据的驱动力.
• 软件改变世界!
大数据的4V特性
体量Volume
多样性Variety
价值密度Value
速度Velocity
非结构化数据的超大规模和增长
总数据量的80~90%
比结构化数据增长快10倍到50倍
是传统数据仓库的10倍到50倍
大数据的异构和多样性
很多不同形式(文本、图像、视频、机器数据)
无模式或者模式不明显
不连贯的语法或句义
大量的不相关信息
对未来趋势与模式的可预测分析
深度复杂分析(机器学习、人工智能Vs传统商务智
能(咨询、报告等)
实时分析而非批量式分析
数据输入、处理与丢弃
立竿见影而非事后见效
商业应用
先来看这么一则偏笑话的案例吧:某超市通过分析一位女顾
客的购物数据(包括购物清单,浏览物品,咨询信息,视频监控
信息<超市内徘徊区域>等),根据分析结果给该女顾客寄来了孕
婴童试用品,这一举动让该女顾客的父亲非常生气,立马致电该
超市投诉,因为她女儿还未成年!超市经理立马登门拜访道歉,
不过事实是,不久后这位小女孩因遮盖不住隆起的腹部而不得不
向父亲告知真相:她真的怀孕了。对于企业而言,大数据有时候
像是一个侦探家,能够拨开重重迷雾,找到问题的本质以及解决
方案,而关键在于,你是否真的懂得如何去驾驭它,让它为你服
务。
大数据应用的关键,也是其必要条件,就在于“IT”与“经
营”的融合,当然,这里的经营的内涵可以非常广泛,小至一个
零售门店的经营,大至一个城市的经营。
%E5%AE%9E%E6%97%B6%E5%A4%A7%E6%95%B0%E6%8D%AE%E2%80%94%E2%80%94HANA%E5%92%8CHadoop%E6%95%B4%E5%90%88%E6%83%85%E6%99%AF%E4%B8%8B%E7%9A%84%E9%9B%B6%E5%94%AE%E9%94%80%E5%94%AE%E7%82%B9%E6%A1%88%E4%BE%8B/%E5%AE%9E%E6%97%B6%E5%A4%A7%E6%95%B0%E6%8D%AE%E2%80%94%E2%80%94HANA%E5%92%8CHadoop%E6%95%B4%E5%90%88%E6%83%85%E6%99%AF%E4%B8%8B%E7%9A%84%E9%9B%B6%E5%94%AE%E9%94%80%E5%94%AE%E7%82%B9%E6%A1%88%E4%BE%
微博为新浪带来巨大价值 马云的判断来自于数据分析
“2008年初,阿里
巴巴平台上整个买
家询盘数急剧下滑,
欧美对中国采购在
下滑。海关是卖了
货,出去以后再获
得数据;而我们提
前半年时间从询盘
上推断出世界贸易
发生变化了。”
马云对未来的预测,是建立在对用户行文分析的基础上。通常而言,买家在采购商品前,
会比较多家供应商的产品,反映到阿里巴巴网站统计数据中,就是查询点击的数量和购
买点击的数量会保持一个相对的数值,综合各个维度的数据可建立用户行为模型。因为
数据样本巨大,保证用户行为模型的准确性。因此在这个案例中,询盘数据的下降,自
然导致买盘的下降。
腾讯在天津投资建立亚洲最大的数据中心;百度也在投资建立大数据处理中心;新浪推
出企业微博产品,提供精准的数据分析服务。
2021/4/20
大数据的应用不仅仅是精准营销
通过用户行为分析实现精准营销是大数据的典型应用,但是大数据在各
行各业特别是公共服务领域具有广阔的应用前景
消费
行业
金融
服务
食品
安全
医疗
卫生
军事
交通
环保
电子
商务
气象
更高一层数据层面整合企业内外部更高一层数据层面整合企业内外部更高一层数据层面整合企业内外部
挖掘内心需求挖掘内心需求
经过大数据改造的IT不再是一个冷冰冰的系统,而变成了推动业务发展,挖掘
客户内心需求的真正推动剂;大数据将催生更多的应用领域需求。
挖掘内心需求
产生新的用户量、给用户产生行为指纹产生新的用户量、给用户产生行为指纹
用户在线的每一次点击,每一次评论,每一个视频点播,就是大数据的典型来源。互联网
企业之所以取得令人瞩目的成绩,其核心的本质就是包括用户网络操作的大数据,进行记
录和分析,形成用户“行为指纹”,从而洞悉用户的潜在的、真实的需求,形成预判。这
是传统企业花费重金都难以企及的梦想。所有传统的产品公司都只能沦为这种新型用户平
台级公司的附庸。
产生新的用户量、给用户产生行为指纹
改变商业模式改变商业模式
以往大数据通常用来形容一个公司创造的大量非结构化和半结构化数据,而现在
提及“大数据”,通常是指解决问题的一种方法,即通过收集、整理生活中方方面
面的数据,并对其进行分析挖掘,进而从中获得有价值信息,最终衍化出一种新
的商业模式。
§谷歌搜索、Facebook的帖
子和微博消息使得人们的行
为和情绪的细节化测量成为
可能。挖掘用户的行为习惯
和喜好,凌乱纷繁的数据背
后找到更符合用户兴趣和习
惯的产品和服务,并对产品
和服务进行针对性地调整和
优化,这就是大数据的价值。
大数据也日益显现出对各个
行业的推进力。
§大数据时代来临首先由数据丰
富度决定的。社交网络兴起,
大量的UGC(即用户生成内容)
内容、音频、文本信息、视频、
图片等非结构化数据出现了。
另外,物联网的数据量更大,
加上移动互联网能更准确、更
快地收集用户信息,比如位置、
生活信息等数据。从数据量来
说,目前已进入大数据时代,
但现在的硬件明显已跟不上数
据发展的脚步。
首先,手中握有数据的
公司站在金矿上,基于
数据交易即可产生很好
的效益;其次,基于数
据挖掘会有很多商业模
式诞生。
大数据价值
虽然大数据目前在国内还处于初级阶段,但是商业价
值已经显现出来。首先,手中握有数据的公司站在金
矿上,基于数据交易即可产生很好的效益;其次,基
于数据挖掘会有很多商业模式诞生,定位角度不同,
或侧重数据分析。比如帮企业做内部数据挖掘,或侧
重优化,帮企业更精准找到用户,降低营销成本,提
高企业销售率,增加利润。
未来,数据可能成为最大的交易商品。但数据量大并不
能算是大数据,大数据的特征是数据量大、数据种类多、
非标准化数据的价值最大化。因此,大数据的价值是通
过数据共享、交叉复用后获取最大的数据价值。在他看
来,未来大数据将会如基础设施一样,有数据提供方、
管理者、监管者,数据的交叉复用将大数据变成一大产
业。据统计,目前大数据所形成的市场规模在51亿美元
左右,而到2017年,此数据预计会上涨到530亿美元。
启发各行业对启发各行业对ITIT系统投资新热点系统投资新热点
2000
伴随着各种随身设
备、物联网和云计
算云存储等技术的
发展,人和物的所
有轨迹都可以被记
录。在移动互联网
的核心网络节点是
人,不再是网页。
数据大爆炸下,怎
样挖掘这些数据,
也面临着技术与商
业的双重挑战。
首先,如何将数据
信息与产品和人相
结合,达到产品或
服务优化是大数据
商业模式延展上的
挑战之一。张夏天
认为,大数据对算
法和计算平台的挑
战加大,计算开销
大增。总量上升,
质量下降,这是大
数据带来的重大挑
战
其次,巧妇难为无米之
炊,大数据的关键还是
在于谁先拥有数据。多
盟联合创始人兼COO
张鹤表示,智能手机是
根据用户营销而不是根
据媒体营销。移动互联
网提供了新的数据来源,
数据分析能够针对每一
位用户的手机信息做精
准匹配,但目前大数据
时代还没有真正来临。
多盟虽然每天可覆盖
1800万用户,但对用
户行为的描述,还需要
更大的数据量。
从市场角度来看,
大数据还面临其他
因素的挑战。架势
无线CEO叶忻直言,
大数据很有前景,
但是市场中数据噪
音太多,会导致数
据价值大大降低。
以无线营销为例,
大量的刷量以及水
军好评差评等数据
已经严重干扰了数
据的准确性,这实
际上大大降低了数
据的价值。
多重挑战
数据服务前景
《中国经营报》:现在大数据越来越多被提及,你觉得数据挖掘在商业模式
上有什么新的趋势?
答:大数据就是实时数据的处理和实时结果的导向,越来越多的数据挖掘前
端化,或者说直接为消费者感知和直接提供消费者所需要的服务,通常形式
是诞生了各种各样的个性化推荐的服务。
《中国经营报》:在大数据背景下,对于各种从事数据挖掘的公司有什么新的机
会?
答:大数据的前提是数据总量的迅速增加以及数据的流动性增加,前者是由于用
户的行为在手机和电脑上越来越多,门槛越来越低;另外一个因素是因为各种平
台的开放导致流动性增加,以上两个因素的诞生才能催生更多的直接为消费者服
务的大数据公司。以北京百分点信息科技有限公司(以下简称“百分点”)为例,
这家公司的方向、应用和诞生时间,恰好符合了这样的趋势。
产业界对于大数据的热情持续升温的同时,资本也敏锐地发现了这一趋势,
并开始关注数据挖掘和服务类公司。基于此,《中国经营报》记者专访了
对这个领域深有研究的资深人资。
《中国经营报》:从投资角度,你怎么看数据挖掘类公司的投资价值和公司
前景?
答:我看好以大数据为出发点的商业模式和电商的后续服务产品。它们的前
景大方向是符合趋势的,但是具体产品和数据处理能力,可能是最终成败的
因素。
《中国经营报》:从行业角度看做大数据的门槛在哪里?做数据挖掘需要
具备哪些重要的因素?
答:门槛主要是如何获得大量数据,数据的质量、相关性以及是否有好的
处理能力和技术,最终应用的方向是商业化的关键。
《中国经营报》:在你看来,IDG投资百分点主要看中哪几个关键点?你认为百
分点所处的竞争环境如何?
答:百分点具有良好的团队、技术能力、行业能力以及研究能力,在它们的创始
人之间既有互补又有突出。另外,它们的诞生和发展符合了大的趋势,而且相对
又有一点领先。目前的竞争环境主要取决于国内互联网公司,尤其是大公司对于
开放数据的态度和速度,同时也包括它们的技术能力和产品是否能够不断地超越
用户的需求。
越来越多的应用涉及到大数据,不幸的是所有大数据的属性,包括数量,速度,多样性等
等都是描述了数据库不断增长的复杂性。那么大数据给我们带来了什么好处呢?大数据最大的
好处在于能够让我们从这些数据中分析出很多智能的,深入的,有价值的信息。
下面我总结了分析大数据的5个方面。
我们知道由于非结构化数据的多样性带来了数据分析的新的挑
战,我们需要一系列的工具去解析,提取,分析数据。语义引
擎需要被设计成能够从“文档”中智能提取信息。
可视化是给人看的,数据挖掘就是给机器看的。集群、分割、孤立点分
析还有其他的算法让我们深入数据内部,挖掘价值。这些算法不仅要处
理大数据的量,也要处理大数据的速度。
数据挖掘可以让分析员更好的理解数据,而预测性分析可以让分析
员根据可视化分析和数据挖掘的结果做出一些预测性的判断。
不管是对数据分析专家还是普通用户,数据可视化是数据分析工具最基本
的要求。可视化可以直观的展示数据,让数据自己说话,让观众听到结果。
1. Analytic
Visualizations
(可视化分析)
2. Data Mining
Algorithms(数
据挖掘算法)
3. Predictive Analytic
Capabilities(预测性分
析能力)
4. Semantic
Engines(语义引擎)
5. Data Quality and
Master Data
Management(数据质量
和数据管理)
数据质量和数据管理是一些管理方面的最佳实践。通过标准
化的流程和工具对数据进行处理可以保证一个预先定义好的
高质量的分析结果。
2021/4/20
我国的应对
最早提出“大数据”时代已经到来的机构是全球知名咨询公司麦肯锡。麦肯
锡在研究报告中指出,数据已经渗透到每一个行业和业务职能领域,逐渐成为重
要的生产因素;而人们对于海量数据的运用将预示着新一波生产率增长和消费者
盈余浪潮的到来。
“麦肯锡的报告发布后,大数据迅速成为了计算机行业争相传诵的热门概念,
也引起了金融界的高度关注。”随着互联网技术的不断发展,数据本身是资产,
这一点在业界已经形成共识。“如果说云计算为数据资产提供了保管、访问的场
所和渠道,那么如何盘活数据资产,使其为国家治理、企业决策乃至个人生活服
务,
事实上,全球互联网巨头都已意识到了“大数据”时代,数据的重要意义。包
括EMC、惠普、IBM、微软在内的全球IT 巨头纷纷通过收购“大数据”相关厂
商来实现技术整合,亦可见其对“大数据”的重视。
“大数据”作为一个较新的概念,目前尚未直接以专有名词被我国政府提出
来给予政策支持。不过,在12月8日工信部发布的物联网“十二五”规划上,把
信息处理技术作为4项关键技术创新工程之一被提出来,其中包括了海量数据存
储、数据挖掘、图像视频智能分析,这都是大数据的重要组成部分。而另外3项
关键技术创新工程,包括信息感知技术、信息传输技术、信息安全技术,也都与
“大数据”密切相关。
谢谢观赏
小组成员:
高月红 1016415003
王桃红 1016415009
于素云 1016415028
王吉如 1016415043
陆燕 1016415045
吕佳佳 1016415047
施慧 1016415049
徐思思 1016415067