大数据大数据与车联网
北京华仪骏驰物联网技术有限公司
大数据时代的车联网
世界各国的应对措施
2013/11/15
大数据时代的车联网
随着互联网的不断发展,大数据正在成为一股热
潮,且业界对大数据的讨论已达到一个前所未有的高
峰。
车联网作为移动互联网大背景下诞生的一个产物,
不管是车辆的接入、服务内容的选择还是服务的精准
性,都离不开大数据。
车辆上传的每一组数据都带有位置信息和时间,
并且很容易形成海量数据。
一方面,如果说大数据的特征是完整和混杂,而
车联网与车有关的大数据特征是完整加精准。如某些
与车辆本身有关的数据,都有明确的一个ID,根据这
个ID可以关联到相应的车主信息,并且这些信息还是
精准的。
另一方面,我们可以看到车联网与驾驶人的消费
习惯、兴趣爱好等大数据特征是完整和部分精确。因
此,研究车联网的大数据更有意义。
大数据的定义和特征
大数据(big data),或称巨量资料,指的是所涉
及的资料量规模巨大到无法透过目前主流软件工具,
在合理时间内达到撷取、管理、处理、并整理成为帮
助企业经营决策更积极目的的资讯。
我们从权威的定义可以看到,大数据的特征有四
点,分别为:
数据体量巨大。从TB级别,跃升到PB级别;
数据类型繁多。提到的网络日志、视频、图片、
地理位置信息等等;
价值密度低,商业价值高。
以视频为例,连续不间断监控过程中,可能有用
的数据仅仅有一两秒。
处理速度快。1秒定律。
车联网的大数据在预测方面可以发挥到极致。如,
预测交通堵塞的地段,实时交通信息,主动安全,公
交的排班。驾驶者驾驶行为分析。
大数据的核心在于预测,这在车联网行业非常有
用,例如,对于交通流量的预测,就非常需要大数据。
对于交通流量,目前我们的仿真系统更加重视交
通流量大,拥堵的原因,而大数据时代,不再在乎因
果关系,而重视相关性,也就是不去分析产生拥堵的
原因,但确实某个时段某个路段会发生拥堵。也可以
根据车联网的大数据对车友的兴趣进行分析。
大数据在商用车领域已经有相当多的应用,如公
交领域的运营排班管理、出租车领域的浮动车数据,
物流行业的大物流。
如何解决公交企业面临的三大问题:运力配备最
少、车辆运行距离最短、驾驶员作业时间最少?如何分
析各时间段、各站点的客流分布情况呢?如何实现运营
的安全智能化、运营排班的智能化?在公交行业,以上
问题普遍存在,
通过车联网的大数据,可以解决公交行业所面临
的这些问题。根据各个时间段,各站点的客流量大小,
线路配备的运营车辆数、线路配备驾驶人员、线路长
度、车辆运行速度等大数据,可确定一条线路各个时
间段的配车数及发车间隔,从而解决运力配备最少、
车辆运行距离最短、驾驶员作业时间最少三大问题。
根据客流量、节假日、气候、节气、自然灾害、
道路、车况事故、历史同期数据、售票方式、居民小
区建设等条件建立计划模型,从而用最快的速度对这
些影响运营计划的因素做出反映。比如增加线路,增
加车辆,增加司机,有效地制定公交运营计划。同时
可对于运营排班精准管理,可通过大数据可以自动排
班,对行车作业计划进行优化,并快速地对运行线路
进行调整和优化。
自从菜鸟网络公司出现以后,大物流的概念终于
被业界提及。
什么叫大物流呢?是指企业的自有物流系统(由车
队、仓库、人员等组成),和第三方物流企业的配送信
息与资源进行共享,从而能充分地利用各方面资源,
减少物流总支出、降低运营成本。
目前物流行业随着业务的扩大,车辆数日益增多,
而且型号众多。很多企业还是采用手工方式进行车辆
管理,工作量大,对车辆运营数据统计分析比较困难,
统计结果相当滞后,不利于公司的决策管理;同时在车
辆行驶过程中没有进行全程的监控,对司乘人员的违
法违规行为无法进行及时预警,也无法对司乘人员的
求助及时进行反应。
如何改善物流企业在管理上较为落后的现状,达
到货主“高服务质量、严格的准时率、极小的货损率、
较低的物流成本”的要求?
如何解决物流行业运行信息反馈滞后、运营高成
本、货运车辆的高空驶率、司机作弊给货物和车辆的
安全带来的极大隐患?
如何快速、高效的为用户提供可靠的物流服务?
如何最大程度的利用运力资源提高整体业务运
营效率?
这些是目前物流行业迫在眉睫的问题。
对以上问题,车联网技术正好可以解决车主迫在
眉睫的问题,通过透明化的运输过程管理,合理调度
车辆,根据车辆行驶的大数据,对车辆行驶的线路畅
通情况进行预测,规划出一条安全畅通的行驶路线,
减少由于交通原因而引发的在途等待时间。
通过车辆运行的大数据,可以快速地分析出相同
路线的油耗情况,事故多发路段的提前预警,精确分
析计算车辆的行程,提高了企业的信息化水平,随时
了解到货物的运行状态信息及货物运达目的地的整个
过程,确保了运输过程的透明化管理,使企业的运行
管理智能化、服务准时性,提高可预见性。
同时,通过车辆运行的大数据,可获取高速、国
道、省道的实时路况,同时对司机的驾车规律的分析,
为加油站、维修站、服务站的选址提供了参考数据。
另一方面,物流的成本有很大一部分属于仓储成
本。通过车联网技术,对海量的数据进行分析计算,
经过合理地调度,降低车辆的空驶率,把移动中的每
辆货车可以作为一个流动的仓储空间,提高了仓储空
间的周转率,从而帮助企业降低仓储成本。
大数据在乘用车领域的应用
大数据在乘用车领域目前比较成熟的应用有保
险和主动安全,未来必将有大量的企业会在CRM和呼叫
中心领域寻求更多的业务增长点。
2011年8月,北美最大的汽车保险公司StateFarm
与车联网服务提供商Hughes结为连理,由此第一个由
保险公司主导的车联网商业模式走上了世界舞台。由
此,关于保险模式的车联网被业界所热议。
State Farm主导的车联网商业模式有如下几个
特点:
与保险公司的业务捆绑;
提供与驾驶安全度结合的保险费率;
与车联网服务提供商(TSP)Hughes 合作;
服务差异化,避免与OnStar 等前装车厂主导的
车联网产品和导航产品竞争等。
大数据时代,通过对驾驶者总行驶里程、日行驶
时间等数据,以及急刹车次数、急加速次数等驾驶行
为在云端的分析,有效地帮助保险公司全面了解驾驶
者的驾驶习惯和驾驶行为,有利于保险公司发展优质
客户,提供不同类型的保险产品。
目前车联网所提供的主动安全方面的措施大致
有胎压监测、故障预警、碰撞报警、安全气囊弹出报
警、紧急救援等。但目前在主动安全方面的设备更多
是车辆上的一个节点,并没有真正的和大数据关联起
来。
在大数据时代,当汽车在行驶过程中,平台可对
轮胎气压进行实时自动监测,并对轮胎漏气和低气压
进行报警,以确保行车安全。胎压监测有直接和间接
两种,直接的通过传感器来监测,而间接的监测是当
某轮胎的气压降低时,车辆的重量会使该轮的滚动半
径将变小,导致其转速比其他车轮快。
通过比较轮胎之间的转速差别,以达到监视胎压
的目的。间接式轮胎报警系统实际上是依靠计算轮胎
滚动半径来对气压进行监测。间接方式的胎压监测需
要通过上传OBD的信息至云端,由云端通过大数据来分
析出轮胎是否漏气,并实时提醒司机,确保安全行驶。
对于呼叫中心,很多企业只是简单的定义为简单
的服务部门,其实,TSP的呼叫中心,不仅承担客服角
色,还承担售前角色。呼叫中心可以帮助企业快速寻
找、锁定有潜在消费能力的最终用户。用对的人、合
适的时间、适宜的话术换来的就是成功的营销。
在大数据时代,TSP、汽车经销商或4S店的业务
结构会发生一定的转移,原有的客服部门从以往的成
本中心逐步转变为利润中心。
呼叫中心的大数据包括,使用情况,客户兴趣及
生活习惯三个方面。通过呼叫中心,我们可以获取车
辆的使用情况、车联网系统的客户体验效果以及与车
辆本身的相关咨询,这对于主机厂市场跟踪反馈,促
进相关部门对质量问题进行快速改进有重要的意义。
通过呼叫中心,可掌握车主的消费习惯,车主的
活动范围、车主的生活习惯及车主商旅情况(订票、订
酒店、订餐、订鲜花),车主的消费心理。如车主在生
活消费过程中,在日常购买行为中的心理活动规律及
个性心理。消费需要问题,消费时间与消费习惯问题,
物质消费与精神消费问题,通过大数据的分析,从而
有效地制定相应的营销策略及营销话术。
关于大数据的思考
大数据时代,影响着我们的思维。以前我们对于
出行过程的理解,传统的观念只注重为客户提供导航
和娱乐这一功能,并没有对这一过程进行深度的分析。
这个过程中,分别为去之前,在路上,停车后。对于
这个过程,我们可以延伸出很多车联网的服务内容,
并且每个阶段都离不开熟人社会,每个阶段都会产生
大数据,大数据可延伸很多增值服务。
服务内容的精准性如果单纯靠服务提供商的力
量,那服务商将要投入巨大的人力或资本并且要经历
很长的时间,显然这种方式不可行。解决这种问题,
理想的方法就是通过车主的与社区网站的互动,只有
通过这种方式,才能快速地采集到相应的兴趣点。这
必须要进行大数据分析。
对于客户信息,无论是车厂还是汽车销售商,都
视为命根子,可事实是什么?事实是现阶段这些客户信
息一点用都没有,能从这些客户信息中延伸出一些增
值服务吗?很难。说白了,这些信息无法带来“顾客终
生价值”(Customer Lifetime Value),顾客终生价值
指的是每个购买者在未来可能为企业带来的收益总和。
如同某种产品一样,顾客对于企业利润的贡献也
可以分为导入期、快速增长期、成熟期和衰退期。显
然,现阶段的产品形态或者企业的信息化水平有限,
一方面无法完成大数据的挖掘,另一方面,缺少专业
化的分析工具,而车联网时代,给了我们无限的想象
空间,让一切皆有可能!
“大数据”取决于谁做的定义
大数据是时下流行语,但这是它真正的意思吗?
让数据变大吗?
数据科学家约翰·Rauser提到一个简单的定义:
由一台计算机处理的数据量当然非常大。这是过于简
单化造成的。
杰弗里·布林的研究小组说,“大数据是最大肆宣
传的技术之一,因为在去年最被夸大的技术,当发生
这种情况,定义就会变得混乱。”
IDC业务分工方案副总裁Dan Vesset说,由于缺
乏一个标准的定义点,导致市场不成熟。“我想看到的
东西,实际上谈到有关数据,而不是处理所需的基础
设施,”他说。
“它可能不具有所有的包容性,但我觉得大部分
这是正确的,”大数据项目分析师杰夫·凯利说。它是
如此之大,分析它需要将多个工作负载,从而自动将
定义蔓延。
大数据的使用分为三个方面,所有这一切都发生
在字母V:数量,速度和各种启动。如许多分析公司IDC
和企业,如IBM,似乎围绕着这个定义。量将意味着大
量生成和组织收集的数据;速度,是指必须分析数据的
速度和品种是指从文本,所收集的数据的不同类型繁
多,音频,视频,网络日志和更多。
但也有一些怀疑该定义的声音。Breen认为,第
四个“V”添加到定义:供应商。
“AWS和IBM的定制定义,是支持他们的产品,”
布林说。“例如AWS的大数据分析工具,如地图,减少
弹性,这是一个基于云的大数据处理功能,提供了一
个品种。”
亚马逊发言人万亿兰德尔在一封电子邮件写道:
云提供即时的可扩展性和弹性,让您专注于分析,而
不是基础设施。“它增强你的能力和能力要求有关数
据的问题,并得到迅速以及正确的解答。” 兰德尔说。
大数据分析是一个新兴的市场。凯利认为,谷歌
最近发布BigQuery,该公司基于云的数据分析工具。
对于IBM而言,信息是“21世纪的石油”,业务决策,
横跨多种行业前进。
IDC称,大数据是一个很大的市场,IDC估计企业
将投资超过120亿美元,横跨硬件,软件和服务。
Vesset说,大数据的关键并不在于它是如何定义
的,而是用数据做什么。最大的挑战是了解哪些技术
是最好的数据和使用情况。如果这是传统的关系数据
库相比,非结构化数据的服务。
到目前为止,大数据的定义是无形的。凯利表示,
大数据最好的定义就是当你看到它,你就全知道了。
美媒:大数据时代将彻底改变人类生活
美国《基督教科学箴言报》网站8月11日刊登题
为《运算新时代——我们的生活方式将受到怎样的影
响》的署名文章,作者为罗伯特·莱尔曼。
文章介绍说,阿诺德·伦德是美国通用电气公司
下属实验室的负责人。时至今日,公司位于美国尼斯
卡尤纳的研究总部里依然陈列着创始人托马斯·爱迪
生用过的一张办公桌。不过,即便是爱迪生恐怕也要
通过培训才能完全理解伦德手中某个项目的内容。
伦德研究的问题是——电力企业如何才能掌握
数据的威力,预测出究竟哪些树木会在暴风雨中倒向
输电线,以便避免停电的发生?
美国约翰斯·霍普金斯大学教授理查德·罗思曼的
工作则更为基本:治病救人。
美国疾病控制和预防中心会通过各家医院的报
告来预测流感疫情,但这一过程需要数周时间。2009
年,有研究成果似乎表明可以通过分析千百万条谷歌
搜索词条来更快地预测疫情。诸如“孩子病了”这样
的搜索词条如果突然增多,就会成为流感疫情的标志,
而疾病控制和预防中心此时可能还蒙在鼓里。这就为
罗思曼及其同事安德烈娅·杜加斯提出了一个新的问
题——谷歌能否及时预测出流感疫情,帮助医院提前
做好准备?
文章称,这些研究人员提出了不同的问题,但他
们都是“大数据”新时代的有机组成部分——不管是
好是坏,这一新现象都将彻底改变我们生活、文化乃
至这颗星球的方方面面。
就在四年前,曾有人想在维基百科网上为“大数
据”编写条目。但维基百科拒绝了,认为这条短语没
有任何特别之处——只不过是“大”和“数据”二词
的简单结合。时至今日,大数据似乎无所不在。有人
认为大数据引发了自欧几里得时代以来的最大变革。
想要竞选公职吗?召集一帮电脑怪才,让他们梳
理数据库,找出那些可能投票给你的人群——然后用
量身定做的手机短信盯住这些人。美国总统奥巴马曾
在2012年这样做过。
想要解决非洲贫困问题?分析手机短信和社交
网络,找出失业、瘟疫等问题的早期征兆。联合国正
在这样努力。
渴望找到合适的伴侣?运用运算法则,分析无数
种性格特征,确定谁与你最相配。许多婚恋网站现在
就是这样做的。
那么,大数据究竟是什么意思?它新在哪里?有
什么特别?又有什么缺点呢?这些问题已经引起了人
们的极大兴趣,尤其在6月5日“棱镜门”曝光以后。
大数据的阴暗面远不只是斯诺登的爆料,也远远不只
是美国的那些行为。美国巴布森学院的信息技术专家
托马斯·达文波特说:“大数据的作用将颇具变革性。”
大数据究竟会改变什么?为找到答案,让我们从
头开始探究吧。
文章称,大数据首先需要有……很多很多数据。
谷歌公司执行董事长埃里克·施密特说过,我们
现在每48小时收集到的数据量(泽它字节,即1,800,
000,000,000,000,000,000字节)相当于人类从“文
明之初到2003年为止”收集到的数据总和。
你没有看错。这家每天接收到500亿条搜索请求
的公司的老总相信,人们现在短短数日收集到的数据
量就已经超过人类在大部分历史时期收集到的数据总
和。
文章指出,数据量增长的主要原因是,我们把许
多日常活动都数字化了,比如网上购物和下载音乐。
另一个因素是我们越来越依赖电子设备。每当我们发
送电邮、检索词条、发表帖子、文章和微博时,这些
电子设备都会留下我们的数字足迹。绝大部分数据并
不会影响到我们。收集数据本身并不意味着数据是有
价值的。然而,挖掘正确信息、发现规律和相关性的
新能力已经影响到我们的日常生活了。
肯尼思·库基尔和维克托·迈耶-舍恩伯格在《大
数据:一场将要改变我们生活、工作和思考方式的革
命》一书中写道,美国沃尔玛百货公司通过挖掘销售
数据,发现人们会在飓风来袭前储备许多名为“Pop-
Tarts”的零食。现在,每当暴风雨将要来临时,沃尔
玛就会把“Pop-Tarts”和手电筒放在同一排货架上。
不过,大数据带给人们的兴奋与担忧之情远比上
面这个例子来得深刻。
罗伯特·莱尔曼在文中说,去年,有一棵倒下的
树砸在了他家屋后的输电线上。当地公共事业部门进
行维修的时候,一股电流击毁了他的电脑,破坏了机
器里的所有内容。
于是,阿诺德·伦德的输电线项目引起了他的注
意。“对电力企业来说,主要成本之一就是对付树枝。”
他说,“我们绘制出一个州的整个地貌,以及电网的分
布图。我们通过卫星数据监测树木生长,修剪掉长得
最繁茂的部分。然后,我们会预测哪些地方最有可能
出事情。我们通过50种不同的变量考察断电的可能性。”
通过这简短的一席话,罗伯特·莱尔曼称他看到
了库基尔和迈耶-舍恩伯格在书中提到的大数据为研
究工作带来的三大变化。
第一、求规模,不求样本。
一百多年来,统计学家们一直依赖小规模数据样
本,以此作为归纳的基础。他们没有选择,因为他们
没有能力收集更多数据。新技术意味着我们可以“收
集到大量数据,而不是满足于……样本”。
第二、求杂,不求精。
科研人员传统上喜欢“干净、精确的数据;如果
得不到那么多数据,科研人员就必须尽可能拿出严谨
态度”。现在就没必要了。数据量带来的好处胜过了我
们“对精确度的苛求”。
第三、求相关性,不求原因。
尽管科研人员乐于了解现象背后的原因,但“达
到(研究)目的”并不一定要求我们必须了解世界的
运行规律。
伦德的实验室诠释了这“三大变化”。
首先,他的“全地貌图”与50种变量涉及海量数
据。
其次,伦德追求的是发生各种事件的“可能性”,
而非“严格的精确度”。
那么相关性呢?伦德当然看重原因,比如树木生
长快慢的原因,只不过他更加关注的是那些可能需要
相关人员采取行动的相关情况。
文章称,为进一步阐述相关性问题,库基尔和迈
耶-舍恩伯格举了美国联合包裹运送服务公司的例子。
这家公司会在自家卡车上安装传感器,用来感应与抛
锚有关的振动及其他现象。“这些数据没法把故障原
因告诉公司,但它们透露出的信息足以帮助公司了解
到应该采取哪些应对措施。”
不过,大数据的副作用同样令人担忧。美国美利
坚大学传媒学院的劳拉·德纳尔迪斯对三方面事情感
到担心:新技术会不会
(1)损害隐私,
(2)扩大贫富差距,
(3)把政府变成“老大哥”?
今天,我们可以借助许多强大的方法,通过原本
应该保密的资料发现当事人的真实身份。德纳尔迪斯
担心某些公司对于我们使用社交媒体的习惯实在太过
了解了。
文章提出,除个人隐私外,有批评人士对大数据
在更广阔领域的影响表示担忧,比如扩大富国和穷国
的差距。美国大公司雇得起数百名数据分析师,那么
孟加拉国该如何竞争呢?这会扩大全球数字差距吗?
或许眼下最令人不安的是,政府有可能以国家安
全的名义运用大数据来监视国民。而斯诺登事件所引
发的问题涵盖了隐私、保密、自由等诸多方面内容,
当然也包括国家安全。
虽然大数据能够预测流感疫情,预测哪里的树木
会倒下,但是大数据本身并不能解决我们面临的经济
和道德难题。无论是在维护正常供电,还是帮助患者
更快康复的时候,大数据所做的都是告诉我们出了什
么情况,而不会告诉我们什么是对的。
改变世界的大数据
2012年以来,大数据成为各界热议的话题。随着
个人电脑、智能手机及掌上智能设备的普及,一个大
规模生产、分享、应用数据的时代正在开启。
到底什么是大数据呢?通俗地讲,大数据就是对
网上海量的文本、图像、音频和视频数据进行采集、
分析、加工和利用。
大数据有多大?根据专家预测,2013年世界上存
储的数据预计能达到泽字节,如果把这些数据存储
在只读光盘上,这些光盘可以堆成五堆,每一堆都可
以伸到月球。
大数据之所以引发众多关注,是因为只要发现了
两个现象之间存在的显著相关性,就可以创造巨大的
经济或社会效益,而弄清二者为什么相关可以留待人
们慢慢研究。
在信息技术融合应用的新时代,大数据就是像黄
金一样的新型经济资产、像石油一样的重要战略资源。
大数据 大应用
早在1969年,全球零售巨头沃尔玛便利用计算机
对消费者的购物行为进行数据分析,结果发现男性顾
客在购买婴儿尿布时,常常会顺便“搭配”几瓶啤酒
来犒劳自己,于是推出了将啤酒与尿布捆绑销售的促
销手段。如今,这一“啤酒+尿布”的数据分析成果,
已成为科学家通俗解释大数据技术的经典案例。
事实上,大数据的应用范围极其广泛,几乎涵盖
我们日常生活的各个领域,尤其是在医疗、电子商务、
金融、城市管理等四个方面的应用最令人瞩目。
在医疗健康领域,大规模复杂数据已经变得很普
遍,通过对大量病人的各类数据进行挖掘分析,有助
于更有效地找出疾病成因,进而提供有针对性的预防、
诊断和治疗措施。
苹果公司的传奇总裁乔布斯在与癌症斗争的过
程中,成为世界上第一个对自身所有DNA和肿瘤DNA进
行排序的人,因此得到了包括整个基因密码在内的数
据文档。乔布斯的医生们能够基于乔布斯的特定基因
组成,按所需效果用药。如果癌症病变导致药物失效,
医生可以及时更换另一种药。虽然乔布斯最后没能战
胜癌症,但是这种通过数据挖掘诊断病情的方法还是
将他的生命延长了好几年。
对于电子商务而言,大数据同样拥有很大的利用
空间。据统计,亚马逊销售额的1/3来自于它的个性化
推荐系统。
从一开始,亚马逊就从每一个客户身上捕获了大
量的数据。比如,他们购买了什么书籍?哪些书他们
只浏览却没有购买?浏览了多久?哪些书是他们一起
购买的?根据这些数据,亚马逊就能够判断出客户个
人的购物喜好,并为客户推荐相关的书籍。有了它,
很多大型书店和音乐唱片商店就不得不歇业。
阿里巴巴网络金融冲击传统金融业的再度创新,
借助的仍然是大数据的优势。
阿里巴巴计划推出针对买家的“虚拟信用卡”,
消费者过往的网购消费额、不良记录等数据将经过评
估,转化为1元到5000元不等的授信额度,然后,消费
者就可以在淘宝、天猫等签约店铺,通过“刷信用”
付款,最长免息期达38天。阿里数据库中的8000万用
户,将成为这一新型信用卡业务巨大的市场潜力。
在城市管理领域,大数据的力量也不可小觑。
纽约每年有很多沙井盖会因为内部失火而发生
爆炸,重达300磅的大型沙井盖在轰然落地之前可以冲
上几层楼高。联合爱迪生电力公司每年都会对这些沙
井盖进行常规检查,过去这完全看运气,而现在,工
作人员通过计算机对1880年以来所有沙井盖检修数据
进行分析,发现了大型沙井盖爆炸的106种预警情况。
后来证明,这种预测效果非常好,在被列出的前10%的
高危沙井盖名单里,有44%的沙井盖都发生了严重的事
故。
大数据 大布局
在人们惊呼大数据时代到来的时候,不少国家和
企业已经开始在这一新领域谋篇布局。2012年3月,美
国政府宣布投资2亿美元启动“大数据研究和发展计
划”,这是继1993年美国宣布“信息高速公路”计划后
的又一次重大科技发展部署。微软、谷歌、雅虎等IT
巨头也在通过大规模互联网并购、开发大数据产品等
多种途径,抢先布局大数据时代。
在我国,大数据正由概念进入落地阶段。2012年
7月,我国《“十二五”国家战略性新兴产业发展规划》
明确提出“加强以海量数据处理软件等为代表的基础
软件的开发”。2012年12月13日,中关村大数据产业联
盟宣布成立,目的是把不同的数据集中在一起,推广
大数据,建立生态系统。一些互联网公司目前已经开
始行动起来,百度已经建成包括百度指数、司南等在
内的五大数据体系平台和消费者画像、品牌探针等技
术分析方法。
有专家认为,中国拥有庞大的人群和应用市场,
是世界上最复杂的大数据国家。现代历史上的历次技
术革命,中国均是学习者。唯有在这次大数据变革中,
中国与世界的距离最小,很多领域甚至还有创新与领
先的可能。
大数据 大挑战
大数据在带来种种社会变革的同时,也带来了一
系列重大社会问题。
大数据时代给商业机密和知识产权保护带来了
挑战,给企业管理也增加了难度。海量数据的产生、
存储和分析,意味着可能向外界暴露的数据更多了。
近年来,通过互联网侵犯个人隐私的案件时有发生,
保护个人隐私的呼声已经越来越高。而在大数据时代,
企业出于商业意图进行数据收集和挖掘,有可能会侵
犯到个人隐私,因此,规范大数据的使用及监管就显
得格外重要。
此外,既然数据将成为战略资产,就有可能出现
数据壁垒和数据垄断大亨。目前,一些互联网运营公
司、银行等掌握着大量的客户数据,如果不能建立有
效的共享机制,这些机构无疑会成为大数据产业发展
的掣肘。
然而,不可否认的是,虽然大数据带来的挑战会
给人们的生活造成一定困扰,但新科技带来的改变会
远大于其存在的问题,大数据很可能成为拉开第三次
工业革命的华彩乐章。
大数据金融将助力中国经济转型升级
近期,中国金融改革的政策相继密集出台,宏观
层面的金融改革从理念到行动开始提速。那么,微观
层面的金融改革实践该依靠什么?
多名专家于近日在浙江兰溪举行的“创新金融大
数据决策驱动经济绿色转型”论坛上表示,以大数据
为创新驱动的金融改革能够缓解小微企业融资困难,
促进信息消费升级,加快民间资本对金融业的支持,
更灵敏的防范金融风险,成为中国经济结构调整和转
型升级的强大动力。
对于小微企业而言,其融资的一个重大挑战是银
行等金融机构的风险控制要求。小微企业由于经营规
模较小,其信用风险信息较为模糊,使得银行不愿贷
款。凭借强大的信息资源和风险透视优势,大数据金
融将帮助解决小微企业的融资困境。
8月初,国务院发布《国务院办公厅关于金融支
持小微企业发展的实施意见》,支持小微企业融资。
《意见》提出多项支持小微企业融资意见,包括加快
丰富和创新小微企业金融服务方式、着力强化对小微
企业的增信服务和信息服务。
“基于大数据应用的金融机构,可以凭借互联网
开放平台的渠道优势与数据挖掘解决小微企业融资过
程中资金供需双方信息不对称的问题。”中银国际证券
资产管理部副总经理张彻说,有了大数据作为信用风
险的参考,小微企业贷款就会很方便。
另外,大数据能够提高风险透明度,加强风险的
可审性和管理力度,从而减少小微企业融资的成本,
加强金融机构对小微企业进行贷款的风险管理上的激
励。
除了助力小微企业融资,以大数据为驱动的服务
创新能够有效提升金融产品和服务的消费,促进信息
消费,扩大内需。
随着8月份国务院印发《关于促进信息消费扩大
内需的若干意见》,决定加快信息基础设施演进升级,
增强信息产品供给能力,加强信息消费环境建设。
信息消费需求多元化对金融服务提出了更高的
要求。中国外汇投资研究院院长谭雅玲说:“大数据
支持服务创新,强调客户为中心的理念,通过对客户
消费行为模式进行分析,提高客户转化率,开发出不
同的产品以满足不同客户的市场需求,从而促进消费,
提振内需。”
大数据金融的代表互联网金融正不断推动着中
国的金融改革。互联网金融的典型代表阿里巴巴充分
利用其平台积累的大数据资源,将海量交易数据转化
为金融商机,从“支付宝”到“余额宝”,通过对大数
据的深度挖掘实现了精准的金融服务。
当前中国银行业利率市场化改革已经起步,一方
面利率市场化意味着依赖息差的粗放式的传统经营模
式难以为继,精细化管理成为银行业转型的重要方向,
另一方面,利率风险也成为阻碍其市场化改革的一大
难题。
“基于大数据的深度信息挖掘和价值分析将有
效提升银行的风险定价能力,通过精准的手段算清楚
各业务、各产品、甚至各个客户的成本和收益,加快
业务和管理精细化转型,同时有效监控利率风险。”谭
雅玲说。
国家行政学院决策咨询部副主任陈炳才提醒,大
数据金融具有大价值,但同时也存在一定风险。金融
业本身就是风险行业,关系个人生活和国民经济发展,
中国经济需要进行结构调整和转型升级,在此关键时
期,守住不发生系统性金融风险是底线。
分析称大数据将改变移动生态系统
据国外媒体报道,加拿大帝国商业银行(CIBC)
预计,在未来的十年里,新信息产生的速度将增长50
倍。市场研究公司IDC也预计全球数据量将在2009年至
2020年期间增长44倍。移动是推动数据爆炸式增长的
主要因素之一。
苹果在6年前推出的iPhone令电子产品行业发生
了翻天覆地的变化。iPhone开启了一个全新的时代,
让软件设计和硬件设计同时成为技术世界的永恒概念。
很多人认为,数据可能会成为指引下一波创新的
标杆。
BI Intelligence发表了一份关于大数据与移动
的报告,对大数据进行了定义,分析了移动与大数据
的关系,剖析大数据的发展潜力、实际应用和各种陷
阱,解释了数据搜集的过程,回答了关于大数据和移
动的一些最常见的问题。
关 于 大 数 据 与 移 动 之 间 的 关 系 , BI
Intelligence在报告中是这样说的:
首先,大数据需要一个明确的定义:
目前,大数据通常被定义为满足三项V属性的数
据集,即容量(Volume)、种类(Variety)和速率
(Velocity)。但是大数据不光具有这些属性,Skyhook
的产品副总裁基普琼斯(Kipp Jones)称:“我认为
大数据至少还具有第四个V属性,那就是价值(Value)。”
为了让数据具备价值属性,它就必须有效地被获取和
储存起来。然后必须有人来管理数据,分析数据,并
从中提取价值。数据如果没有价值,不论多少都是没
用的。
大数据与移动:
虽然大数据横跨了多个行业,但是移动与它的关
系最为密切。移动大数据并不仅仅是智能手机渗透率
和消费者使用模式中的一项功能。在后台运行的各种
应用和服务也会生产大量的数据。从技术的角度来说,
它与利用传统网页创造出来的数据并没有太大的不同。
区别只在于,当我们将行为转向数字渠道,留下行为
的数据轨迹时,消费者们会创造出更多的数据。甚至
当我们没有使用手机时,我们仍然在创造数据。
大量的数据将被创造出来:
IDC估计,到2020年的时候,数据量将由2012年
的猛增到35ZB。连网移动设备在其中起着非常重
要的推动作用。不但移动设备的出货量和渗透率会增
加,而且随着处理器能力的提高、内存的增加、网速
的加快和应用生态系统的成长,用户对移动设备的使
用率也会增加。
这些数据可以而且肯定会被消费者以各种方式
来使用:
随着很多个人消费者和企业用户开始向数字和
移动领域转移,大数据应用似乎是无止境的。移动大
数据可以被用于各种用途,但它通常被用于移动服务
的优化和个性化。另一个具有巨大的成长潜力的应用
领域是移动广告。
大数据时代的军事管理变革
在数据领域以少胜多、以弱胜强、以模糊胜透明,
基本不可能,这将使作战形式发生质的变化。如何以
数据为中心精确设计和指挥战争,成为军事管理的新
焦点——
大数据是信息技术又一次颠覆性变革。
随着大数据技术在军事领域获得应用,数据数量、
数据分析和处理能力、数据主导决策,将是获得战场
优势的关键。
在数据领域,以少胜多、以弱胜强、以模糊胜透
明,基本不可能,这将使作战形式发生质的变化。如
何以数据为中心精确设计和指挥战争,成为军事管理
的新焦点。
管理大师戴明与德鲁克曾同时提出,“不会量化
就无法管理”。有了大数据,军事管理者可以更多借助
量化,提升管理质量和水平。
大数据坚持管理服务战斗力的原则。
管理是为提高战斗力服务的,最高目标就是确保
打赢可能发生的任何战争。大数据并未改变这一根本
原则,但增加了数据色彩。
一方面,数据成为巩固和提高战斗力的重要因素。
在新型作战环境下,战场的实时态势信息、作战
指挥命令、卫星过境、气象水文信息、传感器信息等,
都是以数据形式存在并且传输的。这些不同来源、不
同类型的数据是提高战斗力的“生命”。缺乏对数据的
有效管理和利用,打赢战争将成为不可能。在不远的
将来,数据的积累和运用将成为战斗力的标志。军事
管理就是将大数据渗透、应用于战斗力生成、转化和
实现的全过程,提高战斗力的整体水平。
另一方面,数据本身成为战争的攻防中心。
当大数据成为举足轻重的武器,就可能开启一种
崭新的战争形态——数据战。这将是一种以数据攻击
与防护为基本手段的全新作战样式,它通过掠夺、破
坏和摧毁敌方数据资源,化数据优势为战争优势。大
数据不但是信息的集成,更是打击手段的综合。在大
数据支撑下,跨网攻击具备了实现条件,即使是与互
联网物理隔离的军事数据系统,也可能不再拥有绝对
安全的保障,数据攻防将会拓展到陆、海、空、天、
电等多维空间。这就决定了军事管理必须着眼于打赢
未来数据战争需要,努力提高部队数据作战能力。
大数据拓展了军事管理内涵。
大数据的现实存在和军事价值,使如何管理大数
据成为军事管理必然要回答的问题。数据采集是数据
管理的源头。
目前,我军数据采集还存在零散多综合少、局部
多全局少的问题。需要通过对蕴含军事意义数据的专
业化获取,掌握海量数据开发利用的主动权。
数据分析是数据管理的关键。目的是从经过整合
的、多来源的数据中找出规律,最终实现对数据的有
效管控。
数据安全是数据管理的底线。既要有效地堵塞国
家和军事安全数据漏洞,防止被敌方破坏和获取;又
要深度挖掘和全面掌握敌方高价值的数据资源,寻求
战时攻击的数据突破点。
此外,也要把保护官兵的个人数据隐私提上日程。
大数据创新了军事管理方法。
从技术方法看,大数据研发的机器学习算法、图
像可视化手段、数据共享技术、人机互动设备等,将
极大推动军事管理技术的革新。从行政方法看,大数
据带给管理者最重要的机会是更准确地了解和把握部
属的需求特征、兴趣爱好、行为倾向等。
管理变革比技术升级更关键。大数据有彻底改变
管理艺术的潜力,运用大数据管理应注意以下几点:
树立大数据理念。
大数据产生的影响绝不限于技术层面,本质上,
它为我们观察世界提供了一种全新方法。我军与外军
的差距,除了装备,还有管理上的代差。其原因之一
是我军缺乏以数据为基础的管理。而未来军队的进步,
正赖于建立这种精确的管理体系。数据才是管理的根
本,每个管理者都应有这样的意识和观念。但也要警
惕泛大数据化,提防什么事都穿鞋戴帽,冠大数据之
名,却无大数据之实。
实施大数据战略。
要站在战略的高度,以全面、前瞻的思维和方法
来应对大数据。加强顶层设计。可在加强大数据资源
的深度开发利用与大数据技术自主创新方面进行调整,
尽快提出大数据发展战略,理清思路,明确任务。统
一数据标准。
为保证部队现有和潜在用户都能发现数据,应尽
快制定数据标准,保证大数据的可视化、可获取和可
利用。实现共享应用。所有数据都要能在全军范围应
用,既满足于预期的用户及需求,也能用于预期之外
的用户及需求。
研发大数据技术。
大数据研发的重点,是发展前沿核心技术,以满
足搜集、存储、管理、分析和共享海量数据的需求。
我国在海量数据分析、大数据处理、分布式计算、
数据可视化等一些大数据关键技术上,还存在不小的
差距。可如果盲目地在军队中引进和使用国外的先进
技术,无疑会威胁国家和军队安全。所以要下大力研
发我国我军的大数据技术,把“数据主权”牢牢掌握
在自己手里,为实现强军目标提供坚强的技术支持和
安全保障。
大数据在体育世界大有所为
大数据是企业界议论颇多的一个术语。但是目前,
由于球员、球队和联赛统计及分析的巨大需求无法满
足,它在体育世界得到越来越广泛地应用。
例如,在网球领域,大数据包括锦标赛、比赛和
球员统计,例如发球速度、连续对打计数、发球直接
得分者和直接得分的发球等。而比大数据包括什么更
重要的是,如何利用大数据来加强并在多个方面转变
我们的体验方式,享受网球运动。
IBM与法国网球协会合作有28年了,为法国网球
公开赛(“法网”)提供支持。IBM为法网带来一系列
解决方案,全部都以实时及历史大满贯赛事数据为中
心。我们获取、分析、保护、存储和分发这些数据,
实际上,大数据是我们与法国网球协会合作的核心。
我们以多种方式使用大数据改善网球比赛,将法
网的行动带给世界各地的球迷、教练、球员和媒体。
例 如 , 使 用 SlamTracker, 这 一 分 析 工 具 在
上提供,改变了许多球迷观赏网球
比赛的方式。
SlamTracker分析8年的法网网球比赛数据(每场
比赛4100万数据点),为每个球员确定将影响一场特定
比赛的三项关键策略。我们称之为“比赛的关键点”
(keys to the match)。在比赛前,球迷可登录网站
查看每个球员在一场比赛中的关键点,在比赛期间根
据这些关键点,逐项实时观看球员的进步。
在今年的锦标赛上,我们重点帮助球迷更好地了
解大数据如何影响教练、球员和媒体,IBM召集了网球
专家专题讨论会,包括:
Justing Gimelstob,前球员,法网混合双打冠
军(与Venus Williams搭档),目前担任网球频道评论
员Sebastien Grosjean,排名第四的国际男子职业网
球协会(ATP)球员,Richard Gasquet的现任教练Leo
Levin,前教练和网球分析师,这是他经历的107次大
满贯比赛。
这些专家组合起来在打网球、教练、分析和评论
方面有七十多年的经验,他们加入了热烈讨论,表达
他们对于大数据在网球运动中的重要性、大数据对法
网的影响以及关于球员训练和比赛洞察力的看法。
美国安局利用大量数据监控本国公民社会关系
中新网10月1日电 据美国媒体1日报道,最新披露的文件及官
员访谈显示,美国国家安全局(NSA)一直在利用其掌握的大量数据绘
制一些美国公民的社会关系图。通过这些详尽的关系图可识别这些公
民的联系人,在特定时间所处的位置,旅伴及其它个人信息。
根据NSA前雇员爱德华・斯诺登提供的文件,为
了获得外国情报,NSA官员取消了相关限制,该间谍机
构从2010年11月起便开始允许分析通话记录及电子邮
件日志,以便监视美国公民的社会关系网。
根据NSA的2011年1月的一份备忘录,这一政策转
向是为了帮助该机构“发现并跟踪”海外情报目标与
在美人员之间的联系。前述文件显示,该机构获得授
权,可以针对每个电子邮件地址,电话号码或其它识
别方式“对大量通信元数据进行大规模图表分析,而
无需检查其是否属于外国人士”。出于对侵犯美国公民
隐私的担忧,对此类数据的计算机分析之前只针对外
国人士。
文件还显示,该机构可利用通过公开、商业及其
他途径获得的资料扩充通信数据,包括银行代码、保
险信息、Facebook个人主页、旅客名单、选举登记名
单、GPS定位信息,以及财产记录及纳税资料。这些文
件并未说明对此类“充实”资料的使用是否受到限制,
一些前奥巴马政府高级官员称,国家安全局针对美国
公民和外国公民都使用过这一手段。
NSA官员拒绝回答这项行动涉及多少美国公民,
包括没有任何不当行为的人员。文件并未说明这种监
视行为取得了何种效果。该监视行为将电话号码和电
子邮件汇编为一条“联系链”,并与涉及外国情报的海
外人员或组织直接或间接地关联起来。
最近几个月,人们对关于NSA获取并使用涉及美
国公民的私人信息的行为有了越来越多的了解,最新
披露的这些内容则提供了新的认识。这促使华盛顿的
立法者们呼吁限制该机构行为,并要求奥巴马下令检
讨其监控政策。人们对该机构的运作方式几乎一无所
知,修改涉及美国公民限制的决定也是秘密做出,没
有经过美国情报法庭的审查或公开讨论。早在2006年,
司法部的一份备忘录就曾警告,在没有适当保护措施
的情况下,此类信息可能会遭到“滥用”。
在被问及关于针对美国公民资料的分析时,一名
国家安全局女发言人说,“任何数据查询都必须提供
针对外国情报的正当理由。”
“NSA的所有工作都是为了搜集外国情报,”该发
言人称,“我们的活动集中于反恐,反扩散及网络安
全。”
该发言人称,该政策变化的法律依据是1979年最
高法院做出的一项裁决,即美国公民不能将其拨打过
的电话号码视为隐私。根据此项裁决,司法部和五角
大楼认为其有权利用美国公民的“元数据”,包括通话
和邮件的时间、地点及其他细节(不包括内容),由此
建立联系链。国家安全局无需获得外国情报监视法庭
对该类数据分析的授权。
这些新披露的文件为了解NSA如何处理其收集的
信息提供了一个难得的机会。
一系列PPT演示文档及备忘录描述了该机构如何
开发软件和其它工具,并使用这些工具最大限度地挖
掘个人隐秘。一份文件中提到了其开发的新一代程序,
并称该程序可以对数据收集和分析工作产生“革命性”
的影响。
由基思・B・亚历山大将军领导的NSA显然把本机
构收集的元数据视作自身最强大的资源之一,亚历山
大不加掩饰地倡导利用更多的武器来搜索与美国的对
手相关的信息。一些专家说,NSA的分析员可以通过这
些信息推断一个人的行为,它也许能比窃听电话谈话,
或阅读电子邮件所得到的行为推断更全面、预测也更
准。
比如说,根据电话和电子邮件记录,分析员可以
识别对象的朋友和同事,查看对象在特定时间身处何
地,获得关于他们宗教信仰或政治倾向的线索,还可
以掌握一些敏感信息,比如定期打给心理医生办公室
的电话、半夜向婚外伙伴发送的信息,或者和同谋者
之间的交流。
NSA监察长在2009年拟定的一份报告草案显示,
根据布什(Bush)政府时期的监听计划,该机构可能已
经在缺乏授权的情况下,对美国人的通信数据做出了
联络关联和分析。该监听计划始于“9・11”袭击之后,
目的是探查恐怖活动,规避现行的电子监控管理法规。
2006年,就在《纽约时报》披露该监听计划几个
月之后,NSA的代理法律顾问给司法部的一名高官写了
一封信,正式要求司法部批准对美国人的电话和电子
邮件数据进行分析,这封信的内容也被斯诺登泄露了
出来。司法部在给部长的备忘录中指出,“误用”此类
信息“可能会引发严重的关切”,并说NSA承诺要采取
包括定期审查在内的措施,以便保障元数据项目的安
全。2008年,布什政府批准了NSA的请求。
根据NSA内部对相关政策的描述,那一年,记录
在《国防部管理通信类元数据分析的补充程序》当中
的新政策获得了国防部长罗伯特・盖茨和司法部长迈
克尔・穆凯西的批准。新政策指出,由于最高法院已
经裁决,元数据并未受到宪法的保护,NSA分析员可以
利用此类信息,“无需考虑通信方的国籍或所在地”。
此前,《卫报》曾报道这个决定。根据2011年的
备忘录,该决定出台之后,在一个持续了一年半的试
点计划中,NSA针对社交网络绘制了关系图表,并且“获
益巨大”。2010年11月,这个政策转变被列入《信号情
报管理第424号令》(Sigint Management Directive
424,Sigint指的是信号情报),并正式生效。
2011发布的备忘录解释了这种转变,并告知NSA
的分析员,只要能拿出一条外国情报来做理由,他们
就能追踪美国人的联络信息。这可能包括任何信息,
从与恐怖主义的联系、武器扩散或国际毒品走私到监
视外国政客、商务人士或活动人士的对话,不一而足。
备忘录警告分析员,要遵从现有的“最小化规则”,
该规则禁止NSA与其他机构共享被收集了信息的美国
人的姓名及其他细节,除非他们有必要了解外国情报
报告、或者手里攥有犯罪证据。根据法律,NSA必须获
得情报法院的授权,才能把身为美国公民或合法居民
的“美国人”设为实际监听目标。
NSA的文件显示,用于关联电话号码和电子邮件
地址的主要工具之一以主干道为代码。这是一个信息
库,每天都会汇入海量的数据,数据来自NSA的传输光
缆、合作伙伴和受到黑客攻击的外国电脑网络。
文件显示,有大量来自美国的信息汇入主干道。
例如,一份NSA内部简报指出,2011年,主干道每天都
要接收7亿条电话记录。2011年8月,根据2008年通过
的《外国情报监视法修正案》第702条,主干道开始每
天接收额外的11亿条电话记录,这些记录来自一家未
列名的美国服务提供商。根据第702条,NSA可以在认
定通信人中至少有一方身处国外的情况下,收集美国
人的信息。
一份高度机密文件形容了NSA以何种方式寻找94
类“数据条目”,其中包括电话号码、电子邮件信息和
IP地址。除此之外,NSA还利用“和谁出行、有父亲、
发送论坛信息、雇佣”等查询指令,把164种“关系类
别”关联起来,建立社交网络和被NSA称为“兴趣团体”
档案。
几份文件显示,NSA即便没有立即使用美国人的
电话记录和电子邮件记录数据,依然可以将它们存储
下来,留待日后使用,至少可以在特定的环境下加以
利用。
举例来说,2011年的一份备忘录指出,在一家法
院的裁决缩小了NSA的信息收集范围之后,前述数据后
来“被搁置以待未来分析”。2010年,NSA法律顾问办
公室的一份内部简报显示,NSA获准收集和保留原始的
数据流,包括在最长可达五年的时间里在线保存与“美
国人”有关的元数据和内容,而对“历史搜索”记录
的离线保存时间还可以再长出10年。
美刊:在大数据时代兼顾安全与自由
美国《彭博商业周刊》6月17日一期发表题为《在大数据时代
兼顾安全与自由》的文章,作者为保罗 福特。
文章指出,一家很大的互联网公司曾经出于高尚
的冲动,把它的某些数据与研究界“分享”。它将其搜
索服务三个月来记录的日志文件向所有人公开。公司
采取了诸多措施来保护隐私,但互联网爱好者、专业
研究人员和记者能够查出许多用户。例如,第4417749
号是佐治亚州的一个寡妇。另一个用户似乎在策划一
场谋杀。如今,“美国在线公司(AOL)搜索日志丑闻”
被认为是互联网历史上最不可思议的失策之一。
早该展开公开讨论
文章称,那件事发生在2006年,一个不同的时代。
现在,任何人只要有点钱、懂点电脑就能租借一些云
容量,利用一堆完全免费的技术来处理浩如烟海的数
据。管理这种数据是互联网大企业的一项重要活动。
假如你是一个全球超级大国的情报机构,你的职责是
监视心怀不轨的人,那么这种数据就是无价之宝。你
会想方设法把它弄到手。
据英国《卫报》透露,韦里孙公司每天将其全部
电话记录——除了通话本身的音频以外的号码、位置
及其他“元数据”——交给美国国家安全局。多亏了
布兹-艾伦-汉密尔顿公司29岁的顾问爱德华 斯诺登,
人们还获悉了“棱镜”计划。细节扑朔迷离:一开始,
谷歌、苹果、“脸谱”和微软等公司似乎都允许美国国
家安全局畅通无阻地获取其所有用户信息。
现在看来,这些公司只不过是在提高《外国情报
监视法》所要求发挥作用的效率,设立了一项有保障
的落点服务供美国国家安全局使用。因为人们不知道
有多少数据被分享,也不知道哪些是国内的、哪些是
国际的,所以关于美国国家安全局监视计划的泄密引
起全球轰动。
文章指出,针对在全球恐怖主义和大数据的时代
如何兼顾安全与自由的问题,人们早就该展开一场公
开讨论了。尽管该国经选举产生的领导人坚称国家安
全局的活动对遵纪守法的公民不构成威胁,但人们不
能对细节不予理睬。将电信系统整个儿纳入国家安全
机器的做法应当让人们犹豫一下。但它不应引起震惊。
因为政府汇集了大量珍贵的数字秘密并不是什么秘密。
是否逾越道德底线
文章称。在围绕斯诺登“泄密”的风波中,人们
很容易忘了这样一件事:在3月12日的一个听证会上,
当被问及美国国家安全局是否搜集数以百万计美国人
的“任何一种数据”时,美国国家情报总监詹姆斯
克拉珀说:“不会的,先生,不会有意去搜集。”后来
在美国广播公司的节目中,克拉珀解释说:“我当时
想到的是这好比在图书馆里查看书的杜威分类号。”他
声称,搜集数据“意味着把书从架子上取下来,翻开
阅读”。
换言之,美国国家安全局在制作一份巨大的人员
卡片目录,其中有许多美国人。他们其实不是在搜集
人们的交谈或者人员本身,而是关于其交谈的全部数
据——元数据。
文章指出,克拉珀很可能认为自己在这里划定了
一条“合情合理”的道德底线。然而正如2006年AOL事
件所揭示的,元数据是会透露内情的。像美国国家安
全局吸纳、据猜测还予以储存的那种搜索历史或通话
记录的行为,恐怕和杜威分类号不是一回事。它们更
像是书脊上的索引号。美国国家安全局所做的事情就
好比是把数亿人当作公开书籍编写索引:他们是谁、
他们认识谁、他们去过哪里等等。
文章同时指出,像克拉珀这样的人的确认为、或
者说情愿认为,为无形的人类图书馆制作一份庞大的
索引本质上是一种文书工作,与监视不属于同一个道
德类别。他也许会宣称,“棱镜”之类的计划与其说是
要挖掘秘密,不如说是要把看世界的方式组合起来。
民众暂无选择余地
文章称,但人们会受到不可思议的副作用。每个
人都在全世界数据库里有一个新的统计学上的“自我”。
商家和企业盯上的正是这些“自我”——以独特方式
进行识别的行为包,它们对人们读什么、吃什么、在
哪里睡觉做出显著、分散的描述。美国国家安全局和
“脸谱”、谷歌、亚马逊等私人公司之间的区别在于政
府能对它搜集的数据做些什么。它之所以制作那份庞
大的索引,是因为这样一来在必要的时候它可以越过
你的统计学“自我”与真实的肉身自我之间的界限。
文章质疑民众是否还有选择的余地,答案是几乎
没有,暂时还没有。给他们的所有数据加密使之不那
么容易被打探,这倒是可以做到的,但非常麻烦。从
民意调查结果来看,美国人根本不那么在乎这种隐私。
只要没有人越过统计学“自我”与真实自我之间的界
限,有什么好担忧的呢?有人会说,全面参与现代文
化需要人们不断留下这些数据轨迹来打造这些另外的
“自我”,而一切都必然会在位于马里兰州米德堡的美
国国家安全局秘密帝国内编入索引。
文章指出,既然监视程度已经曝光,难以想像奥
巴马能有所作为,因为这个行政部门已经变成了一个
行政展示板:充斥着网上请愿、空白表格程序和正是
根据当前所讨论的那些数据写成的简报。
文章认为,有些基本问题是明智的老百姓能够且
应当提出的。这种数据是在哪儿搜集的?它来自哪里?
它会储存多长时间?它链接哪些数据库?
随着谈论的展开,媒体可能会把关注焦点集中在
个人身上:斯诺登和他的动机或者被抓获的恐怖分子。
但是别忘了那些数据,那些被捕获的时刻。民众理应
了解这个数据库的面貌以及它是怎样“保护”老百姓
的。一个又一个星期过去了,当权者谈论的是针,而
民众要密切注意的是海。
韩国将建首个开放大数据中心 中国应未雨绸缪
伴随大数据热潮而至的,是全行业对数据中心的
倍加关注。最近,韩国在数据中心建设领域就有重大
突破。韩国政府宣布将建设一个开放性的数据中心,
公民、企业、团体等均可通过该中心对大数据进行提
炼和分析。
放眼全球,各国在大数据中心的建设上可谓各显
神通。国外数据中心建设的经验与教训,对于处于起
步阶段的我国具有重要的借鉴意义。
规划先行 避免无序发展
我国的信息化建设往往受一两个新概念的影响
而得以推进。近些年,“数字地球”、“数字城市”、“物
联网”、“智慧城市”不断演绎信息化建设的一个又一
个高潮。近年来,又有一个新的信息化热词闪亮登场,
那就是“大数据”。
从技术发展趋势来看,大数据紧扣物联网、网络
社交通信、多媒体等信息产生工具海量出现的大背景,
解决了求解信息资源爆炸式增长难题的技术手段问题,
因而受到人们的高度关注和热切期待。所以,就在2012
年3月29日美国政府启动“大数据研究与开发计划”不
久,一些大型IT企业也在这一年密集地宣传、推广自
己的大数据产品。
然而,表面上的繁荣仍然存在无序发展的硬伤。
目前,我国的数据中心仍以中小规模的传统数据中心
为主,其中小于400平方米的小型数据中心超过90%.由
于技术、资金和人才等原因,中小规模的数据中心普
遍存在着能效差、水平低、重复建设等问题。同时,
由于维护技术复杂、成本高、运维困难、用户需求变
化迅速等原因,不少数据中心难以跟上技术进步的步
伐。从当前国内有关大数据的相关报道来看,大多是
有关电商企业对市场信息资源的大数据开发应用,而
尚未看到大数据对基础科学研究、重点行业影响方面
的成果。
反观美国,2012年3月,美国白宫科技政策办公
室发布了《大数据研究和发展计划》,同时组建“大数
据高级指导小组”,此举标志着美国把大数据提高到国
家战略层面。而从美国政府《大数据研究与开发计划》
来看,自然科学研究、环境保护、生物医药研究、教
育以及国家安全等领域才是大数据技术突破的重点。
在大数据中心的建设上,我国应借鉴美国的先进
经验,将大数据管理上升到国家战略层面,从国家战
略层面予以重视。政府要有责任部门牵头进行专项研
究,从国家层面通盘考虑我国大数据发展的战略。建
立相关的研究计划,引导和推动各部委、各行业组织
对大数据进行研究与利用,推动各个领域和行业的大
数据应用工作,提升科学决策能力。
另外,为把握大数据时代的战略机遇,积极营造
良好的大数据产业生态环境,政府应制定积极的产业
政策,推动大数据产业的创新发展,给予一定的政策
优惠。
绿色发展 做好节能减排
节能减排是国家可持续发展的重要保证,也是我
国对国际社会的庄严承诺。在大数据中心的建设上,
能耗问题一定要引起足够的重视。在美国,数据中心
已经占到总用电量的%.苹果、亚马逊、微软等公司
都因数据中心的能耗问题而饱受绿色和平组织的批评。
根据美国环境保护署的报告,数据中心的能源消
耗每五年翻一番。在美国,2011年数据中心能源消耗
占到了美国电网总量的2%.而根据IBM公司的统计,能
源成本占数据中心总运营成本的50%,在整个人类文明
所获得的全部数据中,有90%是过去两年内产生的;到
2020年,全世界所产生的数据规模将达到今天的44倍。
根据相关数据统计显示,虽然国内的数据中心建设发
展比较快速,但是能耗问题也比较突出,目前国内数
据中心的PUE平均值基本都在以上,与欧美地区的
PUE(能源使用效率)普遍值以下还存在着较大的
差距。
2013年6月12日,Facebook向外界公开了其位于
瑞典北部城镇吕勒奥的数据中心。该数据中心是
Facebook在美国本土之外建立的第一座数据中心,也
是Facebook在欧洲最大的数据中心。吕勒奥位于波罗
的海北岸,距离北极圈只有100公里之遥,当地的气候
因素是Facebook选择在吕勒奥建立数据中心的重要原
因之一。据Facebook介绍,自1961年以来,吕勒奥的
气温高于30度的时间不超过24小时,在该地区建立数
据中心将节省一大笔散热开支。
目前,从公开的报道来看,我国多个地区已经开
始或计划兴建大型数据中心,希望在建设过程中提前
考虑好能耗问题,避免重蹈西方国家一些大型数据中
心的覆辙。
可喜的是,我国相关部门已经意识到这一问题,
提前进行了规划。今年年初,在工信部发布的《关于
数据中心建设布局的指导意见》中,指出重点推广绿
色数据中心和绿色电源,明确要求新建大型云计算数
据中心的PUE值必须在以下,已建的数据中心通过
整合、改造和升级,PUE值应降到以下。
建章立法 填补法律空白
大数据从数据生成、信息收集到数据的发布、分
析和应用,牵涉各个层面。目前,我国在数据的收集、
使用上还存在一定的法律空白和欠缺,发达国家在大
数据中心的建设上也面临同样问题,相关立法应包括
以下内容。
推动数据公开。
推动中国大数据发展,关键在于政府理念的转变。
应推动数据公开,带动从政府到各行业公开数据,让
数据这种生产要素自由流动,这样才能不断提高其附
加值。美国和英国都已经有了政府大数据网站,在数
据公开方面先行一步。
加强隐私保护。
日本最大的移动通信运营商NTT DoCoMo2010年以
前就开始着手大数据运用的规划。NTT DoCoMo不但着
重搜集用户本身的年龄、性别、住址等信息,而且制
作精细化的表格,要求用户办理业务填写更详细信息。
尽管信息完整度高,但因为日本社会十分注重个人隐
私,NTT DoCoMo多年来在大数据运营上仍停留在规划
阶段,对如何越过隐私问题进行商用还是比较头疼。
NTT DoCoMo曾为未来的大数据商业化制定了三
个阶段:首先是建立资料库,其次是建立活用机制,
最后是实现活用,而当前还处于第一阶段。
步子最为激进的则数美国运营商 Verizon,
Verizon已 开 始 通 过 一 项 名 为 Precision Market
Insights的服务,将手中的用户数据直接向第三方出
售。
因此,对我国来说,为保证大数据中心建设的持
续健康发展,应通过立法或立规,妥善处理政府、企
业信息公开与公民隐私权利保护之间的矛盾。
未雨绸缪 重视人才培养
大数据中心的建设,为的是后期对数据的挖掘应
用。大数据应用在全球各国发酵之际,伴随而来的是
各国普遍缺乏数据科学家问题。应大数据处理的需求,
无论企业决定采用哪一种解决方案,最终需要有数据
科学家来运用这些大数据,才能激活大数据的价值,
重新构建数据之间的关系,并赋予新的意义,进而转
换成企业的竞争武器。
在大数据处理环节中,数据科学家是能否点燃大
数据价值的关键。然而,数据科学家的培养并不容易,
因为数据科学家必须同时具备3个条件,包括深入了解
企业内的业务与组织、具备数据探勘等统计应用知识、
熟悉数据分析工具操作。目前,国内的数据分析师较
擅长的是处理已经发生的问题,找出问题源头,并且
尽速排除问题,但是,相对缺乏发掘未知问题的能力。
根据市场调查机构Gartner的数据,有高达72%的企业
认为,大数据的应用价值,在于预测未来。然而,这
样的应用需求与国内数据科学家不匹配,预计将成为
国内发展大数据应用的最大挑战。
因此,无论是从政府还是企业角度,都应未雨绸
缪,提前做好大数据人才培养,不要等到大数据中心
建好之后再来找人,必将造成大数据中心资源的极大
浪费。
IDC近日发布的《中国大数据技术与服务市场
2012~2016年预测与分析》报告显示,中国大数据技术
与服务市场规模将从2011年的7760万美元增长到2016
年的亿美元,未来5年的复合增长率达%.
面对良好的发展局面,我国的政府、企业要充分
借鉴国外的经验教训,站在“先行者”的肩上创新,
为我国大数据中心建设及大数据产业发展增添活力。
韩国将建首个开放大数据中心
韩国将建设一个大数据中心,帮助科技行业赶上
世界顶尖科技公司。这是该国第一个开放的数据中心,
任何人均可通过该中心对大数据进行提炼和分析。
韩国科学、通信和未来规划部表示,将与国家信
息社会局(NIA)共建大数据中心。科学部表示,由于
缺乏推动这一新兴领域发展的必要基础设施和先进经
验,韩国的大数据技术落后于谷歌、亚马逊等世界顶
尖科技企业2~5年。该部的一名官员称,希望大数据中
心能够成为服务大数据企业的一个实验基地,并为大
学培养研究人员。该中心计划创建一种基础解决方案,
这样任何人都可以使用其中的服务对大数据进行分析。
该中心面向中小型企业、风险企业、大学和普通公民,
用户可以利用大数据技术解决业务或者研究方面的问
题。
韩国大数据中心于今年6月进行了硬件和软件的
招标,基本的Web平台将于2013年8月建成,9月进行试
运行。该中心位于NIA大楼内,其网络平台与存储国家
统计信息以及其他公共信息的政府数据门户服务相连
接。
该中心的设立是基于韩国总统朴槿惠2013年2月
提出的创新型经济框架,该框架呼吁将信息技术作为
韩国经济增长的一个新支柱。
“大数据战略”上升为美国最高国策
“棱镜门”与美国的“大数据战略”有着必然联
系。2012年3月,奥巴马政府将“大数据战略”上升为
最高国策,认为大数据是“未来的新石油”,将对数据
的占有和控制作为陆权、海权、空权之外的另一种国
家核心能力。另一方面,美国以反恐名义,更希望大
数据能有所贡献。
国家创新与发展战略研究会网络空间战略研究
中心主任秦安告诉《环球时报》记者,基于互联网资
源和技术优势,美国已具备对全球网络空间的监视控
制能力。斯诺登披露的“棱镜”计划,缘于美国政府
的“星风”监视计划。2004年,布什政府通过司法程
序,将“星风”监视计划分拆成由国家安全局执行的4
个监视计划,除“棱镜”外,还包括“主干道”、“码
头”和“核子”。其中,“棱镜”用于监视互联网个人
信息。“核子”则主要负责截获电话通话者对话内容及
关键词。
“主干道”和“码头”分别对通信和互联网上数
以亿兆计的“元数据”进行存储和分析。“元数据”主
要指通话或通信的时间、地点、使用设备、参与者等,
不包括电话或邮件等的内容。
“棱镜门”事件越闹越大,欧盟委员会负责司法、
人权和公民事务的委员维维亚娜·雷丁19日表示,美国
“棱镜”秘密情报监视项目让欧盟必须尽快通过新的
法律来保护欧盟公民的个人数据。欧洲人民党为欧洲
议会第一大党团,该党议员也表示,支持相关“限制”
美国索取欧洲公民个人隐私数据的提案。但欧洲的法
案对美国政府情报部门的约束力有限,有评论认为,
这些“限制”显得苍白无力。
据秦安介绍,我国2012年10月成立了中国通信学
会大数据专家委员会。从时间上看似乎并不落后于美
国。但大数据应用涉及整个以互联网为核心的产业链,
美国在大数据应用上的领先程度由思科、微软、谷歌
等跨国IT公司的实力所决定,恐怕中国在几十年内难
以完全超越。
美国信用营销分析专家张川告诉《环球时报》记
者,在大数据分析的应用上,美国政府和大公司领先
新兴国家至少20年。15年前,美国的信用卡公司就可
以进行数据挖掘实现精准营销:在合适的时间,通过
合适渠道,把合适的营销信息投送给每个顾客。
随着智能电话和电脑网络的普及,美国政府和大
公司把自己的触角伸到个人生活的每个方面。美国个
人的一切在线行为数据都被收集储存,再加上已被有
关机构掌握的个人信用数据、犯罪记录和人口统计等
数据,有关公司和政府机构可以运用数据挖掘的办法,
监控和预测个人的行为,并做出相关决策。
迈克·弗劳尔斯是纽约市打击金融犯罪行动组主
管,他最近被赋予一个新的职务——“纽约市首席分
析官”。在弗劳尔斯看来,大数据在市政管理中的应用
带来的好处是有助于优化行政资源的使用,使公共支
出产生最大效益。大数据在纽约市的执法、经济规划、
防灾和灾后恢复等方面都有应用。比如,大数据的应
用,可让执法人员先发制人,在犯罪行为造成损害之
前就采取行动。
宁波最大数据中心10月初投用
近日,宁波最大的数据中心———凌云数据中
心建成,将于10月初投入使用。据悉,凌云数据中心
是电信华东地区最高等级数据中心之一。
新建成的凌云IDC数据中心位于宁波国家高新区
凌云路1177号,拥有8249平方米业务面积、1270个机
架能力。
笔者从电信部门获悉,宁波电信已拥有5个高等
级的中心机房,业务面积达万平方米,机架能力
达2592个。目前,分布于科技、教育、金融、娱乐、
传媒、电子商务等领域的企事业单位已入驻电信各个
数据机房。
2013智慧城市发展源泉:物联网与大数据
住房和城乡建设部1月29日公布,包括北京市东
城区、河北省石家庄市、江苏省无锡市、浙江省温州
市等90个城市(区、镇)通过审核,成为首批国家智慧
城市试点。
2008年11月,在纽约召开的外国关系理事会上,
IBM提出了“智慧地球”这一理念,进而引发了智慧城
市建设的热潮。
而欧盟则早在2006年就发起了欧洲LivingLab组
织,它采用新的工具和方法、先进的信息和通讯技术
来调动方方面面的“集体的智慧和创造力”,为解决社
会问题提供机会,并发起了欧洲智慧城市网络。
与此同时,国内不少城市也提出不同的智慧城市
架构体系,如今,已有22个大中城市规划文件中,明
确提出建设智慧城市。其中,北京、上海、广州、深
圳、杭州、南京、宁波、武汉、厦门等地方已制定或
实施智慧城市发展的专项规划。
这些城市以提高城镇化质量、提升城市软实力、
实现经济转型为目标,在金融、交通、安全、医疗等
领域率先开展“智慧”布局,预计未来10年将涌现一
批智慧城市样板。
而随着这次住建部首批国家智慧城市试点工作
的启动,2013年,以“智慧城市”为焦点的技术和产
业盛宴正式开席,物联网、大数据、云计算等新一代
信息技术成为智慧城市建设的攻坚方向。
中国科学院院士、国家物联网专家组组长邬贺铨
在题为《大数据支撑智慧城市》的报告中提到,智慧
城市本身能产生大量的数据。
智慧城市的建设带来数据量的爆发式增长,目前,
与智慧城市相关的项目所产生的数据量已超过了
200PB,而大数据就像血液一样遍布智慧交通、智慧医
疗、智慧生活等智慧城市建设的各个方面,城市管理
正在从“经验治理”转向“科学治理”。
目前,国内外知名厂商诸如IBM、微软、华为、
思科、神州数码等等早已在智慧城市布局相当一段时
间。
IBM的“智慧地球”战略诞生于2009年1月28日。
随后,IBM开始在中国广泛推广“智慧城市”概念,在
过去几年中,IBM在中国的“智慧城市”已中标多个重
大项目工程。
IT巨头思科的“智慧互联城市”构想则是通过整
合式的公共通讯平台,以及Ubiquitous(无所不在)
的网络接入,消费者不仅可以方便地实现远程教育、
远程医疗、远程办理税务事宜,还可以实现智慧化地
控制房间的能耗。
另一方面,中国政府希望通过“智慧城市”培育
中国企业的国际基因。根据规划,“十二五”期间,中
国将制定和推广应用中国自主编码体系,突破核心技
术和重大关键共性技术。
在政策力挺下,华为、神州数码、浙大网新、中
软国际等一系列国内企业在智能城市上开始了周密的
战略部署。
此外,除了这些IT巨头之外,智慧城市的另一个
有力竞争者是运营商。据统计,截至2012年6月底,中
国移动、中国联通、中国电信三大运营商已在全国320
多个城市和当地政府合作建设智慧城市。
以上罗列,仅为缩影。智慧城市热潮的背后,大
数据与云计算的结合、云计算与大数据的结合、从云
计算到云计算、各行各业的数据业务主营化倾向、
物联网逐渐走入人们的普通生活,成为2013的实际看
点。
日本吸取地震经验 将在大规模灾害时导入大数
据
中国网8月18日讯 据日本NHK网站8月17日报道,
在东日本大地震中,由于受灾地区范围较广,所以日
本政府无法及时准确的掌握灾害信息。为此,日本政
府决定,在发生大规模灾害时导入“大数据”,分析手
机等庞大的电子数据,以求迅速收集情报,快速支援
受灾地区。
16日,在总理大臣官邸内召开的中央防灾会议专
家会议上,总结了该报告。
在东日本大地震中,由于受灾地区范围较广,并
且政府相关办公机关机能瘫痪,通信一度中断,所以
导致日本政府无法及时准确的掌握受灾状况。
为此,日本政府决定,在发生大规模灾害时,通
过与民间力量合作的形式,分析被称为“大数据”的
庞大电子数据,来收集相关情报,并快速支援受灾地
区。
因为“大数据”中包含了手机、汽车导航系统等
发射的位置信息,所以,就算通信中断地区较广的情
况下,也能够推测出受灾程度。并且从汽车的行驶速
度还可以掌握无法通行的路段等。
此外,在16日的会议中,还提出了在首都东京正
下方发生地震时,政府继续办理业务的计划。
其中,能够在发生灾害时代替总理官邸和各省厅
的候选地有东京都立川市的广域防灾基地和琦玉新都
心等。在大阪市等首都圈以外的城市,为了保证灾害
发生时政府职能能够正常运行,政府也在为确保候选
地进行调查。
古屋防灾担当大臣表示,“我们假设首都东京正
下方发生地震,希望能够早日制定出在发生灾害时,
政府能够继续办理业务的计划。”