运营商的大数据起航 茁思迅行咨询公司
茁思迅行咨询公司 茁思迅行咨询公司长期关注ICT/TMT等信息科技领域，在国内首创以“云咨询”服务模式为客户提供基于深入行业洞察的研究与咨询服务。茁思迅行的咨询业务范围涵盖：战略与规划、业务发展、管理绩效提升。始终秉承“思行合一”的理念，为客户的绩效提升提供价值！ 茁于思，迅于行
大数据定义与产业发展 眼下大数据已成为全球商界热议话题，各行各业言必称大数据，大数据在市场营销、客户服务、产品开发等经营环节中的作用越来越重要，运用大数据提升经营绩效已成为各企业的共识。因此，认清大数据的定义、发展历史及其产业链非常重要！ 大数据定义图1 数据的数量级和复杂性不断增加 大数据是指难以在一定时间内用传统数据库管理技术和处理工具进行抓取、存储、管理和处理的数据集合，包括企业经营数据、用户行为数据、传感器数据及气候、天文、地质等海量数据。 大数据应用是指通过搜集、储存企业经营大数据的4V特性 相关的海量内部及外部数据，采用数据挖1. 数据规模大（Volume）。在数据存掘、机器学习等处理技术对数据进行价值量方面，随着单位存储成本逐渐下降、挖掘，产出数据分析、预测预判等数据资云计算的迅猛发展，越来越多的数据产，以帮助企业有效进行经营决策、提升被企业长期保存。在数据增量方面，经营绩效。 企业数据量高速增长，未来10年数企业经营过程中积累了海量数据，这些数据量平均将以40%的速度增长。 据超越了传统的存储方式和数据库管理2. 数据类型多（Variety）。图片、声音、工具的功能范围（见图1），必须用到大视频、交互记录、传感器记录等非结数据存储、搜索、分析和可视化技术（如构化数据占比不断增大，业界对非结云计算）才能挖掘出数据的巨大商业价构化数据的重视超过结构化数据。另值。 外，数据的来源也趋于多样化，机器
产生的数据量要远远超过人类产生的得到部分美国知名计算机科学研究人数据量，如传感器数据、监控数据、员的认可。 影像数据、发动机参数数据、汽车监2. 阶段二：大数据概念走向营销控数据等。 （2009-2011）。从2009年开始，IBM3. 时效性要求高（Velocity）。大数据在营销中使用“大数据”术语，建立要求系统在短时间内做出反应，如1S了解释大数据概念的网站，开始使客特征。处理速度快、时效性高是大数户接受大数据运营，2011年，IBM引据区别于传统数据挖掘的显著特征。 进了Twitter标签——#IBM bigdata，建立了大数据邮件列表，4. 价值密度低（Value）。大数据虽然2012年，IBM 出版电子书《理解大数据海量，但是对企业有价值的数据数据》。2011年6月，麦肯锡公司很少，需要采用强大机器算法迅速地发布了《大数据：下一个竞争、创新完成数据价值的提纯。如医学影像数和生产力的前沿领域》研究报告，这据通常有价值的数据为几秒钟。 份长达150余页报告的主要观点囊括大数据来源及发展 了大数据对国民经济部门生产效率的推动、大数据的快速增长及IT技术对大数据概念形成于数据技术领域，通过营产能的贡献率等等，标志着大数据概销被行业接受，并开始成为企业战略，主念正式形成。 要分为三个发展阶段： 3. 阶段三：大数据开始成为企业战略1. 阶段一：大数据在技术圈开始流行（2011-2013）。2011年，为了加强（2008-2009）。2008年，连线发表营销，SAS开始使用“大数据”、“大文章系统阐述了数据泛滥带来的机遇数据分析”术语，并启动大数据战略，和挑战，称为Petabyte时代，大数同期IDC、EMC等数据行业领袖纷据术语开始在技术圈内出现，但纷启动大数据战略。2012年4月，Petabyte技术性过强，很难在主流奥巴马政府启动2亿美元“大数据发市场上流行开来。2009年，“计算社展计划”，标志着大数据正式进入国区联盟”发表了一份有影响力的白皮家战略和视野。在国内，2013年信息书《大数据计算：在商务、科学和社行业言必称大数据，阿里巴巴发布企会领域创建革命性突破》，“大数据”业战略“平台、金融、数据”，京东
发布企业战略“平台、物流、数据、量的数据不能有效的进行大数据分析金融”。 预测。 大数据产业链 2. 数据汇集/存储。数据汇集/存储环节包括数据采集、传输、存储，通过对大数据产业链包括数据产生/获取、数据数据有效的汇集和存储，大数据运营汇集/存储、数据加工/深度分析、数据使得以开展。云计算的成熟发展使得数用/消费四大环节（见图2）。 据存储更加方便、廉价，客观上促进图2 大数据产业链 了大数据的发展。这一环节的典型厂商有EMC、TERADATA、HP VERTICA等。 3. 数据加工/深度分析。数据加工是指筛选、挖掘数据形成有价值的信息。典型厂商有SAS、GoodData、 Datameer等。深度分析是指通过对1. 数据产生/获取。在这一环节，企业经数据深加工，形成高价值研究报告，营活动、用户行为等产生海量的数据，把数据变成知识资产。典型厂商有包括以微博、微信为代表的用户社会IBM、IDC、ACXIOM等。 化行为数据，以淘宝、京东为代表的用户交易数据，以车联网、智能物流4. 数据使用/消费。通过自有数据知识资为代表的传感器数据等等。大量的数产或购买外部数据资产，用以指导企据产生是大数据运营的基础，没有足业经营决策，提升经营绩效。
大数据应用案例 大数据不能只停留在概念阶段，走向应用才是硬道理！从国内、外两个大数据应用的经典案例，我们可以窥探大数据的具体应用。 阿里集团作为全国最知名的电商平台，它在大数据应用方面有哪些突破呢？ 全球著名影视网站Netflix是如何利用大数据打造收视神剧《纸牌屋》的呢？ 阿里集团的大数据战略突破 交易数据、高价值金融数据。2005年，阿里集团开发出主要供内部运营人员使阿里巴巴的大数据是什么？马云说：“阿里巴巴希望用大数据为国家和小企用的数据产品——淘数据。2009年，建业做出预报。假如我们有一个数据预立数据委员会，各事业群成立数据分析部报台，就像为企业装上了一个GPS和门，数据分析走向专业化、系统化，为大雷达，企业出海将会更有把握。” 数据战略打下了坚实基础。 1. 阿里集团大数据是如何发展的 阶段二：数据分享（2009-2011）。2009阿里集团的大数据发展经历了四个阶段年，成立阿里云，打造互联网数据分享的（见图3）。 第一平台，成为以数据为中心的先进云计算服务公司。2010年3月，淘宝面向全图3 阿里集团大数据发展各阶段 球开放数据，并制定了两大原则：一、数据分层次开放，二、涉及消费者个人或企业隐私的数据绝对保护。2011年4月，第一款大数据业务——“数据魔方”正式上线。2011年5月，阿里集团推出数据 门户——“阿里指数”，阿里指数成为数阶段一：数据积累（1999-2009）。据分享平台战略的核心。 1999-2004，阿里集团创立阿里巴巴、淘宝、支付宝公司，开始积累B2B/B2C/C2C
阶段三：商业化运营（2012）。2012年计算过程中的疏漏。因此，淘宝剔除了虚7月，阿里集团大数据业务“聚石塔”正假数据，让搜集的数据反映真实的消费情式发布，大数据商业化运营正式启动。数景，让这些账户、信用卡、手机号指向同据魔方、量子恒道、淘宝情报、阿里指数一个人。 等大数据业务运营也走向规范化、商业策略二：打破部门分割，统一数据标准。化。 阿里集团各个事业部门的业务重点不同，阶段四：上升为企业战略（2013）。阿里对数据的理解也不同，数据标准往往各不集团发布“平台、金融、数据”企业战略，相同，针对此情况，大数据运营部门建立大数据正式成为企业战略三驾马车之一，了统一的数据标准，将净化后的数据流汇为阿里集团长久发展保驾护航，并且成立集成大数据池。 小微金融服务集团，打造阿里金融大数据策略三：进行数据的精细化运营。阿里集产品标杆。2013年10月，天猫、淘宝启团根据各个商家的应用场景，将数据打上动“双11”营销备战，大数据被打造成为更细致、对商家更有参考价值的标签。以阿里电商平台的竞争利器，“聚石塔”、淘宝平台为例，搜集大学生用户信息时，“数据魔方”等大数据平台入驻商家激除了搜集地址等信息外，还通过其他渠道增。 搜集其租房信息，了解用户消费水平。 2. 阿里集团大数据运营的具体策略 2013年，天猫开发了适用于天猫商家的CRM系统，通过对用户标签化，让商家策略一：建立数据地图，净化数据质量。了解用户在天猫平台的所有购物行为特淘宝等平台上的数据往往良莠不齐，有不点。 少虚假数据，会带来很大的噪音干扰。比如对于同一个人，会看到两个手机号、三策略四：不断纳入更多外部数据。仅依靠张信用卡、五个淘宝账号，在数据搜集时自己平台的数据并不能满足商家需求，还以为是多个人。淘宝建立了“数据的数据”需纳入更多外部数据。阿里集团主要通过即数据地图，称为“阿里数据追溯系统”。收购、参股外部公司获取用户数据：通过每个数据都由多个数据产生，建立数据地收购新浪微博18%股权，获取了新浪微博图可以追溯到数据源头，提高数据质量和几亿用户的数据足迹；通过收购高德地图价值，一旦数据在处理过程中“失真”，28%股权，获取了高德地理位置、交通信这套追溯系统会自动预警，自动查找数据息数据及用户数据；通过对墨迹天气、友
盟、美团、虾米、UC浏览器等并购，获取了更多的外部数据。 策略五：加强数据安全管理。数据安全不仅关乎商家和消费者隐私，更涉及各方面政策红线，加强数据安全性管理极为重 要。阿里集团成立了数据安全小组，专门负责数据安全事务，判断商家权限和数据产品一：阿里指数。阿里指数是了解电子的公开层次，具体把握：谁能看到什么，商务平台市场动向的数据分析平台，根据谁不能看到什么。阿里巴巴网站每日运营的基本数据包括 每天网站浏览量、每天浏览的人次、每天策略六：通过组织体系支撑大数据运营—新增供求产品数、新增公司数和产品数等—建立数据委员会。阿里集团的大数据来指标统计计算得出，有行业大盘（见图5）、源于各个事业部，无论是数据质量、精细属性细分、阿里排行、产业基地四个板块。化保证还是数据安全，都需要全局统筹安阿里指数目标用户是中小企业、业界媒排，迫切需要建立一个凌驾于各事业部之体、市场研究员等，只要想了解中小企业上的中央数据管理机构。因此，阿里集团市场动态及行情的用户都可以使用。阿里成立了虚拟组织——数据委员会，委员会巴巴已覆盖中国大部分中小企业，阿里指包括底层数据负责人、支付宝商业智能负数也就成为中国电子商务市场的关键晴责人、无线商业智能负责人、数据科学家，雨表，可以直观市场行情、纵览热门行业、更多以协调形式来指导各个部门形成合洞悉用户群体、解析产业基地等。 力，实现大数据的商业化运营。 图5阿里指数行业大盘分析 3. 阿里集团的大数据产品 阿里集团旗下各平台都拥有大数据产品（见图4）。阿里巴巴平台大数据产品是阿里指数，淘宝平台大数据产品是数据魔 方、淘宝指数、量子恒道，天猫平台大数据产品是聚石塔。产品二：数据魔方。数据魔方是淘宝旗下 收费的大数据产品（见图6），主要提供图4阿里集团大数据产品视图 行业数据分析、店铺数据分析，包含了品
牌、店铺、产品的排行榜，购买人群的特通过资源共享与数据互通为天猫商家创征分析（年龄、性别、购买时段、地域等），造商业价值。聚石塔通过云平台提供虚拟还提供关键词排名，商家可使用效果更好内存、远程数据服务等电商应用系统运行的关键词来提升搜索排名。 环境，通过应用平台提供供销、订单、商品、会员等应用接口和数据服务，通过服图6数据魔方专业版产品 务市场提供服务于商家的ERP/CRM等应用窗口，用以聚合和天猫商家和应用系统服务商，推动商家IT系统云端化。 Netflix的《纸牌屋》奇迹 时下最火的一部美剧当数《纸牌屋》，这 部被中国网友戏称为“白宫甄嬛传”的美产品三：淘宝数据。淘宝数据是淘宝旗下国政治悬疑剧，正在全球40多个国家热免费的大数据产品，可用来分析商品长周播。该剧的制作方既不是电视台，也不是期走势、用户特征、成交排行、市场细分。传统的电影公司，而是一家类似于中国土通过淘宝数据，商家可以窥探淘宝购物数豆和优酷的在线视频播放网站Netflix。据，了解淘宝购物趋势。淘宝数据不仅针Netflix网站根据大数据分析发现，一部影对淘宝卖家，还开放给淘宝买家及广大的片如果同时满足这几个要素，就可能大第三方用户。 卖：BBC同名剧、导演大卫·芬奇、老戏产品四：量子恒道。量子恒道前身是雅虎骨凯文·史派西，于是，《纸牌屋》出现统计，为网站管理者、个人站长、个人博了。毫无疑问，《纸牌屋》是影视行业应主、第三方统计等用户提供网站流量监用大数据创造奇迹的经典案例，那么，大控、统计、分析等专业服务。其中，免费数据是如何深入到影视制作环节的呢？ 大数据产品包有流量分析、销售分析、推1. 《纸牌屋》拍摄前的大数据准备 广效果、客户分析等，收费大数据产品包有来源分析、装修分析等。准备一：积累大量、多样的用户行为数据。 Netflix将用户位置数据、设备类型数据、产品五：聚石塔。聚石塔是天猫整合阿里收藏行为数据、推荐行为数据、暂停回放云、万网资源推出的“开放的电商云工作等动作行为数据、评分数据、搜索数据、平台”，实现了“云+SAAS模式”的打通，问答数据、收看剧集数据等转化成代码永
久保存，每天记录3000多万个用户行为，得知：喜欢导演大卫·芬奇、演员凯文·史订阅用户每天还会给出400万个评分、派西、BBC剧集的用户交集数量非常庞大300万次搜索请求，Netflix充分利用大数可观，纸牌屋是BBC的经典剧集，重拍据，拥有“可寻址的观众”。 成功的可能性非常大（见图7）。 准备二：积累大数据应用经验。Netflix已影视制作决策：Netflix 1亿美元买下一部利用大数据提供推荐引擎业务。数千万用早在1990年就播出的BBC电视剧《纸牌户在个性化网页上对影片做出1-5的评屋》的版权，由大卫•芬奇担当导演，由级，这些评级构成一个巨大数据池，如今老戏骨凯文•史派西担当男主角。 这个数据池容量已超过近百亿条。根据数影片收视奇迹：《纸牌屋》不仅是Netflix据池，Netflix使用推荐算法来识别具有相网站上有史以来观看量最高的剧集，也在似品味的观众，然后对这一群体做出相关美国及40多个国家大热。 内容的精准推荐。 图7导演、演员、剧本偏好相似用户交集数量非常庞大 准备三：不断提升大数据算法的精准度。Netflix持续提升数据挖掘能力，通过完善数据集的推荐算法和架构，使推荐系统性能上升了10%。 2. 大数据指导影片拍摄并创造奇迹 大数据分析：通过大数据运营，Netflix在影视内容发给用户之前就已经知道用户的偏好。因此，经过大数据分析， Netflix
运营商大数据起航 电信运营商积累了大量用户行为及网络运营数据，掌握的数据全面而充足，而且可以持续性的搜集用户数据，在大数据运营上具有天然优势。但是，目前国内运营商的大数据系统平台及运营模式均准备不足，大数据运营实际还处于探索和尝试阶段。 运营商大数据运营演进趋势（见图8）： 阶段一：准备及模式探索。指运营商对大数据系统平台进行建设、对运营模式进行初步探索。系统平台建设主要包括数据处理系统建设、数据资源整合、数据清洗整理等，运营模式探索体现在数据驱动型组 织建设、标准化数据运营等。 准备及模式探索阶段 阶段二：大数据对内应用。指运营商应用大数据来提升运营效率和经营绩效，大数在初始阶段，运营商大数据运营面临着系据主要应用在五个领域：市场营销、客户统平台及运营模式两方面的困境： 服务、产品/服务开发、客户维系、网络1. 系统平台困境及应对策略 运营。 困境一：大数据处理技术能力不足。随着阶段三：大数据对外商业化。运营商的自数据业务的发展，运营商需要收集处理更有大数据应用成熟以后，开始对外部进行多业务应用类数据，如互联网、物联网应商业化输出，包括数据资源输出和数据能用等新业务应用带来了数据量、数据类型力输出。 和分析能力的巨大变化。面对数据对象的 新变化，传统运营商Oracle、DB2、Sybase和MySQL等数据库系统在处理 能力和处理效率上都无法满足要求，转变图8运营商大数据运营演进趋势
势在必行。应对策略：建立分布式、非结（如客户入网资料、套餐情况）、业务过构化和流式数据处理能力。运营商大数据程数据（如通话记录、客户服务记录等）处理系统至少应具备以下三种能力：分布和网络运行数据（如网络性能、客户终端式处理能力，非结构化数据分析能力和流使用情况等）几部分，传统上这些数据分式数据实时处理能力。 布在不同数据库中并且较独立的进行统计分析以服务于不同的运营部门。大数据困境二：数据资源质量有待提高。虽然多时代数据的价值来源于数据的全面性、数年的电信运营积累下来海量网络运营数据的共享和数据的二次利用，割裂的数据据和用户业务数据，但是并没有按照大数系统破坏了数据全面性、数据共享和数据据运营标准进行统一清洗和整理，部分数二次利用。应对策略：统一数据资源及系据存在污染。应对策略：统一数据标准，统，形成全面、可共享、可重复利用的大建立数据地图。建立大数据搜集、清洗、数据平台。将不同业务部门、不同数据库整理的集团标准，统一搜集、清洗、整理系统进行平台及资源整合，保证数据完整网络运营数据和业务系统数据，建立数据性。建立大数据系统共享机制，重新挖掘地图，形成可追溯、可修改的数据系统，历史数据，围绕客户进行整合分析，形成保证数据质量。 可共享、可再利用的数据系统，体现大数困境三：没有建立描述用户完整消费行为据运营价值。 的数据闭环。大数据运营要求建立闭环的困境二：没有专门数据管理机构推动大数数据追踪系统，才能完整描述用户的消费据运营。没有建立面向市场、自顶向下、行为，如从咨询、购买、付费、使用、退统一运营各业务部门数据的数据驱动型网等行为。应对策略：实施数据精细化运组织结构，即中央数据管理部门。应对策营。建立用户行为的关联数据库，使数据略：建立凌驾各业务部门的大数据运营组系统更全面、更真实、更立体，由数据运织，统一运营大数据。建立中央数据部门，营向运营数据转型，有规划、有目的的搜各业务部门设立数据分析子部门，响应中集用户行为数据，建立用户行为数据闭央数据部门要求，保证大数据运营的统一环。 步伐。 2. 运营模式困境及应对策略 对内应用阶段 困境一：各地区、各业务部门数据系统割裂。电信行业数据主要包括客户信息数据
未来，运营商的大数据对内应用将分布在5. 网络运营。如通过大数据运营，优化五个领域（见图9）。 网络资源，提升网络利用率、避免网络拥塞。 图9运营商大数据对内应用领域 对外商业化运营阶段 运营商大数据对外商业化分为两个部分，即数据资源商业化和数据能力商业化。 1. 数据资源商业化。基于云计算系统，运营商可以为商业客户提供数据系统托管服务、数据资源存储服务、数据库管理服务等（见图10）。例如，Orange基于云计算系统推出了“灵 活计算”的大数据产品系列，突出使1. 市场营销。主要用于精准营销，如通用灵活、计费灵活的特点，满足用户过用户手机白天与夜晚所在的位置信对数据存储的需求。 息，便可以知道用户的工作类型，大图10 数据资源商业化 体的收入情况，居住在什么地方，进而为精准营销提供有效的依据。 2. 客户服务。如通过大数据运营，明确特定用户群的服务方式和服务渠道，凸显差异化价值。 3. 产品开发。针对用户消费数据进行分2. 数据能力商业化。基于运营商优势用析评估，以帮助改善产品质量或开发户数据和网络数据，通过大数据运营新产品。 系统，为零售、交通运输、广告、移动商务等行业提供用户行为分析服4. 客户维系。基于大数据运营，建立用务、交通流量管理服务、地理位置信户流失预警系统，挽留有离网倾向的息服务、用户消费数据服务（见图用户。 11）。例如，2012年，西班牙电信
推出了名为智慧足迹（Smart Steps）图11数据能力商业化 的大数据产品，基于完全匿名和聚合的移动网络数据，可对某个时段、某个地点人流量的关键影响因素进行分析，并将分析结果售卖给政企客户。 目前，国内外大数据还处于由概念到应用的过渡阶段，国外运营商虽然比较重视大数据运营，但大数据应用还是零散的、不成系统的。因此，国内运营商大数据运营还没有成熟的模式可供借鉴，但是，积极整合数据资源及系统平台，努力探索适合自身的数据运营模式，提前搭建大数据运营框架，是“数据驱动型社会”到来前电信运营商的必然选择！
关于作者 尹云飞 咨询顾问 茁思迅行咨询公司 他的联系方式： Tel：186 0173 9615 Email：@
茁思迅行咨询有限公司 上海总部：上海市浦东新区世纪大道88号金茂大厦31层 邮政编码：200121 电话：400-920-5180 传真：021 54771064 上海分公司：上海市长宁路1551号虹桥国际大厦4号楼803室 邮政编码：200051 电话：021 61279899 传真：021 61276893 北京分公司：北京市朝阳区民族园路一号丰宝恒大厦3016室 邮政编码：100029 电话：010 82859523 传真：010 82859545 公司网站：
