蚂蚁金服大数据开放式创新实践
蚂蚁金服-平台数据技术事业群
徐红星(崇思)
方案联盟
自我介绍
• 09年进入阿里
• 在大数据方面有8年经验,先后
在阿里巴巴、蚂蚁金服从事大
数据的研发、平台规划和建设
• 曾经负责采云间产品从0到1的
建设
• 蚂蚁数巢&DTPAI产品负责人
方案联盟
目录提纲
• 大数据开放式创新的背景和应用案例
• 蚂蚁数巢介绍
• 蚂蚁数巢的安全体系及建设思路
• 蚂蚁金服大数据开放式创新的总结
方案联盟
大数据时代正在走来
研究机构IDC预测,未来全球数据总量年增长率将维持在50%左右,到2020年,全球数据
总量将达到40ZB。其中,中国数据量将达到,占全球的21%左右。全球大数据(Big
Data)与分析市场规模将由2015年的1220亿美元,并在2019年底达到1870亿美元的规模。
IOT 移动互联 智能时代
方案联盟
用户需求 产品迭代
精准画像 经营与预测分析
全渠道数据整合 场景化决策和创新业务
技术驱动
“用户参与”,根据用户需求和信息
制定执行策略并实施
全域数据和场景驱动
整合全渠道数据,针对不同个体、群
体所处环境,给予人性化服务,甚至
开创新业务
通过数据通过数据进行趋势预测与分
析,针对用户进行产品和服务推荐
驱
动
力
数据驱动
大数据时代,业务与产品的驱动力正在改变
方案联盟
大数据开放式创新案例:车险差异化定价
提升保险公司
的风险定价能力
用户出险风险预测,
提前针对优质客群进行营销
潜在客户群识别
人口特征
社会属性
人生阶段
网上购物
生活缴费 保险机构
车险数据 +
地理位置
从人因子 从车因子
有车预测
模型
风险评分
模型
精算定价
模型
方案联盟
大数据开放式创新案例:口碑让服务更有温度
融合线上线下数据,为口碑商户提供差别化的服务和精准的营销,让口碑更智慧、更有温度。
方案联盟
大数据应用的阶段划分
解决用户做了什么?
报表
回答用户喜欢什么?
数据应用
创造全新的用户体验!
数据业务
合作带来更多美好改变!
数据开放式
创新
方案联盟
大数据应用各阶段的特征分析
报表
数据应用
数据业务
数据开放
式创新
应用阶段划分 数据用途 Input Output
经营决策参考
指导运营
创造新业务
变革老业务
大数据+
我需要这些数据来决策
你遇到什么业务困难?
(比如如何提升交易额)
基于大数据,
打造全新产品体验
围绕大数据的生态系统
报表为主;信息
数据API;Action
产品方案+运营方案
更多样的产品或服务
方案联盟
大数据+,一个新的世界正在打开
数
据
共
创
的
产
出
物
信用产品
信用卡用户真实性校验
其他新产品
保险产品
(比如差异化车险)
理财产品
(比如淘金100指数基金)
数据业务化的3个要素:业务
专业能力、数据加工能力、丰
富的数据
数据存在网络效应
数据合作创造大数据价值
蚂蚁数巢
数据使用方
Data Consumer
数据加工方
Service
Provider
数据提供方
Data Provider
数据处理能力
方案联盟
蚂蚁数巢的愿景
培育一个“安全”的“互联”数据生态系
统,促进围绕数据的研究和创新工作
方案联盟
蚂蚁数巢,驱动数据连接和价值发现
数据“连接” 数据价值安全发现 数据价值消费
用户
商户
合作伙伴 ISV
商户
机构
商业价值驱动
提供方 消费方
云数据实验室
云上安全、可信的数据共创
环境,让数据合作更安心。
数据俱乐部
让数据“交流”,助力会员
广泛展开数据创新和合作。
投放渠道
多终端,多渠道进行投放,
实现数据闭环消费
方案联盟
蚂蚁数巢,四大能力介绍
独创的ID-Mapping能力,
能最大化进行跨企业、跨行
业的数据融合,让数据真正
“连接”起来
01 全球领先的大数据能力 02
基于金融云,从数据采集、
处理、分析到机器学习、服
务化,提供一站式的商业解
决方案能力
安全为先,打造了 “可用不
可见,相逢不相识”的可信
的大数据加工处理环境。
数据安全共创能力 03 全域数据融合能力 04 全渠道数据消费
开放的蚂蚁、阿里和外部
全流量平台,帮助你多终
端触达用户。
方案联盟
云数据实验室 API开放
蚂蚁数巢
蚂蚁数巢,口碑数据开放案例
商户/ISV CRM
会员分析API
会员圈人API
自定义标签API
会员融合API
报表查询API
会员中心
会员管理
会员分层
会员分析
会员生命周期
营销中心
------事前------
营销方案设计
活动效果预测
------事中------
活动效果监控
------事后------
活动效果分析
活动设计优化
报表中心
经营仪表盘
业务报表
行业监控
营销渠道
API
营销工具
API
营销活动
API
自定义报表API
支付会员 标准数据集 潜客会员 行业数据集
数据开放
行业数据集
标准数据集
会员标签
劵及效果数据
交易数据
建模工具
BI报表工具
ETL工具
1 2 3
蚂
蚁
开
放
平
台
数据集开放 数据API接口开放 云数据计算环境开放
数据服务工具
方案联盟
蚂蚁数巢,其他应用场景举例
医疗
生态系统:
- 制药企业
- 卫生保健供应商
- 医院/医生
- 疾病研究中心
- …
数据:
- 制药数据
- 治疗数据
- …
交通 电商 制造业
生态系统:
- 汽车制造商
- 交通管理中心
- 城市规划与运营中心
- …
数据:
- 地点(LBS)、目的地
- 车俩数据
- 交通数据
- …
生态系统:
- 零售商
- 制造商
- 物流商
- 消费者
- …
数据:
- 销售数据
- 制造数据
- 运输数据
- …
生态系统:
- 工业制造商
- 供应商
- 物流商
- …
数据:
- 生产数据
- 计划数据
- 状态数据
- …
方案联盟
蚂蚁数巢,共享与共赢,让创意爆发…
头脑就是创意,技
能就是生产力
数据就是生产资料
技术平台工厂
数据
智能家居
数字产品
个性化服务
金融产品
智慧医疗 智慧物流
数字生活 智慧农业
方案联盟
蚂蚁数巢,安全的愿景和策略
智能脱敏与预警策略 行为监督(CTU)
数据可用不可见,安全开放和共享 业务愿景
安全策略
用户隐私和商业风险
可管理
行为风险可管控
安全要素:人;系统,账号;操作;渠道(出入口);数据
数据存储和访问
可管控
“金库”中心
方案联盟
行为风险识别系统(CTU)
浏览日志
采集系统
操作日志
采集系统
安全策略中心
行为分析
与识别
风险规则配置
风险模型部署
安全策略
设置
安全监控中心
安全大屏 安全审计 智能安全
服务
1
数据安全流转网络
7
平台打通,数据只进不出,数据
流转线上完成,数据不落地
安全感知
安全预警、安全拦截
6 5
4
2
权限精确控制
(功能级、表级、字段级、行级)
数据操作安全扫描,敏感数据脱敏
完备的日志
数据出口统一,系统和人工双重审核
数据俱乐部和云数据实验室
蚂蚁数巢,安全的闭环体系
形成数据安全流转的系统闭环,保证数据不侧漏。
3 数据申请与授权体系
方案联盟
蚂蚁数巢,数据安全业务流程架构图
样本数据
真实数据
数据生产环境
仅平台拥有权限
代码扫描与发布
任务工作流
数据开发 报表开发 数据挖掘 数据服务
数
据
服
务
层
信任出口
风险CTU 动态脱敏 日志监控
查看条数限制、数据安全等级动态调整
权限控制
实验环境
开发者拥
有权限
计算引擎
接
口
层
业务闭环
系统
蚂蚁开放
平台
实验区1 实验区2 实验区3 实验区…
实验区相
互隔离
审核
系统层日志监控与分析
方案联盟
企业数据仓库
去身份标识
生成唯一ID
去精度,模糊
化
正负
浮动N%-M%
短文本部分掩
藏或数值化 映射转换
身份标识
(email,手机…) 时间&日期
文本
(姓名,住址…)
数值
(金额、笔数…)
标签
(白富美…)
加密转换
唯一ID
托管云实验区
脱
敏
铜墙
铁壁
蚂蚁数巢,用户隐私和商业风险可管控
采
样
方案联盟
蚂蚁数巢-用户隐私和商业风险可管控
扫描SQL语句 执行SQL语句 处理查询结果 提交SQL语句
血缘追溯
规则判断
转换策略
脱敏执行
记录追踪
完 善 的 执 行 日 志 记 录 、 监 控 、 审 计
记录日志仅为安全分析,执行最严格的用户数据和版权保障计划
用户认证
数据鉴权
C T U 防 护 脱 敏 防 护
算法检测
防下载
少量展示
返回结果
1、数据在工具端展现时进行条数限制,同时进行数据动态脱敏,防止用户隐
私数据和标识数据。
2、通过多种算法k-anonymity、t-closeness等保证隐私数据不泄露
方案联盟
蚂蚁数巢-行为监督的风险识别
监控数据消费量
任何外在的表现,最终都会反应到数据调用/处理
的总量上来,所以可以从人和系统二个角度进行
监控
监控出口
记录出口媒介信息:账号,mac,ip,wifi……
记录出口信息:数据的出口唯一,授权,从频次、大小
、流向等角度进行规则监控
通过场景和行为模拟,发现风险点,部署成规则
监控制度和流程的执行
制度严格的安全流程进行安全审核
机器学习模型识别风险
人群分类,监控其行为变化
同一个体,行为特征应有延续性。否则可能有异
常
规则模型识别风险
方案联盟
Web 服务器
(用户认证)
ODPS飞天内部
认证与授权中心
计算集群n 计算集群1
…
ODPS接入层
ODPS控制集群
2、Java 沙箱
1、Linux进程级沙箱
3、OS Kernel 0day防护
保护模式,只进不出
数据访问终端
只能是指定的白名单
云数据实验室
Web服务器
仅云数据实验室Web
服务器IP可访问数据
1. 支付宝登录体系(CTU大脑)
2. 多租户,隔离到实验(项目)级
3. 所有行为全部记录进行风控分析
4. 白名单体系,仅指定IP可访问
数据以表格式存
储,不暴露文件
系统
灵活的ACL授权
模型,权限控制
到表、列级
阿里云ODPS保
障,保护用户的
数据不丢失、不
泄露、不被窃取
1、基于金融云搭建,采用独立的机房集群,满足一行三会金融监管要求。
2、保证数据产权,专项专用,数据只进不出,用户自行物理销毁。
蚂蚁数巢-数据存储与访问安全管控实现
方案联盟
我对蚂蚁金服大数据开放式实践及应用的总结(一)
新技术 新算法
海量(新)数据
大数据的三个要素
创造业务(客户)价值
1. “在线”的数据才有价值
- 平台需要同时满足“大”和“在线”这二个特性要求
- 数据价值会折旧,越“新”越能改变业务
2. 计算能力是基础能力
- 新技术可以加速数据的流动和应用
- 深度学习、大规模机器学习需要大计算,需要新的计算框
架
3. 算法在数据业务化上是关键,是引擎
- 海量数据+大规模机器学习,可以兼容部分“脏”数据
- 算法是持续提升用户体验的关键
- 全集>采样,倾听每一个个体的声音
4. 云是未来,是必然 ,数据智能通过云向端进行
输送
方案联盟
我对蚂蚁金服大数据开放式实践及应用的总结(二)
场景化 开放性 可度量
1、数据融合的价值远远大于数
据割裂的价值
2、数据只有“连接”才能解决
场景化问题
3、大数据基础技术能力的开放
性
1、数据应用效果可评估,数据
价值可度量
2、数据开放的标准可度量
1、场景化驱动数据应用和价值
度量
2、 场景对应的一定是应用价值,
建立数据“连接”
3、场景驱动闭环体系建设
方案联盟
我对蚂蚁金服大数据开放式实践及应用的总结(三)
深化安全能力建设,
这是基石,事关存亡
深化大数据价值提取和
封装能力建设
深化数据开放
三深化
敬畏之心 数据信仰之念
方案联盟
蚂蚁数巢,邀你一起共建数据生态圈,携手同行
• 打开 注册蚂蚁数巢会员
• 蚂蚁开放平台开发者,登录后进入管理中心,选择数据实验室,进行入驻
方案联盟
Thank you !
方案联盟
蚂蚁金服大数据开放式创新实践
自我介绍
目录提纲
大数据时代正在走来
幻灯片编号 5
幻灯片编号 6
幻灯片编号 7
幻灯片编号 8
幻灯片编号 9
幻灯片编号 10
蚂蚁数巢的愿景
幻灯片编号 12
幻灯片编号 13
幻灯片编号 14
幻灯片编号 15
幻灯片编号 16
蚂蚁数巢,安全的愿景和策略
蚂蚁数巢,安全的闭环体系
蚂蚁数巢,数据安全业务流程架构图
幻灯片编号 20
幻灯片编号 21
幻灯片编号 22
幻灯片编号 23
幻灯片编号 24
幻灯片编号 25
三深化
幻灯片编号 27
Thank you !