傅杰
2014年7月
优酷土豆日志平台架
构迁移的背后思考
大纲
•优土日志平台架构演进
•架构之上的三维思考
•平台运营现状及展望
2005年11月11日，Google Analytics发布
2011年 GA为Google带来30亿美元收入
“谷歌分析”
日志采集
功不可没！
browser
browser
Resin
DISK
haproxy
日志收集V1
browser
Resin
新增日志难
DISK
负载压力
HttpRequest
日志上线配置化
param
cookie
constant
function
antlr
配置
HttpServer压力缓解
•逻辑优化、GC调优
•多实例部署
•新增长连接Server
HttpServer
广告日志
推荐日志
HDFS
agent
Zookeeper
collectorA
collectorA
collectorB
日志系统V2
UDP
PUT
技术不难实现
系统可控性强
二次开发
HDFS PUT
实时写入HDFS
带宽集中
压缩集中
计算延迟
恢复复杂
tail
实时写
我需要知道的
何时该扩容？
大日志量能否上线？
非运维、非系统功能
天机镜
队列大小如何设置？
心跳服务
系统瓶颈在哪？
Jvm监控
异常监控
一些新特性
•日志实时转发
•跨机房部署
•支持多协议
•支持多端口
日
志
系
统
稳定
可靠
易用
够了吗？
向上:平台化思维
•上线流程化
•标准化SDK(js、android、ios)
•异常流量监控
•日志运营报表
向前:数据治理
专家
指导
数据
规范
分析
引导
元数
据
日志系统
实时计算
离线计算
向后:log-driven实时生态
业务系统
平台运营数据
•200多种日志
•日收15-16T、500亿
•日实时转发80亿
•覆盖全集团
优土日志平台
平台展望
chukwa
Scribe
flume
百度
统计
友盟
CNZZ
友盟
企业
开源
可拔插、易扩展
18
商业
SAAS
19
谢谢
