短视频与云存储
李道兵
Outline
• 短视频行业的痛点
• 云存储行业如何解决这些痛点
• 数据在这个时代的意义
2014: 短视频爆发年
• 美拍
• GIF快手
• 逗拍
• 微信视频
• 小偶
• 玩拍
• 微拍
• 秒拍
• 小看
• 小影
• 乐秀
• 美视
• 多拍
• 优酷美点
• 爱拍
• 趣拍
为什么？
• 带宽
–移动4G开始推广，直接把一半多的手机用户从
2G时代拉到了4G时代
–手机流量包增加: 现在手机普遍月流量在 1GB
以上，3GB以上的也不罕见
–家用带宽的增加，10Mb ~ 100Mb 成为家用带
宽的主流
为什么？
• 娱乐为王的时代已经来临
– 硬件的革新: 从照相机，到数码相机，到手机拍照
，再到手机视频，手机像素增多，质量变高，减少
了从拍摄到分享的时间，提高了体验
– 产品的革新: 模板，配乐，大头，。。。
– 从论坛到微博和微信的社交模式的转变
• 实名社交和熟人社交：可以跟你的朋友分享你的成果和
感受，享受你跟朋友的互动
• 传播效应更显著、且质量与转发量成正相关，让大家努
力创作高质量内容，且高转发下有更高的荣誉感
短视频产品的痛点
• 疯狂增长
–如果你对产品打磨得足够好，那么用户使用量
会疯狂增长，比如逗拍上线几天后就成为 iOS
免费榜第一名
–疯狂增长会给你的全线带来压力，数据库，缓
存，业务逻辑，存储，上传，分发都会受到很
大的冲击
短视频的痛点
• 有压力，常规的服务如何解决？
– 数据库: 尽量使用 SSD 硬盘，增大数据库处理能
力
– 缓存层: memcache 或者 redis，水平扩张
– 业务层: 消除服务状态，然后水平扩张
– 接入层: nginx/tengine，水平扩张，用 heartbeat
或者 LVS 来做高可用
– 网络: 尽量使用 BGP 机房，如果只走元数据，那
么流量成本还可以接受
• 麻烦的是数据的部分
短视频产品的痛点
• 上传
–短视频上传大部分都是移动端，网络不稳定，
10s 的视频需要 1M以上，60s的需要6M以上
，一次性上传成功率很低，最好能设计一个分
片
–不使用分片上传 1M文件的失败已经很高了，
6M或者更大的图片失败率就会上升到很难接受
的水平。
–如何设计一个好的分片上传方法会成为一个难
点
短视频产品的痛点
• 上传
–网络覆盖问题：数据放在高规格 BGP 机房是
一个不划算的事情，那么如何保证每个客户都
能得到一个很好的上传体验呢？
–域名劫持问题: 这个比较简单，准备多套上传
域名或者直接通过IP来上传都是很好的应对方
式
短视频产品的痛点
• 存储
–我用什么存储软件？mogilefs 还是 fastdfs, 我
的团队是否有足够的经验来运维它？
–我需要准备多大的存储？如果要支持1PB就需
要 70 台2U12盘的存储机（按3份冗余计算）
–我的运维团队是否准备好了？流量冲击，磁盘
损坏，机器当机，交换机故障，。。。
短视频的痛点
• 数据处理集群
–截图：短视频截一个图作为封面
–水印：图片和视频都要水印，在服务器打水印
还是在客户端打好传上来
–审查: 审查一般外包给第三方，发送原始视频
会占用大量带宽，导致审查效率下降，是否先
把视频裁剪后再来审查？
–流式播放: 如果视频比较长，直接播放的效果
不太好，是否要用 HLS 模式来播放？
短视频的痛点
• 如果需要一个处理集群？什么架构？多大
容量？如何快速扩容？如何避免有人利用
CVE 构造有问题的视频来入侵？
短视频的痛点
• 分发
–挑选哪家CDN？
• 有没有独立的多媒体平台？
• 是否支持 mp4 拖拽？
• 是否存在多次回源，到我的机房是否有连通性问题
？
• 大文件回源是不是有优化？
• 小运营商覆盖情况如何？
总结
• 传统架构的瓶颈常在数据库，但随着SSD的广
泛应用，数据库的处理能力已经提升了2-3个
数量级，架构瓶颈反而容易出在数据存储层面
• 数据上传
– 如何设计分片？如何保证网络覆盖？如何降低流量
成本？如何防止DNS劫持？
• 数据存储
– 使用何种存储技术？如何避免一次性投入过高？如
何运维大规模集群？
总结
• 数据处理
–如何设计处理集群？如何避免高峰冲击？如何
降低处理成本？
• 数据分发
–如何拿到好的 CDN 节点？如何防止域名劫持
？
• 其实不是说以上问题研发团队都没法解决，
更多的情况是在急剧增长的情况下，你不
舍得把你最好的技术人员放在这上边
云存储行业能帮上什么忙？
• 数据上传
–如何设计分片？如何保证网络覆盖？如何降低
流量成本？
• 分片: 很多云存储都支持
• 网络覆盖: 上传节点很多，覆盖面广
• 降低流量成本: 经常是免费
云存储行业能帮上什么忙？
• 数据存储
–使用何种存储技术？如何避免一次性投入过高
？如何运维大规模集群？
• 使用云存储后这些都不用担心了，yeah
云存储行业能帮上什么忙？
• 数据处理
– 如何设计处理集群？如何避免高峰冲击？如何降低
处理成本？如何避免安全漏洞？
• 很多云存储都提供音视频处理服务，而且由于
云存储本身处理容量大，你的峰值冲击对他们
就很小了
• 而且云存储供应商有独立的安全团队来做安全
保障
• 音视频转码一般按使用量来付费，通常成本比
自建便宜，毕竟云提供商的机器利用率更高。
云存储行业能帮上什么忙？
• 审查
–我们就帮客户设计过审查用的转码: 双倍速，
分辨率150x150, 去掉声音，降低码率，10s 的
视频只需40KB左右
–审查员一个网页上可以放多个视频，一起播放
，大幅度提高了审查速度
–降低码率之后审查所需的带宽也大幅度下降，
审查网页更流畅，唐马儒表示审查体验大幅度
提高
云存储行业能帮上什么忙？
• 数据分发
–如何选择好的 CDN？如何防止域名劫持？
• 云存储
–帮你挑选 CDN
–智能调度优化CDN，避免CDN故障时服务不可
用
–多域名甚至IP下载来避免域名劫持
总结
• 云存储的发展已经足够成熟，围绕数据的
大部分需求都能够解决。
• 一个好的云存储供应商更会针对客户的需
求，来帮助客户设计解决方案，一起来把
问题解决掉
数据的意义
• 短视频这波风潮的兴起可以说恰好赶在了
移动、宽带、娱乐的风口上，也可以说是
必然的
• 带宽的持续提升正在改变我们的沟通方式
–从文字到图片，到声音，再到视频，随着技术
的进步，也许会有更多的沟通形式出现，比如
全息投影或者虚拟世界
–新的沟通方式会催生很多新的产品出现
数据的意义
• 我们每个人产生数据的能力越来越强
–每天你拍的照片、录的视频
–每天你访问了哪些网站？去了哪些地方？
–每天你的身体状况(智能穿戴设备)，你的车辆
状况，你的房间的温度湿度，监控探头
–还有大量的第三方摄像头在看着你？
• 这些数据能变成价值么？我不知道未来会
怎样？但我对答案很乐观。
数据的意义
• Google 的出现把互联网成功从 升级到
–收集网页变成搜索功能来满足用户
–收集用户的搜索和访问行为变成广告投放引擎
来满足客户
–这些都是数据价值的体现
–值多少：3000多亿美金
数据的意义
• 未来的世界，数据越来越重要
–你能不能贷款买房，决定的不是你的客户经理
，而是背后的数据
–你获取用户的能力，不再仅仅决定于你的智慧
和直觉，而更多是你的数据挖掘能力
–你的公司的盈利提升，也将更多取决于你的在
数据上能挖掘得多深。
