今日头条的人工智能技术实践
媒体形式的历史变迁
书籍
公元前1000年
传唱史诗
公元前2000年
《吉尔伽美什》 《尚书》
公元200年
《威尼斯公报》
报纸
20世纪20年代
匹兹堡KDKA电台
贝尔德的电视机
广播&电视 互联网
20世纪70年代
互联网雏形ARPANET诞生
从人工到智能算法的媒体革命
创作
人工
智能算法
分发
管理
2016年是一个历史拐点
“近日,第三方监测机构易观发
布了一个具有“里程碑式意义”的数
据:2016年,在资讯信息分发市场
上,算法推送的内容将超过50%。
这将成为一个分水岭。它意味
着,我们以后接触到的信息,将主要
由“智能机器人”为我们准备,而以
往看似不可或缺的“人工编辑”角
色,则不可避免地被边缘化。
自2012年今日头条开启算法分发
的尝试,4年之后,算法时代正式宣
告来临。”
---
--《钛媒体》
互联网时代内容分发形式的变革
门户
社交媒体&社交网络 推荐引擎
智能算法给内容分发带来的红利
平台类型 优势 缺陷
门户 人工精选内容,质量有保
障
分发效率低,日均分发数
百条内容,用户长尾兴趣
无法被满足
社交媒体 个性化,内容分发效率高 信噪比低,充斥大量不感
兴趣的内容
社交网络 个性化,内容分发效率高,
互动性好
信噪比低,充斥大量不感
兴趣的内容
算法推荐 个性化,内容分发效率高 需要更多,更好的数据
字节跳动成立
今日头条APP上线
日活跃用户超过100万
B轮融资
日活用户超过1000万
C轮融资
超越所有国外同行
用户规模超过亿
日活跃用户超过6000万
一直被模仿,从未被超越:大量的“山寨”头条追赶,其中不乏互联网巨头,
均落后于头条。已有美、日、印尼等国的互联网公司宣称自己是“xx(本国)
”的今日头条。
开创
最早
技术
最领先
用户
规模最大
字节跳动是移动互联网成长最快的公司之一
日活超过3000万
推出短视频平台
传统内容分发平台纷纷拥抱算法推荐
除了以今日头条为代表的新兴智能推荐平台,传统新闻APP,浏览器,搜索应用,
社交平台(Facebook,微博)纷纷上线资讯智能推荐功能
Twitter近年股价变化 Facebook近年股价变化
《Twitter调整消息流排序 不再严格按时间顺序》2016 新浪科技
《Facebook披露信息流排序方式:发布新功能》 2013 新浪科技
基于智能算法的内容推荐
推荐系统的核心算法可以根据用户标签,内容标签和情景信息,计
算用户对内容感兴趣的概率
典型推荐算法
协同过滤
Logistic Regression
Factorization
Machine
GBDT
DNN
典型推荐特征
相关性特征
热度特征
环境特征
Bias特征 协同特征
关键词匹配
分类匹配
主题匹配
来源匹配
地理位置
时间
全局热度
分类热度
主题热度
关键词热度
用户先验点击率
用户性别
用户年龄
点击相似用户
兴趣分类相似用户
兴趣主题相似用户
兴趣词相似用户
上下文特征
上一刷内容
最近N次推荐内容
最近N天推荐内容
基于智能算法的文本内容分析
文本内容自动分析是新闻推荐系统的基石,主要应用包括精细分
类,主题分析和实体词提取
体育/足球/德甲
拜仁,安切洛蒂,
多特蒙德
典型的层次化文本分类算法
元分类器 元分类器 元分类器
元分类器 元分类器
元分类器 元分类器 元分类器
元分类器
root
元分类器类型:
• SVM
• SVM + CNN
• SVM + CNN + RNN
实体词识别算法
分词&词性标注
英超 N 利物浦 N 0-0 曼联 N ,德赫亚
N 。。。
抽取候选
英超联赛
利物浦足球俱乐部
*
利物浦市*
曼联俱乐部
德赫亚
。。。
去歧
英超联赛
利物浦足球俱乐部
曼联俱乐部
德赫亚
。。。
计算相关性
基于智能算法的图像识别
对全自动化的智能推荐引擎而言,准确快速的图像识别对于分析内
容特征,广告色情识别至关重要
奥巴马
美国
国际
一种识别易引起不适图片的算法
基于ImageNet训
练好的CNN抽取
向量
标注样本图片 训练NN分类器
基于智能算法的写稿机器人
人工智能已经可以在财经报道,体育赛事报道等领域自动创作内容,可
读性完全可以媲美人工编辑
图片库
直播语料素材
算法辅助视频封面选择
封面选择对视频的点击率有重要影响,智能算法可以自动给出封面建议,
减少视频上传者的选择成本
预估点击率
预估点击率 预估点击率
预估点击率
算法自动生成视频集锦
智能算法可以从体育比赛,MV等长视频中自动抽取精彩片段,甚至
生成gif,可以节省用户时间和流量
Q&A