携程AI平台及客服机器人
分享人：于磊
1 携程AI—Democratize AI
2
3
4
目 录
CONTENTS
携程客服机器人&知识图谱
携程小诗机
Q&A
Democratize AI
合作、互补、共享 共赢、高速创新 下一代的OTA用户体验
AI的民主化—携程AI接入平台
自然
语言
视觉
语音
智能
导购
硬件
客服机器人
小诗机
多语种翻译
身份识别
图片识别
图片风格转换
图片清晰化 活体检测
情绪识别
用户意图
计算广告
声纹识别
语音合成
滤黄滤政
携程AI开放平台
自研AI
服务
外部AI
服务
携程AI接入平台
融合·共创
模型评估 测评 标准化 选型/综合
• 背景：检测图片物体标签，作为素材提供给写诗引擎
• 语料：类别120，训练语料10万条
• 24层卷积层+2层全连接层
图片检测(Image Detection)
[1] Reffer to Redmon, Joseph, et al. “You only look once: Unified, real-time object detection
图片检测携程小诗机
Yolo网络结构
• 背景：检测图片物体标签，作为素材提供给写诗引擎
• 语料：类别120，训练语料10万条
• 24层卷积层+2层全连接层
图片检测(Image Detection)
图片检测携程小诗机
携程AI开放平台
视觉图像
基于CycleGAN的“白天转黑夜”[1][2]人脸识别
[1]. Image-to-Image Translation with Conditional Adversarial Networks
[2]. Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
携程AI开放平台
智能个性化
携程AI开放平台
智能导购
1 携程AI平台
2
3
4
目 录
CONTENTS
携程智能客服&知识图谱
携程小诗机
Q&A
携程AI开放平台
智能客服
15%
28%
94%
酒店客服可自助场景解决率
智能客服上线
+13%
+66%
用户输入联想
携程智能客服
售后 售前
闲聊
天气查询
交通方式
插科打诨
产品推荐
产品咨询
支付咨询
订单咨询
发票咨询
返现优惠
用户意图识别
算法
分词 命名实体识别
售后机器人应用
模块 情绪识别 对话管理输入联想 知识图谱 KB-QA
数据 聊天对话历史 标准QA信息 机票航线信息酒店基本信息 POI信息 ……
CNN RNN BI-LSTM+CNNWord2Vec
相似相关词 句法依存分析 语义理解 文本聚类 文本分类
Naive Bayes CRF SVM
个性化推荐
售前机器人 客服助手
携程客服机器人
应用架构
翻译助手 …
命名实体识别
Model 优势
RNN 获取长远的上下文信息，拟合非线性能力
CRF 考虑整个句子的局部特征的线性加权组合，目标是p(y|x;w)使得序列
的联合概率最大
HMM 基于马尔科夫性质
LSTM+CRF[1] 利用两个模型的优势
[1]. Z Huang, W Xu, K Yu. Bidirectional LSTM-CRF Models for Sequence Tagging - arXiv preprint arXiv:, 2015
应用场景
售前售后景点、目的地等识别
旅游名词识别
KB-QA中识别主题信息
常用模型
携程客服机器人
携程客服机器人
用户意图识别
• 基于用户问题，使用意图分类模型进行用户意图的判定，从而
将用户问题定位到某个子领域。
• 辅助进行进一步的用户语义解析
• 基于意图信息，进行用户对话管理和状态分析
保险问题
名词解释
订单问题
变更取消
电话服务
支付问题
投诉问题
页面功能
促销活动
担保问题
Precision
保险问题
名词解释
订单问题
变更取消
电话服务
支付问题
投诉问题
页面功能
促销活动
担保问题
Recall
SVM分类模型 CNN分类模型
stack
1xn
Conv
2xn
Conv
3xn
Conv
5xn
Conv
Max-
pool
Max-
pool
Max-
pool
Max-
pool
FC
embedding layer
biLSTM layer
input layer
conv layer
pooling layer
output layer
%
%
%
%
%
%
%
%
%
%
%
cnn+mxnet cnn+tensorflow biLstm+cnn cnn+lstm RNN
算法对比
top1准确率 top3准确率
优势
biLSTM可以从forward和backward两个方向获取上下文信息
CNN模型对平移、缩放等具有不变形，可以较好检测出特征区
域，鲁棒性好。
最终，通过多组实验比较，发现biLSTM+CNN离线效果最佳。
标准Q匹配
基于biLSTM-CNN的QA匹配
携程客服机器人
[1] Applying Deep Learning to Answer Selection: A Study and An Open Task Minwei Feng, Bing Xiang, Michael R. Glass, Lidan Wang, Bowen Zhou ASRU 2015
[2] Lai S, Xu L, Liu K, et al. Recurrent Convolutional Neural Networks for Text Classification[C]//AAAI. 2015, 333: 2267-2273.
[3] Wen Y, Zhang W, Luo R, et al. Learning text representation using recurrent convolutional neural network with highway layers[J]. arXiv preprint arXiv:, 2016.
QA-检索
基于检索的QA
𝑢𝑤
𝛼1
𝛼2
𝛼𝑛
FC
𝑢𝑖𝑡 = tanh(𝑊𝑤ℎ𝑖𝑡 + 𝑏𝑤)
𝛼𝑖𝑡 =
exp(𝑢𝑖𝑡
𝑇𝑢𝑤)
σ𝑡 exp(𝑢𝑖𝑡
𝑇𝑢𝑤)
𝑠𝑖 =
𝑡
𝛼𝑖𝑡ℎ𝑖𝑡
𝑠𝑖
基于倒排索
引检索
BM25,TFIDF
词语特征
基于深度模型
语义特征
最终排序结果
类似个性化推荐，分两步：检索+排序
适用QA量大的场景，例如闲聊，问答检索等
基于attention机制可以提升QA关联度
携程客服机器人
[1] Lowe R, Pow N, Serban I, et al. The ubuntu dialogue corpus: A large dataset for research in unstructured multi-turn dialogue systems[J]. arXiv preprint arXiv:, 2015.
[2] Yang Z, Yang D, Dyer C, et al. Hierarchical Attention Networks for Document Classification[C]//HLT-NAACL. 2016: 1480-1489.
携程知识图谱
知识图谱KB-QA
携程客服机器人
售前智能导购
1 携程AI平台
2
3
4
目 录
CONTENTS
携程客服机器人
携程小诗机
Q&A
携程小诗机
Input:
景点写诗
城市写诗
天气、季节
心情
照片写诗
人名写诗
格律：
宝塔诗
律诗
绝句
景物识别&
成诗：
红楼；
梅花；
性别及表情
识别：
严肃；
青年男性;
Input:
景点写诗
城市写诗
天气、季节
心情
照片写诗
人名写诗
格律：
宝塔诗
律诗
绝句
照片地点
知识库：
西湖；
西湖的知
识库
时间写诗：
秋；
傍晚；
天气知识库;
人物画
像：
职业；
作品；
身材；风
格
基于情境的感
情：
春节前最后一
天；
携程小诗机
冠军 亚军 季军
赵玉玮 5 0 1
邹竞夫 2 6 2
AI LEE 2 3 2
卿云子 2 2 2
沈以昕 0 0 2
张一双 0 0 0
人机盲测 第3名(11场)
思念 孤独 夏之愉悦 秋之悲伤 北京的雾 杭州的雨 黄山的雪 青海湖的晴 沙-正宝塔 沙-倒宝塔 景点 愉悦
赵玉玮
邹竞夫
AI LEE
卿云子
沈以昕
张一双
与上海地区诗人比，略胜
目前 远超竞品
宝塔寺、情感、季节、天气、人物、绝句、律诗、城市、美食
西湖
凉风乱入杭城路，
秋水孤山似旧年。
遍地桂花停过客，
侵帘绿影满湖边。
西湖
绿树余杭花草畔，
通都月色谁自怜。
喜听潇雨鸣枫叶，
安得凉风起桂筵。
久靠林荫堤岸伫，
长依湿地碧波边。
西湖桥下潺湲水，
凭有孤山却不前。
西湖.夏
重云深处引溪涧，
湖水孤山路远长。
遥爱断桥残夏早，
风清杨柳映通方。
莲花倚槛雨生雾，
荷叶绕船橹走旁。
林缝落光波潋滟，
寺边湿地色苍茫。
西湖.雪
城巷夜空却白昼，
西湖山色故依然。
敢忘湿地凌冬约，
不负君梅岁竹缘。
万里重云寒水边，
满城娑树雪中天。
萧疏枫叶扁舟岸，
灵隐冷风谁顾怜。
澜
惊湍
水流漫
鲸波海观
江涌万卷蟠
涛濑掀翻浪寒
激荡澎湃渺云端
香惹燕雀凉醉颊
玉屑梅蕊翠靥
偷香团扇妾
芳情细贴
花重叠
春叶
蝶
携程小诗机
用户输入关键词用户输入图片
黄图识别
CNN
图片解析
CNN，GeoHash
景点/关键词解析
PMI,plsa，
word2vec…
句/联生成
N-gram，RNN LM，语义模型
图片特征识别GPS解析
情感引擎
知识推理
主题引擎
遗传算法，RNN，广度优先图搜索
诗句组合寻优
反向过滤引擎
天气引擎 季节引擎
结束
特征语义解析
携程小诗机
携程小诗机
春日
落花飘红忆旧游,
飞絮皱绿赋新诗.
江风吹雨又黄昏,
望月连云消白日.
古诗自动生成
基于LSTM模型和seq2seq相结合，进行诗歌的创作
落 花 旧 游…
飞 絮 诗…
