电商大模型及搜索应用实践.ppt

下载

下载

420积分

525积分

下载

525积分

VIP价：420积分

电商大模型及搜索应用实践 C O N T目E录N TS 01 电商行业的发展和技术演进 02 大模型在电商场景下的问题 03 电商大模型关键技 术 04 电商搜索大模型应用 实践 05 下一代A I电商搜索 电商行业的发展和技术演进 • 电商行业发展 • 电商场景问题分析 • 关键问题和技术挑战 • 技术演进洞察 电商行业发展 过去10年实物商品网上零售额高速增长，电商模式也从货架电商为主发展为和内容电 商并存的局面 货架电商(阿里,京东,拼多多等) 内容电商（抖音,快手,小 红书等） 本质上都是通过技术驱动大幅降低了商品流通成本，显著提升了零售效率，而电商模 式的发展变化背后也是技术演进的结果 电商场景分析 购物需求 非购物需求 即兴 需 购物 求 电商平台 物流售后 用户 从电商用户的消费决策链出发，用户从需求的产生到最终决策下单可拆解为购前，购中，购后， 这三个阶段： 购前 购中 购后 搜索 搜索 搜索 在消费决策链路中用户购买需求产生后搜索是决策的关键环节，而电商搜索的核心就是基于用户需求的商 品分发，电商搜索技术就是主要解决商品分发效率的问题，优化的目标就是GM V和UCVR，和一般的信息搜 索（如百度）有很大的区别。 内容平台：以抖音，快手，小红书等 为主的内容分发平台，也是当前的新 兴内容电商平台，处于消费链路上游 电商平台：以阿里，京东，拼多多为 主的商品分发平台，也是当前的货架 电商平台，处于消费链路中下游 渗透 发展 内容平台 推荐 需求激发 关键问题和技术挑战 产品形态：京东主站三大搜索产品形态 京东app 京东小程序 宏观目标：更低的成本，更高的效率，更好的体验 关键问题：GMV：UV * UCVR * 客单价 京东 PC 关键问题和技术挑战 1.文本+图像多模态匹配 2.动态价格,促销,物流等 3.权衡UCVR和长期GMV 4.宏观流量调控和反作弊 相关性 1.复杂用户需求理解 2.数千数万商品属性和类 目精准识别 3.用户画像等复杂上下文 意图理解 1.多维度召回和融合 2.商品和库存等动态变化 3.个性化和多样性问题 商品召回 1.提升交互效率同时考虑 激发用户需求 2.时效性问题 3.丰富性问题 交互引流 优化目标：GMV=UV * UCVR * 客单价，多目标优化难题，还要坚持宏观目标：更低的成本， 更高的效率，更好的体验，从技术角度拆解存在以下技术挑战： 电商搜索技术演进洞察 技术演进本质上还是通过技术创新去实现更低的成本，更高的效率，更好的体验 文本检索阶段 1.规则引擎的应用 2.基础文本检索技术 3.关键词的人货匹配 机器学习阶段 1.统计NLP为核心的用户 意图理解和商品理解 2.基于M L的CTR/CVR建 模 排序模型 4.用户反馈数据学习 深度学习阶段 1.基于D N N的意图/商品精 准理解提升分发准确率 2.以文本+语音+图像的新 搜索交互, N N语义召回,多模态召 回和D N N匹配技术 3.个性化搜索，千人千面 大模型阶段 1.交互上单向引导到对话 式交互导购 2.基于大模型的用户理解 和商品理解解决长尾 3.大模型生成式检索技术 AGI导购助手 1.完全AGI技术驱动 2.完全多模态交互 Agent式购物服务 4.人格化数字虚拟助理 大模型电商场景下的问题 • 大模型的技术优势 • 电商场景下的应用问题 • 电商大模型解决方案 大模型的技术优势 广泛的知 识总结和 归纳能力 显著迁移 学习和多 任务能力 2 3 逻辑推理 和分析能 力 4 多语言多 模态建模 5 强大的语 言理解和 生成能力 1 算法 多模态，M OE 算力 GPU,NPU 数据 WebData, 专有知识数据 电商场景下的应用问题 电商知识理解 ： • 通用大模型商品 知识专业性不足 商品类目,品牌, 属性等 • 通用知识和商品 的对齐问题 • 图像商品理解差 效果和个性化 • 直接应用没绝对 效果优势 • 理解购物历史， 偏好，评论，商 品细节等个性化 挑战 时效性 • 大模型本身更新 很慢，知识陈旧 • 新商品，促销， 价格等更新时效 性很高 成本和速度 • 训练和推理成本 大，ROI低，很 难大规模商用 • 在线推理速度很 难满足实时性 安全性 • 用户敏感数据泄 露风险 • 生成商品相关内 容的安全合规 电商大模型解决方案 NPU平台 GPU平台 Alignment Learning Model Expansion+多阶段Continue Pretraining 文本大模型底座(Dense + MOE) 多模态大模型底座 电商大模型 京东App 京东PC 京东小程序 应用：Prompt+SFT/DPO/PPO等+Distillation RA G 电 商 知 识 图 谱 Web 搜 索 用 户 画 像 电商大模型关键技术 • 数据和预训练 • 通用对齐和领域对齐 • 安全性 • 评估体系 数据和预训练- DataPipline • 核心：站外和站内商品相关数据去噪音，提升专有数据的电商知识密度 站外 数据 站内 数据 文法引 擎过滤 困惑度 评分器 质量评 分器 数据去 重分析 基于聚类和分 类类目过滤 用户行 征过滤 通用 数据 拒绝 采样 安全性过滤 配比均衡 策略 数据和预训练-Continue Pretraining 祖先/ 前辈 知识 积累 教育 系统 个体 学习 新知 识 知识 继承 历史经验和智慧 书本,文化,科 技 教师,家庭,社 会 获取知识 研究和创新等 下一代继承 人类学习模式 • 基于NPU集 群 • 高效训练框 架 • 100B • MOE 基于知识继承的增量学习框架 • 基于对知识学习的认知，成本和效率的考量 平台和框架 基座大模型 参数扩展 • Depth Up- Scaling • MOE 长上下文扩展 • 增加长上下 文数据配比 • 分块缓存工 程架构优化 持续预训练 • Cosine Learning Rate Scheduler • 退火学习 • 数据配比 通用对齐和领域对齐学习 目标：通用指令遵循优化，同时在电商领域增强对齐 • 通用指令:一级数十， 二级数百类，数十万 级 • 电商指令:数十级， 规模数万级 SFT DPO • 通用指令：数万级 • 电商指令：数十万级 • RewardModel: • 电商反馈数据数百万 千万级 PPO 安全性 电商大模型 prom pt 检测 生成内容 检测 安 全 日 志 记 录 数据标注 平台 SFT+RLHF annotator 安全检 测服务 user 1 2 从潜在安全事件发生前后可以划分为被动安全和主动安全 • 被动安全：安全检测服务，从检测方向，对用户输入的prompt和大模型生成的内容进行安全检测 • 主动安全：大模型生成安全性，从生成方向，对于任何输入保证大模型生成的回复内容是安全可控的，包括 幻觉，毒性，偏见等，主要通过SFT和RLHF技术实现 安 全 攻 击 挖 掘 一级 涉政 恐暴 色情 赌博 违禁品 欺诈 违法 有害意 识形态 供应链 漏洞 安全性-被动安全 目标：对用户输入的prom pt和大模型生成的内容进行安全检测，输出安全分类标签，执行A ction 策略，除公司统一的安全审核服务外，同时构建了增强的被动安全审核。 安全干预 平台 文法规则 引擎 分类模型 大模型安 全检测 融 合 策 略 • 安全干预平台:目标是快速干预实现紧急安全问题 • 文法规则引擎:以句法分析模板 + 词典进行识别，侧重关键词特征明显的文本识别 • 分类模型：以NN为核心的小模型，例如基于bert的分类，保证一定泛化，同时满足实时要求 • 大模型安全检测：通过SFT等技术通过大模型来检测，为了满足低时延往往低于13B参数实现 拦截A ction 策略 安全性-主动安全 • 一级9类，二级100+ 类 安全指令类型 • 数据规模：数十万+ SFT DPO • 多个大模型辅助生成+ 人工编辑校验 • 数据规模：数万级 • :安全RW ：基于被动安 全检测审核数据训练一 个安全性打分模型 • 融合：和通用RW 非线 性融合 PPO 两种思路 • 融合路线：通用对齐+电商对齐+安全对齐在SFT和DPO阶段数据融合，PPO阶段模型融合 • 两阶段对齐：最后单独进行二阶段的安全对齐 评估体系 • 使用主流Benchmark： • MMLU,CMMLU,C-Eval,GSM8K，GAOKAO，SuperCLUE等 • 和电商应用任务对齐构建了电商Benchmark • 自动评估+人工评估 • CValues，Safety-Prompts，自建安全评估集 • Score = 安全回复数量/总回复数量或总prompt数量 • FRR：错误拒答率 通用Benchmark 电商Benchm ark 安全性Score 电商搜索场景下大模型应用实践 • 搜索交互 • 电商用户意图理解 • 文案创意生成 • 电商搜索相关性 搜索交互 通过query引导，更好的获取满意结果，同时降低交互成本，提升搜索交互效率，通过引导 有效提升转化，如下示意图： 难点和挑战 • 传统方法核心是基于召回+排序思路，SMT, NMT，优化链路长，噪音大 • 歧义，多义，个性化等理解挑战 • 准确性，泛化效果很难进一步提升 用户query 交互引导 商品 检索 SKU 候选 结果展现 sku List 方向 功能 Sug 基于前缀的补全提示 纠错 在用户提交了错误的查询词后进行纠正 搜索发现 基于搜索query和用户画像推荐相关query 我猜你搜等 基于个性化的query推荐，激发购物需求 搜索交互-以纠错/Sug等为例 大模型应用核心点 • 基于电商知识增强的电商大模型进一步结合业务任务对齐 • 搜索交互日志利用+对齐优化目标需考虑对搜索效果的增益 • MultiInstruction Learning 电 商 大 模 型 SFT对齐阶段 • Rejection sampling • MultiTask 小流量应用 • 小流量验证， 观察UCTR等 • 收集反馈数据 RLHF阶段 • 基于小流量用 户SKU点击构建 偏序数据 • RW 基于商品检 索系统收益指 导 循环迭代 电商意图理解 电商意图理解目标：解决用户需求表达和商品的语义对齐问题，提升商品召回的相关性和多样性， 最终提升用户转化UCVR 方向： • query理解：分词，实体识别，类目预测，品牌识别，改写，需求识别等 • 商品理解：商品SKU理解，商品图像理解，sku-to-query等 用户 需求 商品检索 商品 空间 query理解 商品理解 问题和挑战： • query理解: 传统基于规则+基于bert的二分类或多分类,序列标注等算法,优化成本高,长尾难解 决 • 商品理解：商品理解泛化差，商品图像基于OCR准确率不高 电商意图理解 电商大模型 Instruction SFT RA GRLHF：基于搜索反馈+CTR/CVR的R W prom pt应用 实体识别 类目预测 ...... 意图预测 商品理解. 电 商 知 识 图 谱 用 户 画 像 搜 索 反 馈 核心技术： • Instruction learning • 搜索用户反馈用于DPO/PPO • RAG：知识图谱-RAG， 用户画像- RAG 文案创意生成 • SKU描述- > 标题 • SKU描述+ SKU图像- > 标题 商品标 题生成 • SKU描述+场景- > 营销文案 • SKU描述+ SKU图像- > 图文 文案 商品文 案生成 • SKU商详 - > 卖点 • SKU商详+卖点- > 卖点文案 卖点生 成等 目标：利用大模型的生成能力，降低商品素材的成本，提升营销转化效率 典型场景 图像编码器 文本编码器 图像输入 文本输入 图文匹配 学习 融合编码器 图像输入 文本输入 多模态大模型 关键技术 • 图文语义对齐学习 • 商品图文数据构建 图文对比 学习 电商搜索相关性 • 核心问题：用户需求和商品的匹配问题，最终会被转化为sim(query, sku)的相关性,同时优化考虑CRT和CVR为目标 • 主流模型：主流的基于NN的语义相关性模型分为两大类：孪生网络和交互式匹配 孪生网络也称双塔模型，特点： • • 完全独立编码，上层相关性交互 可离线计算编码，在线速度快 交互式匹配网络也称单塔模型，特点： • 在底层直接self-attention完成细粒度交互 • 不可离线计算，在线速度慢，效果相对好 典型代表：DSSM 典型代表：Bert 问题挑战：长尾泛化效果存在瓶颈，超长上下文以来理解有限 电商搜索相关性 • query, click_sku_title • query- query预训 练增强 •数百万级高质量 数据 • COT增强对齐 • RA G:画像,商详 等 RLHF •大规模点击反馈 偏好数据 • 结合UCVR的R W 方案1：prompt工程应用+数据增强蒸馏 通用大模型 prom pt工程 • few-shot 标注样本 NN相关 性 模 型 方案2：增强预训练+相关性对齐 电商增强大模型 相关性SFT 数据增强蒸馏 数据增强蒸馏 下一代A I电商搜索 下一代A I电商搜索 传统电商和新兴电商核心还是搜推技术驱动 购物需求 非购物需求 即兴 需 购物 求 电商平台 物流售后 购前 购中 购后 需求激发 搜索 搜索 搜索内容平台 推荐 痛 点 问 题 用 户 消 费 链 用户 路 •用户交互成本高，需要精准的关键词表达 •用户购买决策成本高，结果是sku列表，多次点击查看 • 转化链路长低效 • 长尾不相关或无结果导致搜索效率低 •交互表达受限，只支持以query单向交互为主 •用户多平台跳转 成本 效率 体验 下一代A I电商搜索 多模态大模型- >AGI 商品A gent 物流A gent 售后A gent ...A gent 多模态直接结果 语音+文本 + 视觉+ 空间 以搜推技术驱动 以大模型 + Agent / AGI 技术驱动 内容A gent