腾讯云 TI 平台的
大模型精调解决方案
胡哲 优图实验室高级AI技术专家
行业知识、模型训练稳定性、
资源利用率、国产化适配
大模型精调全生命周期的方法
论与全流程陪跑
自研大模型、大规模预训练、
自研加速、国产化适配
大模型摘要;
大模型问答
大模型落地痛点 TI 大模型精调解决方
案
TI精调的核心优势 案例分享
大模型在业务场景落地的痛点
大规模训练不稳定
大模型训练需耗费大量
GPU 资源且训练周期长，
对训练平台的稳定性、故
障隔离性、自动容错性等
底座能力，以及断点续训
能力考验极大
模型欠缺行业知识
通用领域大模型百花齐放，
但都不具备特定行业的独
有知识，欠缺行业属性导
致无法落地实际业务
需国产化适配
响应国家政策，摆脱国外
资源限制，需要从硬件服
务器芯片、操作系统、模
型等多个层面完成国产化
适配
大模型落地业务场景的痛点
需提高资源利用率
分布式训练需要高效的资
源调度管理系统，减少节
点资源碎片提高调度成功
率；支持虚拟 GPU 调度
提高容器资源利用率
TI 的大模型精调解决方案
MaaS 客户专属 大模型
传媒行业大模型
精调解决方案
TI平台
技术底座
平台&工具
TI-DataTruth数据标注平台 TI-ONE 训练平台 TI-Matrix应用平台
太极Angel 加速组件
基础设施
高性能计算集群HCC 高性能网络：自研星脉计算网络架构 向量数据库
行业大模型
传媒大模型 政务大模型 文旅大模型 金融大模型 教育大模型 ……
TI 的一站式大模型精调解决方案
模型选型 训练共建 部署应用
资源采购
业务形态
数据评估
应用场景
资源评估
环境搭建
服务开通
交付方案
项目排期
训练数据准备
模型训练
知识挖掘+增强
数据清洗+切块
向量库建设+维
护
训练平台搭建
无监督训练
有监督训练
人工反馈
强化学习
训练框架加速
脱敏合规 模型评测
模型管理
服务发布
性能评测
效果评测
模型注册
模型发布
推理框架加速
推理服务部署
内容安全
应用联调
需要客户深度参与
TI 对大模型开发全生命周期的一体化方法论
TI精调的核心优势
核心优势1 —自研模型：混元大模型
超千亿参数规模（蒸馏出百亿级模型），全链路自主研发，从零训练自主创新
AngelHCF 推理框
架
推理速度相比业界主
流框架提升 倍
AngelPTM 训练框
架
相比业界主流框架提升
1 倍训练速度
预训练
超 2 万亿token语料优化
预训练算法及策略
精调及强化学习
改进注意力机制开发思维链
新算法
知识增强 逻辑推理 内容创作
自研机器
学习框架
创新
大模型训练
四大
核心能力 多轮对话
共测试29个能力项
综合评级 级
当前最高分
共测试37个能力项
综合评级 级
当前最高分
模型开发
信通院测评
模型能力
C-Eval M M LU AGlEval总集 AGlEval中文 AGlEval英文
混元 G G PT-4
V
S
腾讯混元大模型 主流大模型
0 10 20 30 40 50 60 70
G PT-4
混元
代码子项
HumanEval分数
STEM子项
混元
GPT-4
0 10 20 30 40 50 60 70 80
Ceval-STEM
A G lEval-高考
0 10 20 30 40 50 60
G PT-4
混元
高考题子项 数学子项
混元
G
G PT-4
0 5 10 15 20 25 30 35 40 45
AGlEval-数学
核心优势1 —自研模型：混元大模型
核心优势1 —自研模型：行业大模型
降低不同行业数据彼此干扰
提升垂类任务性能 应用层 舆情助手 写作助手 营销助手 访谈助手 客服助手 ...
大模型层
平台层 自研行业大模型训练支撑：TI-ONE 训练平台
行业阅读理解
行业数值计算
行业知识问答
行业文案生成
行业信息抽取
行业情感分析
行业术语增强
行业合规安全
基础大模型
金融行业大模型 医疗行业大模型 文旅行业大模型
...
通用
大模型
PT&SF
T
行业
大模型
传媒
文旅
金融
医疗
……
大规模通用数据
无监督：数T文本
有监督：数亿条数据
大规模行业数据
无监督：百G文本
有监督：数百万条数据
核心优势1 —自研模型：行业大模型
在有行业数据精调的情况下：
行业大模型（10亿参数）可以比通用大模型（千亿参数）用小得多的训练资源，训练后得到差不多性能的应用
阅读理解 API调用
问答对生成 新闻摘要
核心优势2 —大规模训练：简单
最快仅需 5 步即可完成
大模型精调落地
1. 一键启动
平台内置精调物料 快速启动精调任务
2. 训练监控
实时监测资源利用率、训练指标
3. 任务管理 模型评估
管理任务版本 记录超参、指标快照
4. 模型发布
平台内置推理加速镜像 快速部署服务
5. 服务调用
可视化网页、API接口调用模型服务
核心优势2 —大规模训练：稳定
Node Node Node Node
TrainOperator
1. 机器故障迁移
2. 异常POD驱逐重新调度
3. 断点续训
Node Node
TaskManger
节点发生故障时：
• 主动发现
• 屏蔽节点
• 自动扩容
• 故障迁移
网络/系统等异常时：
• 任务管理自动重启训练任务
• 恢复历史checkpoint继续训练
云原生监控
自底向上 3 层机制保障大模型稳定训练
节点/磁盘等突发故障时：
• 训练operator感知pod运行状
态
• 将异常pod重新调度到其他节点
• 恢复训练任务
核心优势2 —大规模训练：高效
开发
效率
用户仅需聚焦训练任务本身，TI 平台自
动注入分布式训练网络通信配置、RDMA、
网络拓扑、训练节点相关参数
资源利
用率
问题
排查
效率
支持一键登陆训练容器
便捷查看日志、事件、监控
1.提高容器对资源的利用率
• GPU 任务使用拓扑感知调度，提升通信效率
• 支持虚拟 GPU 调度（卡）
2.减少资源碎片，提高调度成功率
• AI 批量任务使用 gang 调度策略
（要么都成功，要么都失败）
• GPU任务使用 binpack 调度策略
（优先填满一个节点，避免多卡任务启动失败）
3. 支持任务排队，合理分配调度资源
管理任务队列，支持高优任务抢占低优任务
1. 异步调度优化
CPU&GPU异步调用提高吞吐
2. 显存优化
缓存定长+池化，提升参数支持规
模
3. 计算优化
Attention及MLP Block块算子融合优化
Add
Layernorm
Tensor
Q Gemm
K Gemm
V Gemm
FusedAddNorm
FusedBatchGemm
核心优势3 —自研加速：Angel 三重优化
Bloom
7B
行业方案
太极Angel
example/s
example/s
加速比
ChatGL
M
行业方案
太极Angel
example/s
example/s
加速比
Llama 2 行业方案
太极Angel
example/s
example/s加速比
训练加速效果对比（系统吞吐，越大越好）
Bloom
7B
行业方案
太极Angel
ms/token
ms/token
加速比
ChatGL
M
行业方案
太极Angel
加速比
Llama 2 行业方案
太极Angel
加速比
推理加速效果对比（输出token速度，越小越好）
30 ms/token
ms/token
46 ms/token
26m s/token
核心优势4 —国产化适配：全生命周期
腾讯云TI平台 信创芯片算力可分配
底层软件
信创CPU芯片 信创AI加速卡(NPU芯片）
信创容器平台 信创数据库
信创操作系统
硬件服务器
训练任务可运行 模型服务可部署
信创芯片算力可调度
预置大模型物料可运行
提供大模型开发全生命周期信创支持
核心优势4 —国产化适配：产品支持情况
腾讯云TI平台
底层软件
已支持基于以下信创容器平台部署TI平台
腾讯TCS，灵雀云TKE，青云容器平台
已支持基于以下信创数据库部署TI平台
腾讯TDSQL
已支持基于以下信创操作系统部署TI平台
腾讯TencentOS，银河麒麟
已支持对以下信创芯片算力进行分配和调度
鲲鹏系CPU+昇腾系NPU，鲲鹏系CPU，飞腾系CPU，海光系CPU
支持以下模型在信创芯片算力上进行服务部署
开源大模型、自研行业大模型
支持以下模型在信创芯片算力上进行训练
开源大模型、自研行业大模型
支持在信创CPU芯片算力上使用LLM训练框
架
支持在信创CPU芯片算力上使用LLM推理框
架
核心优势4 —国产化适配：获得多项信创认证
案例分享
通过自然语言处理方式，按照新闻语言风格，智能化地概括文本内
容，可以用于智能标题的拟定。
• 智能标题：仁怀:坚守生态底线提升民生福祉渐渐次（可生成多
个标题）
• 关键词：生态、保护、发展（可指定3-5个关键词）
好水、好土产好粮。为了保护好赤水河的生态，仁怀近年来下大力气实现了
工业核心区废水收集处理全覆盖，城镇生活污水处理率达95%，赤水和水质
如今常年稳定在地表二类以上。
守牢生态底线，在高质量发展中保障和发展民生。党的18大以来，在石漠化
严重的山区，仁怀持续加大基础设施建设投入和退耕还林力度，帮助当地群
众打造农旅一体的生态观光业，以创建省级生态乡镇13个，市级生态村寨
127个。仁怀还下决心对城区最大的垃圾填埋场进行彻底改造和生态修复，
为群众打造出一个鸟语花香的生态公园。近五年，仁怀绿化造林30余万亩，
森林覆盖率达%，城镇新增就业36524人，乡村两级医疗卫生机构规
范化建设全覆盖，公通车总里程达3961公里……
智能提取文章主题信息，生成指定字数的摘要内容。可以用于导语、
简讯的输出。
• 示例1：军事新闻
• 俄罗斯国防部10号称，俄军打击了顿涅茨克地区、哈尔科夫地
区的乌军指挥所以及存有美国提供的大量弹药的仓库等军事目
标。
• 示例2：民生新闻
• 刚刚过去的国庆假期，各地丰富消费场景，扩大市场供给，持
续升级的假日消费彰显中国市场巨大潜力的同时，也让百姓的
生活品质不断提升。
输入完整的长篇新闻文稿内容，基于大模型对原文的理解，重新组织用词造句，生成对主题内容的概括性描述。支持输出智
能标题或智能摘要不同粒度的摘要结果。
新闻智能标题与关键字 新闻智能摘要
落地案例：某传媒客户
产品示例
1.接口信息配置
酒店的查询，预订，
修改和取消
2.输出样式配置
图文模版、气泡列表
3.对话体验
客户诉求
无需配置对话流程，大模型端到端解决业务问题
方案价值
任务完成率提升
·在无多轮画布增加的前提下，突破效果
天花板
对话构建成本降低
·自动判断意图和识别槽位，生成相应的
API并自动调用，基于API的返回，自动
·聚焦场景是酒店业务，包括酒店的查询， 生成拟人化的回复话术。 预
订、修改、查询，后期逐步覆盖机票、
旅游等全栈场景。
运营人力有限, 人工配置成本高
人工有限,期望知识库运营上手简单, 低成本投入
涉及订单等接口场景, 对机器人任务要求高
复杂业务场景, 无配置情况下无法通过机器人闭环解决问题
极低配置
精准解答
落地案例：某文旅客户
THANKS！
感谢聆听
