基于 腾原生开发的浩瀚晨
星大模型在行业领域的应用
聚能晨星之光 && 赋智千行百业
3 浩瀚异腾原生基础大模型优势
4 成功案例
1
2
u 在经历2023年的“百模大战”百花齐放之后，大模型在质量数据管理、算力资源支撑、训练效率提升、算法模型迭代、服务生成呈现等持续进阶升维，加速大 模
型从“能有”到“好用”。与此同时，推动生成式AI超越“CHAT”类语言互动，加速从文字到图像，从音频到视频， AI赋能应用领域打开全域应用空间。
u 生成式AI爆发，对算网资源提出更高需求，加速数据管理、调度编排、训练效率、智算中心等的技术发展，信息通信技术在支撑AI普及的同时，自身亦在AI进
程中重塑， AI 将加速在包括运营商和设备商在内的信息通信产业全链条渗透，深入运营管理、技术研发、产品设计，重构业务模式、服务形态、供给能力，生
成式AI以其对算力资源、数据资源、知识积累、算法构建的巨大技术与成本需求，将使得通信企业重回AI主场。
新摩尔定律-大模型参数每年10倍数增长
Instruction GPT-4 晨星-13B Ratio
Single-
turn
English
Chinese
91%
86%
Multi-tuen English
Chinese
92%
88%
Average 89%
大模型作为构建在海量数据训练之上的深度神经网络模型， 以其巨大的数据基础、深度的训练生成， 实现类人类的智能涌现，加速AI步入通
用智能时代。浩瀚深度作为传统通信企业，长期关注人工智能发展趋势， 并与2024年6月推出了自己的晨星基础大模型及其系列解决方案。
晨星13B模型在中英文通用基础能力评测上取得GPT4 89%的性能
生成式 A I 在 信 息 通 信 产 业 全 领 域 渗
透
1
解决方案
基于昇腾AI基础软硬件平台对基础大模型
的并发推理能力进行了持续的超参调优，
调优后单卡的性能提升了20%左右。
版本规划
在大模型原生适配昇腾的基础上持续对模
型参数进行调优， 不断提升训练和推理性
能， 并关注社区训练、推理框架的升级
训练微调框架
Pytorch DeepSpeed Transformer
MindSpore Transformer ModelLink
行业大模型
基础大模型
CANN
原生适配 昇腾 的 晨 星 大 模 型 解 决 方
案
1
昇腾推理服务器昇腾训练服务器
自然语言大模型 多模态大模型编程大模型
MAAS
AI算力调度平台
模型编排
超参调优
模型服务
数据标注
算力调度
模型管理
AI+低代码平台智能外呼 智能内训数字人
金融大模型
… …
… …
法律顾问
通信大模型法律大模型教育大模型
vllm
ollama Xinference
MindIE
硬件
基础设施
晨星
大模型
智能
应用
推理框架
编程接口
浩瀚异腾原生基础大模型优势
原生适配昇腾软硬件技术栈， 在预训练微调层面和推理层面分别进行了优化，
充分利用了MindSpore Transformers提供的自动拓扑感知能力以及ATB高性能
加速库， 单卡模型吞吐量达到120tokens/秒。
统一的AI算力调度平台支持十几种智能算力调度算法， 实现算力资源的高效利用；
在MAAS平台上支持模型训练和推理任务的可视化编排以及模型的一键部署。
支持 用户可根据自己的应用场景和
硬件环境灵活的进行选择适配。
1
智能调度，高效节能
深度优化， 性能卓越
型号多样，灵活适配
晨星大模型解决方案 优
势
成功案例
客户需求
方案具备数据预处理、模型训练和评估、算力提供、模型部署、模型调用的能力
针对员工培训和知识库搭建， 需要一套能够处理金融领域专业知识的大模型系 统，
以支持员工在培训过程中的问题解答和知识获取
要求系统能够支持定制化的培训内容， 以满足公司特定业务需求的培训要求
需要系统能够处理大规模的客户对话数据， 以支持外呼坐席人员在与客户交流时的
自然语言处理和理解
数据批次 对话数 对话总句数 平均每对话句子数
第一批 110 2114
第二批 301 5626
第三批 1025 18783
清洗增广 2948 39478
建设方案
根据前后三批数据做针对性的清洗、增广、转换， 基于基础大模型进行
训练， 输出内训大模型和外呼大模型两种场景大模型。
金融外呼客服 金融培训 浩瀚晨星大模型
晨星大模型在银联客服场 景的落 地实
践
1
建设成效
感谢聆听！
Thank
you!
