国产 GPU 选型与实践分
享
主讲人：TCE智算首席架构
师 罗翀
DSA架构，国产AI训练芯片，
生 态较完善。
华为昇腾
昇腾系列
(Ascend)
昆仑芯科技
DSA架构，业务落地较多，领域先行者。
P系
列
海光信息
FP64领先，GPGPU架构，在科学计
算 领域优势显著。
DCU系
列
全功能GPU，兼顾图形渲染与计算。
摩尔线程
MTT系列
GPGPU架构，国产供应链。
沐曦科技
曦云系列
DSA架构，专注云端算力，高能效比
AI
训练与推理。
燧原科技
云燧系列
芯片架构路线
GPGPU 通用架
构
沿用图形渲染架构进行通用计算扩展，指令集兼容性好，适合混合负载。
高通用性
代表厂商：
海光信息 | 沐曦
优势：代码迁移成本较低，生态兼容好
DSA 专用架构
针对深度学习张量计算优化的专用架构，牺牲通用性换取极致AI性能。
高能效比
代表厂商：
华为昇腾 | 寒武纪
注意：需适配特定软件栈，开发门槛较高
显存类型和容量
主流旗舰配置区间
64GB-
144GB
HBM 高带
宽
海光
DCU
144G
B
精度类型和算力
训练
FP16、BF16、
FP8
Compute-
Bound
推理
INT8、
INT4
Memory-
Bound
Scale Up和Scale
Out
高带宽高扩展性
华为 海光
INFRAST RUCT
URE
数据中心级保障
针对大规模集群场景，硬件规格需匹配高密度机柜部署要求，
同时兼顾散热效率与运维便捷性。
集群规模支持
千卡级
平均故障间隔
> 10万小
时
软件运行生态
操作系统
支持主流操作系统和K8S，以及针对操作系统和K8S支持的功能特性。
高通用性
代表厂商：
沐曦 | 天数智芯
训推组件
支持主流训推组件，以及跟随主流训推组件迭代的周期和效率。
高时效性
代表厂商：
海光DCU
软件开发生态
CUDA 兼容
派
通过兼容层或指令集转译，直接支持CUDA生态代码，旨在实现低成本迁
移
低迁移成本
Cost ≈ 0主要玩家：
海光 (HIP)
沐曦
(MXMACA)
自主生态派
构建全栈自主软件体系，不依赖CUDA，从底层算子库到上层框架完全自研。
强自主可控
Security核心代表：
华为 CANN
国产合规性较强
代表产品
摩尔线程
MTT
架构
MUSA
DX12 完整支
持
图形渲染 Graphic
Rendering
MTT
S80
性能对标：RTX 4060 级别
API支持：DirectX 12, Vulkan, OpenGL, OpenGL
ES
应用场景：云桌面、数字孪生、3D建模、游戏娱
乐
代表产品
海光深算
DCU
生态
ROCm
FP64 双精度领
先
科学计算 Scientific
Computing
DCU
Z100
算力优势：FP64 双精度浮点性能国产领先
生态兼容：类CUDA生态，代码迁移成本较低
应用场景：HPC、气象预测、物理仿真、生信分
析
图�：LLM 训练过程中的数据流与计算逻辑
全流程闭环计算
训练过程包含前向传播、反向传播和参数更新三个完整阶段。不仅需要计算
输出，还需计算梯度并更新权重。
计算量级 (FLOPs)
前向 ~2N 反向 ~4N
反向传播计算量约为前向的2倍，总计算量巨�，是推理阶段的数倍。
计算密集型 (Compute-Bound)
�度依赖�规模矩阵乘法运算，对GPU的TFLOPS（每秒浮点运算次数）指
标要求极�，算�通常是主要瓶颈。
Prefill 阶段 (预填充)
计算密集型 (Compute-Bound)
矩阵乘法运算量大，充分利用 GPU 算力，算力利用率高。
任务描述
处理输入 Prompt，进行并行计算，一次性生成所有输入 Token
的 KV Cache。
算术强度 High
Decode 阶段 (解码)
访存密集型 (Memory-Bound)
计算量小但数据搬运量大，受限于显存带宽，算力利用率低。
任务描述
逐个生成 Token (自回归)，每步都需要加载全部 KV Cache 进
行 计算。
算术强度 Low
关键性能瓶颈
在实际应用中，Decode 阶段占据了大部分时间。因此，推理性能的瓶颈主要在于 显存带宽 (Memory Bandwidth) 而非纯算力
(FLOPS)。
Optimization
Focus
维度 模型训练 (Training) 模型推理 (Inference)
核�关注点
吞吐量优先
最�化单位时间处理的数据量
延迟优先
最�化��等待时间，提升交互体验
关键指标 (KPI)
Tokens/sec/GPU (吞吐量)
总训练时� (Days/Weeks)
模型收敛度 (Loss)
TTFT ( � Token 时 间 )
TPOT (每Token�成时间)
端到端延迟 (Latency)
硬件瓶颈
Compute Bound
算�限制：TFLOPS 是关键
Memory Bound
显存带宽限制：GB/s 是关键
推理延迟分解 (LATENCY BREAKDOWN)
Request 1st Token EndTTFT TPOT
训练瓶颈
算�
TFLOPS
推理瓶颈
带宽
Memory GB/s
HCCPD1
(海光BW1000_H)
2026年Q1
GPGPU
DSA
HCCPD1h
(全国产海光)
2026年Q1
HCCPK1
(昆仑芯P800)
2026年Q1
HCCPTX3
(紫霄V3)
2026年Q3
HCCPD2
(海光BW1101)
2026年Q2
实例名称
HCCPD1
26年Q1
HCCPK1
26年Q1
HCCPD1h
26年Q1
HCCPD2
26年Q2
HCCPTX3
26年Q3
GPU HYGON BW1000_H*8 昆仑芯P800*8 HYGON BW1000_H*8 HYGON BW1101*8 紫霄v3*64
FP32/TF32 60 20 60 60 *
FP16/BF16 130* TFlops 85* TFlops 130* TFlops 130* TFlops 150* TFlops
FP8 不支持 不支持 不支持 260* flops 300* Tflops
GPU显存 64GB 96GB 64GB 144GB 144GB
HBM2e HBM3 HBM2e HBM3e HBM3e
卡间互联 448GB/s 400GB/s 448GB/s 448GB/s 800GB/s
CPU AMD Genoa*2 AMD Genoa*2 海光四号*2 AMD Genoa*2 Intel GNR *8
384vCPU 384vCPU 384vCPU 384vCPU 1920vCPU
内存
2304GiB 1536GiB 2304GiB 2304GiB 12288GiB
DDR5 DDR5 DDR5 DDR5 DDR5
RDMA 网络 200G*8 Port () 200G*16 Port () 200G*8 Port () 200G*8 Port () 200G*128 Port
• 传统模型：参数量级普遍＜7B，发展相对成熟，主要关注计算性价比。原方案N49D，新方案推荐N59D/N59Dv2，紫霄 v2；
• 搜广推：自研模型为主，除关注GPU外，同时关注CPU核心数、内存容量等。原方案L20，新方案推荐BW151/天垓150；
• 中小模型推理：关注显存容量/算力等。原方案N49D（＜7B），L20（7B~70B），新方案N59Dv2（＜7B），N88a/紫霄V2及BW151/天垓150（7B~70B）。
• 大模型推理：原方案H20，新方案BW1000B/紫霄V3（＞70B）。
• 生图/视频：关注算力/显存带宽。原方案N49D，新方案N59Dv2。
大模型
(>70B)
中等模型
搜广推
编解码
小模型＜7B
生图/视频
CV/NLP
云渲染
H20
N49D
L20
推
理
&
云
渲
染
&
编
解
码
BW1101 144GB
N88a 48GB
26/Q326/Q2
26/Q226/Q1
已上线已上线
已上线已上线N59D 32GB
26/Q226/Q2
144GB紫霄v3
48GB
24GBN59Dv2
48GB紫霄v2 已上线 已上线
POC时间 批量时间
64GB 26/Q2 26/Q2
紫霄v2
BW151
天垓150 64GB 26/Q2 26/Q2
已上线 已上线
264
9
351
4
4662
135
9
205
4
2850
296
9
508
5
640
5
1621
276
5
433
8
0
10
00
20
00
30
00
40
00
50
00
60
00
70
00
1005/635,
bs=32
1005/635,
bs=64
1005/635,
bs=128
200/1024,
bs=32
200/1024,
bs=64
200/1024,
bs=128
DeepSeek-R1-
0528
BW1000_H
H
20
254
0
3219
442
5
132
5
199
6
2827
250
1
379
1
522
2
146
1
241
8
379
1
0
10
00
20
00
30
00
40
00
50
00
60
00
1005/635,
bs=32
1005/635,
bs=64
1005/635,
bs=128
200/1024,
bs=32
200/1024,
bs=64
200/1024,
bs=128
-
Exp
BW1000_H
H
20
测评条件：各卡型均选取性能调优最佳的参数配置方案做性能对比；
测评结果：海光BW1000_H的平均性能是H20的%
昆仑芯P800在PD分离场景表现好一
些
场景：TTFT控制在3S内的最大吞吐比
值
Qwen3-8B、Qwen3-32B、-72B、
Qwen3-30A3B
、Qwen3-32B、-72B、-VL-7B PointPillars、FlashOCC
基础测试
GEMM算力、显存带宽、集合通信带宽
LLM训练
LLM推理
、-7B、Qwen3-30A3B
自驾训练
BEVFormer、MapTRv2、Sparse4D、
开源DiT推理
-12B、-14B-I2V
DeepSeek推理
非PD定长/变长、1P1D定长/变长、
多P多D定长/变长
混元DiT推理
HunyuanDiT、HunyuanVideo
传统推理
、Bert-Large
测试场景除了来自云业务场景，也涵盖自研业务相关需求：
包含元宝平均输入
搜广推应用部评测各个国产卡性能数据。
国产GPU性能评测，覆盖主流的模型和业务场景，做到各厂商评测横向拉通
GPU生态和厂商技术支持评估
海光BW1000 昆仑芯P800 沐曦C550 昇腾910C
CUDA API兼容性
CUDA API兼容
业务代码不需要修改
自定义CUDA算子需要重新编译
不兼容CUDA
定制版本torch，业务代码不需要额
外修改
自定义算子需要迁移支持
CUDA API兼容
业务代码不需要修改
自定义CUDA算子需要重新编译
不兼容CUDA
提供定制版本torch插件库，业务代
码需要简单修改
自定义算子需要迁移支持
虚拟化支持
（算力切分）
不支持软件模式分时复用 不支持软件模式分时复用 支持软件模式分时复用 不支持软件模式分时复用
• TCE智算解决方案与公有云同源同构，不仅包含GPU异构计算、高性能网络、高性能存储以及云原生编排调度和训推加速套件，同时也支持集成TI训推平台、
ADP智能体平台等面向传统AI和大模型的AI平台能力和MaaS服务等。
服务业务，拥抱AI
利用完整的软硬件智算生态，可快速建立企业的AI解决方案
卓越性能
自研高性能网络超高带宽接入，多轨道聚合自适应通信优化
分布式训练/推理加速
多元算力
提供训练、推理等场景的多元算力，并支持GPU切分调
度
开放兼容，满足监管
一云多芯，适配兼容多种GPU异构芯
片
智
算
基
础
设
施
运
维
运
营
大模型广场
数据接入 训练工坊 模型服务
AI平台
训
推
平
台
加
速
框
架
软
件
服
务
训练加速TACO Train
GPU异构计算
HCC
CVM CBM
自研加速套件，一键加速AI性能
推理加速TACO Infer
完整软件服务，覆盖智算全周期
高性能网络 高性能存储
IHN TurboFS
云原生编排调度
TKE qGPU
安
全
合
规
物
理
硬
件
CPU
一云多芯，满足监管要求
GPU DPU
01 阶段跨越
从"替代可用"
迈向"自主好用"
不再仅是应急备胎，而是在性能、稳定性和易用性
上全面对标国际一流水平，实现质的飞跃。
02 集群规模
万卡集群技术成熟
支撑万亿参数模型
突破大规模互联瓶颈，具备训练超大参数量模型的
能力，算力底座更加坚实。
03 生态关键
软件生态是选型
"最后一公里"
硬件性能只是基础，CUDA兼容性、算子库丰富度
及
框架适配能力决定了最终落地效果。
FUTURE OUTLOOK
2026年国产GPU将
在
和 上持续突破
7nm
+
制程工艺
技术演进目标
1TB/s+
显存带宽
谢谢观看
THANKS
