大模型与边缘智算融合发展
白皮书
（2025 年）
发布单位：中移智库
中国通信学会边缘计算专业委员会
编制单位：中国移动通信研究院
前 言
本白皮书旨在针对大模型与边缘智算融合所面临的机遇与挑战，提出边缘智
算的融合架构设计、大模型与边缘智算融合的关键技术、应用场景和对未来的展
望。希望能够为各行业在规划设计边缘智算相关技术、产品和解决方案时提供参
考和指引。
本白皮书的版权归中国移动所有，未经授权，任何单位或个人不得复制或拷
贝本建议之部分或全部内容。
本白皮书起草单位：中国移动通信研究院、中国通信学会边缘计算专业委员
会、中兴通讯股份有限公司、浪潮通信信息系统有限公司、紫金山实验室、航天
云网科技发展有限责任公司、中国科学院计算技术研究所、新华三技术有限公司、
中移（杭州）信息技术有限公司
本白皮书主要起草人：师晓卉、张婷婷、范亚梅、朱堃、崔超、贾庆民、
邢镔、张宗帅、陈昊、智绪龙
目 录
1. 背景和需求 ..................................................................................................................................... 1
相关政策背景 .....................................................................1
国家人工智能发展相关政策背景 ............................................ 1
数字化经济，工业生产等领域的政策推进 .................................... 2
国家算力基础设施发展相关政策背景 ........................................ 2
大模型云边训推应用面临诸多挑战 ................................................... 3
2. 大模型与边缘智算融合的机遇与挑战 ......................................................................................... 5
大模型与边缘智算融合已成趋势 ..................................................... 5
大模型与边缘智算融合的优势 ....................................................... 6
大模型与边缘智算融合的挑战 ....................................................... 7
训练数据协同挑战 ........................................................ 7
异构环境算法自适应挑战 .................................................. 8
模型敏捷交付挑战 ........................................................ 9
大模型和边缘小模型协同挑战 ............................................. 10
3. 大模型与边缘智算融合架构 ........................................................................................................11
4. 大模型与边缘智算融合关键技术 ............................................................................................... 14
软硬件一体协同 .................................................................. 14
边缘基础设施管理 ................................................................ 15
存算资源管理 ........................................................... 15
跨域资源管理 ........................................................... 15
跨异构适配 ...................................................................... 16
算力原生 ............................................................... 16
开发框架 ............................................................... 16
边缘模型构建 .................................................................... 17
模型架构设计 ........................................................... 17
模型训练 ............................................................... 17
上下文管理 ............................................................. 18
评测与验证 ............................................................. 18
模型云边协同 .................................................................... 19
算力协同 ............................................................... 19
模型协同 ............................................................... 19
数据处理 ............................................................... 20
数据协同 ............................................................... 20
模型压缩与优化 .................................................................. 21
模型压缩 ............................................................... 21
模型优化 ............................................................... 22
联邦大模型训练 .................................................................. 22
联邦大模型架构 ......................................................... 22
参数聚合优化 ........................................................... 23
梯度压缩 ............................................................... 23
敏捷交付 ........................................................................ 24
5. 大模型与边缘智算融合的应用场景 ........................................................................................... 24
智能制造 ........................................................................ 24
智慧电网 ........................................................................ 25
工业领域 ........................................................................ 26
医疗健康 ........................................................................ 27
6. 大模型与边缘智算融合的未来发展趋势 ................................................................................... 28
7. 展望与倡议 ................................................................................................................................... 29
参 考 文 献 ................................................................... 30
1
1. 背景和需求
相关政策背景
国家人工智能发展相关政策背景
我国高度重视人工智能技术的创新发展，并将人工智能上升为国家战略，视其为推动科技
创新、产业升级、经济转型和社会进步的关键驱动力。近年来国家密集出台政策举措，抢抓全
球新一轮科技革命和产业变革机遇，加快发展人工智能以增强国家竞争力。
在 2015 年 5 月发布的《中国制造 2025》中，国家首次明确提出将智能制造作为信息化和
工业化深度融合的主攻方向，强调加快推动新一代信息技术与制造技术融合发展。2015 年 7
月发布的《国务院关于积极推进“互联网+”行动的指导意见》则将人工智能列为“互联网+”
行动的重点领域之一，提出依托互联网平台提供人工智能创新服务，加快人工智能核心技术突
破，推动人工智能在智能家居、智能终端、智能汽车等领域的应用。
2017 年，国务院印发《新一代人工智能发展规划》，描绘了我国人工智能发展的宏伟蓝
图，确立“三步走”目标，计划到 2030 年使人工智能理论、技术与应用总体达到世界领先水
平，建成世界主要人工智能创新中心。此后，国家层面不断加码人工智能战略部署。特别是自
2023 年以来，我国陆续出台了一系列人工智能产业政策，如《关于加快发展人工智能产业的
若干意见》、《关于促进新一代人工智能产业发展的指导意见》等，着力加速人工智能技术研
发应用，引导产业规范化、规模化发展。与此同时，北京、上海、广东、江苏、浙江等多地积
极响应号召，发布了超过 60 项省级人工智能政策以结合区域特色落实国家战略，打造区域人
工智能创新高地。
进入 2024~2025 年，国家进一步强调人工智能与实体经济融合发展。2024 年 3 月，国务
院总理李强在政府工作报告中提出要深化大数据、人工智能等研发应用，开展“人工智能+”
行动，打造具有国际竞争力的数字产业集群。2025 年 3 月的政府工作报告则首次将“支持大
模型广泛应用”写入其中，明确要求持续推进“人工智能+”行动，将数字技术与制造业优势
更好结合，发挥科技领军企业作用，加快基于国产算力的大模型研发创新和场景应用。一系列
政策的密集出台，充分体现了国家对人工智能及大模型技术的高度重视，政策环境的不断完善
正推动我国从人工智能大国迈向人工智能强国。
2
数字化经济，工业生产等领域的政策推进
在数字经济和工业领域，我国同样出台了系统性的政策，旨在推动数字化转型、提升产业
竞争力、促进经济高质量发展。数字经济方面，2020 年国务院国资委发布《关于加快推进国
有企业数字化转型工作的通知》，对中央企业数字化转型作出首次部署。同年“数字中国”战
略持续推进，国家于 2023 年设立国家数据局，统筹数据要素建设和数字中国、数字经济相关
工作，标志着数据作为关键要素得到制度化保障。2021 年 1 月，国务院印发《“十四五”数
字经济发展规划》，明确数字经济已成为继农业经济、工业经济之后的主要经济形态，并提出
到 2035 年我国数字化发展水平进入世界前列的目标。进入 2024 年，政府工作报告进一步要求
深入推进数字经济创新发展，制定支持数字经济高质量发展的政策，促进数字技术与实体经济
深度融合。
在工业和制造业数字化方面，政策同样密集出台。2020 年，工业和信息化部发布《关于
推动工业互联网加快发展的通知》，从新型基础设施、融合应用、安全体系等方面部署工业互
联网建设，推动制造业数字化、网络化、智能化升级。各地政府同步鼓励企业应用云计算、物
联网、人工智能等先进技术，提高生产效率和产品质量。进入新一代人工智能和大模型时代，
政策更加注重行业大模型的培育。2024 年 1 月工信部等发布《原材料工业数字化转型工作方
案（2024-2026 年）》，提出构建适用于生成式人工智能的行业数据集，基于通用大模型底座
开展定制训练，构建细分行业大模型。2024 年 12 月，工信部等又发布《中小企业数字化赋能
专项行动方案（2025-2027 年）》，提出为中小企业打造一批垂直行业大模型，强化对中小企
业的大模型技术供给。同月召开的全国工业和信息化工作会议提出实施“人工智能+制造”行
动，强调加强通用大模型和行业大模型研发布局及重点场景应用。
总体来看，我国数字经济和工业领域政策从宏观战略、技术创新、产业生态到具体应用均
有覆盖，通过政策引导与市场机制相结合，加速产业数字化和智能化进程，构建现代产业体系，
助力经济高质量发展。随着技术演进和产业需求变化，相关政策仍在持续完善，以适应新的发
展趋势和挑战。
国家算力基础设施发展相关政策背景
随着数字经济深入发展，再加上以 ChatGPT 为代表的生成式人工智能（AIGC）浪潮兴起，
算力作为数字时代的新型生产力作用日益凸显。国家高度重视算力基础设施建设，近年出台多
3
项政策推动云-边-端协同的算力网络体系加快形成。2021 年 5 月，国家发改委等四部委发布
《全国一体化大数据中心协同创新体系算力枢纽实施方案》，在全国布局一体化算力网络的国
家枢纽节点，启动“东数西算”工程，以统筹东西部算力供需，优化数据中心布局，实现跨区
域算力资源协同调度。这一工程旨在通过国家算力枢纽间的网络打通和协同联动，推动算力、
网络、数据、能源的统筹发展，打造以算力和网络为核心的新型数字基础设施体系。
进入 2023 年，算力网络建设进一步提速。同年 10 月，工业和信息化部等六部门联合印发
《算力基础设施高质量发展行动计划（2023-2025 年）》，强调在协同发展通用算力和智能算
力的同时“加快边缘算力建设，推动云边端算力泛在分布”。这意味着国家层面明确要求加强
边缘计算能力部署，实现云端中心和边缘节点的算力协同，以满足各类业务的低时延计算需求。
2023 年 12 月，国家发改委、国家数据局、中央网信办、工信部、国家能源局等又联合印发《关
于深入实施“东数西算”工程，加快构建全国一体化算力网的实施意见》，文件进一步指出算
力网是支撑数字经济高质量发展的关键基础设施，通过网络连接多源异构、海量泛在的算力资
源，实现高效调度和按需供给。该意见将算力提升到与能源同等重要的位置，并提出到 2025
年形成普惠易用、绿色安全的算力基础设施体系框架。随后，2024 年 4 月国家发改委办公厅
和国家数据局等发布《数字经济 2024 年工作要点》，再次强调要适度超前布局数字基础设施，
深入推进信息通信网络和全国一体化算力网络建设，全面发展数据和算力基础设施。
通过上述政策的持续推进，我国初步形成了覆盖云端、大型数据中心到边缘节点的云边端
一体化算力基础设施布局。以算力网络为中心，高效的算力供给、调度和服务体系正在建立，
云、边各层级协同的计算架构逐步成型。在数字经济和人工智能浪潮的驱动下，以大模型为代
表的新一代 AI 技术正与算力网络深度融合，不同层级的计算资源被转化为无处不在的智能，
为各行业的数字化与智能化提供了有力支撑。
大模型云边训推应用面临诸多挑战
当前大模型的训练和推理主要依托云端强大的集中算力完成。然而，在各行业的实际应用
中，云上进行大模型训练和推理也面临诸多挑战，主要体现在模型专业化、时延和数据安全等
方面。
首先，不同行业应用对于模型的专业化有较高要求。云端提供的大多是通用大模型，对垂
直领域的专精支撑不足。通过 LoRA 微调、检索增强生成 (RAG)等技术可以在一定程度上定制
4
行业模型，但企业仍需针对不同工业或业务场景维护多套模型版本，并随着业务演进不断更新
优化。这导致云端大模型在行业落地时面临模型版本众多、迭代频繁、管理复杂度高的问题。
其次，云端部署大模型在服务时延方面存在劣势。一方面，终端或边缘每次请求都需将提
示词、业务数据等上传至云端，大量文本、图像、视频等多模态数据的传输会造成显著的网络
延迟。另一方面，云上大模型通常同时服务多个应用，存在高并发请求，不同请求的长度和复
杂度差异较大，模型推理往往需要排队处理且批量推理效率有限，造成计算时延偏高。在实时
性要求高的场景下，云端推理的往返延迟可能难以满足业务需求。
再次，数据安全与隐私成为云端大模型应用的一大隐忧。在模型训练或微调阶段，企业往
往需要将本地业务数据上传到云侧进行训练。目前缺乏有效的数据加密训练技术，这意味着训
练样本多以明文形式传输和存储在云端，存在数据泄露风险。在推理阶段，提交到云端的大量
提示信息（可能包含敏感文本、图像、视频）也可能造成用户隐私或商业机密的泄漏。尤其对
工业制造等敏感行业而言，上云过程涉及将专有知识库、生产数据等发送至第三方云服务，带
来知识产权和安全合规方面的担忧。目前对于大模型训练样本数据是否会被不当留存、行业专
有数据是否外泄等问题仍缺乏明确保障。此外，大模型服务依赖远程云计算资源，集中化数据
中心的运维成本和能耗高昂，使云侧服务的成本投入相对较大。
综上，云上大模型虽然提供了强大的算力支持，但在行业落地时面临模型定制难、网络延
迟高、数据安全隐患以及成本压力等挑战。这些问题推动业界探索大模型向边缘下沉，并与泛
在的边缘智算能力结合，形成“云边协同”的新模式，从而充分发挥边缘端低时延、低成本和
数据本地化的优势。而边缘场景下大模型应用的挑战集中体现在资源受限、模型轻量化、多模
态处理、推理实时性、隐私安全以及异构适配等方面。面对以上问题，业界正通过软硬件协同
优化和新型架构创新来逐步破解：一方面，加速研发边缘轻量化大模型，在降低推理时延和功
耗的同时保障精度与数据安全；另一方面，完善云边协同机制，如云端强算力训练教师模型、
边缘侧蒸馏学生模型，或通过分层推理缓解单端压力；同时，推动统一的边缘 AI 框架与标准
建设，提升跨平台部署兼容性与生态成熟度。可以预见，随着这些技术难题的逐步攻克，大模
型与边缘计算的融合应用将在全行业范围内取得突破，为各领域的智能化升级提供强有力的支
撑。
5
2. 大模型与边缘智算融合的机遇与挑战
大模型与边缘智算融合已成趋势
当前，全球主流大模型技术取得飞跃式发展。OpenAI 的 GPT-4、谷歌 DeepMind 的 Gemini
、Anthropic 的 Claude ，以及阿里云的通义千问和零一万物的 等先后问世，不
断刷新通用人工智能性能纪录。这些大模型普遍具备更强的多模态理解和推理能力，并在上下
文扩展等方面展现出新特性，例如谷歌 Gemini 引入 Mixture-of-Experts 架构和百万级
token 上下文窗口，实现较 Gemini 显著性能提升。大型预训练模型在 2024~2025 年间持
续迭代，其参数规模从数十亿到数千亿级别不等，涵盖文本、图像、音频、代码等多种模态。
这些进展表明，无论是在多模态统一建模、超长文本处理，还是在模型压缩加速方面，业界都
在快速演进，为大模型向更多实际场景落地，尤其在边缘侧部署，创造了有利条件。
与此同时，边缘智算的发展与这些大模型技术进步形成互相促进的趋势。各大科技企业纷
纷探索在终端设备和边缘节点上运行大模型推理的方案，以满足低时延、本地化和隐私安全的
需求。典型实践之一是谷歌推出的 Gemini Nano，作为小型化的大语言模型，可直接在手机等
终端设备上离线运行，从而摆脱对云端的依赖，实现毫秒级响应并增强用户隐私。苹果公司也
在其最新产品中深度融合端侧AI模型，在2025年 WWDC上发布了全新的本地Foundation Model
框架，包含约 30 亿参数的精简语言模型，可在 iPhone 等 Apple Silicon 设备上高效推理，支
持多达 15 种语言，并具备图像与文本融合理解的多模态能力。在国内，百度依托飞桨框架推
出了EasyEdge等端边AI服务平台，提供一键将深度学习模型转换部署到多种芯片设备的能力，
打造“云管理、边端部署”的一体化方案。华为则基于自研的昇腾 AI 处理器构建了 Atlas 边
缘计算系列，覆盖模块、板卡、边缘小站、服务器等全形态产品，实现从云到边到端的全栈
AI 部署方案，加速各行业 AI 推理在本地端的落地。这些产品和平台的涌现，印证了云边协同
正成为 AI 应用部署的主流模式：云端提供大模型训练和复杂推理的算力支撑，边缘端承担低
时延、近场推理与数据本地化处理。业内普遍认为，云计算与边缘计算相依共生、协同运作，
云边协同将成为未来人工智能系统的主流形态。大模型从云向边缘延展部署，既是技术演进的
必然选择，也是产业落地的共同趋势。在这一趋势下，如何有效融合云端的大模型能力与边缘
端的实时智能，将成为未来人工智能应用的重要价值体现。
6
大模型与边缘智算融合的优势
大模型的边缘部署可以显著提升系统的实时响应能力。由于推理计算在离数据源最近的设
备或节点上进行，避免了数据往返云端所引入的网络延迟，理论上可实现毫秒级甚至近乎即时
的响应。例如，基于边缘节点的就近推理服务已能为用户提供低于 100ms 的超低延时推理体验。
这对需要实时决策的应用场景（如自动驾驶、工业机器人、实时制造质检等）至关重要，能够
保障系统以最快速度对外部事件做出反应，提升业务的即时交互性能。大模型在边缘侧的推理
执行大幅降低了端到端延迟，满足了高实时性的需求，是云端集中式部署难以实现的核心优势
之一。
大模型与边缘计算的结合在成本效益方面也展现出显著优势。一方面，就地处理数据减少
了对中心云服务的过度依赖，降低了将海量数据传输到云端所需的带宽和流量开销，从而节省
运营成本。边缘侧就近计算还意味着云端算力需求的降低，能够有效缓解集中式数据中心因大
模型推理带来的指数级算力成本上升压力。另一方面，边缘部署通常能够更高效地利用本地硬
件资源和定制加速器，实现单位能耗下更高的推理吞吐量和性能。实践表明，边缘 AI 系统由
于避免长距离的数据传输，在功耗方面更具优势，可适应能源受限的现场环境。大模型推理下
沉到边缘不仅提升了性价比，还通过更佳的资源利用和能效，实现了相比纯云端方案更低的总
体拥有成本。
在安全与隐私方面，大模型推理任务在边缘侧执行时，敏感数据无需上传云端即可完成分
析和决策，这大大降低了数据在传输过程中被截获或泄露的风险。例如，在医疗、金融等对隐
私要求极高的领域，患者影像或用户个人数据可以在本地设备上直接处理，避免了将敏感信息
发送到远程服务器，从而增强了数据隐私保护。同时，数据留存在本地也使得系统更容易满足
数据主权和合规方面的监管要求——由于数据的产生、存储和处理都局限在特定物理区域，符
合诸如 GDPR 等法规的要求变得更加简便。这种本地化、安全可控的数据处理模式不仅提高了
系统整体防护能力，也提升了用户和监管机构对大模型应用的信任度。
大模型与边缘智算的融合还为 AI 系统带来了持续自我优化的能力。依托边缘侧丰富的实
时数据和反馈回路，模型可以不断适应环境变化并进化升级。例如，在边缘设备本地获取到结
构化或非结构化数据后，即时完成模型推理，再将预测结果与实际观测情况进行比对，由此产
生误差反馈用于更新模型参数，最终形成自适应学习的闭环，这是优化大模型性能的关键路径。
这种场景微调能力使模型能够针对本地特殊情况，如特定工厂的设备行为模式、某城市的交通
流模式、个体用户的使用习惯等进行定制优化，显著提高模型在特定场景下的准确性和实用性。
7
与此同时，云边协同的训练机制保证了持续优化的宏观进行：边缘侧不断产生的新数据可被汇
聚到云端进行周期性的集中训练和模型升级，优化后的新模型再下发到各边缘节点部署，实现
AI 模型在全局范围内的自主进化和迭代更新。通过这一循环，大模型系统能够在保持边缘实
时响应优势的同时，不断吸收最新的数据和知识，使其预测和决策能力逐步提升。这种持续优
化能力确保了大模型在边缘部署后并非一成不变，而是随着业务场景的发展动态提高，为企业
提供长久的智能价值增益。
大模型与边缘智算融合的挑战
训练数据协同挑战
在大模型训练中，云边协同架构的数据汇集，涉及到将数据和计算任务在云端（云端数据
中心）和边缘端（贴源端）之间分配和协调。这种协同旨在结合云计算的强大计算能力和边缘
计算的低延迟、数据隐私保护等优势。云边训练数据的协同主要是指在云计算资源和边缘计算
资源之间进行数据的共享和处理，以优化训练过程和提高效率。尽管云边协同具有强大的潜力，
但在实际应用中，云端和边缘端的数据协同仍面临一些具体技术挑战。
（1）数据分布与隐私：在边缘场景下，训练数据往往分散于众多设备本地，呈现出非独
立同分布(non-IID)的显著异构特性。这种数据碎片化和异构性使传统集中式训练难以为继：
将海量边缘数据回传云端会带来巨大的网络负载和能耗开销，并引发严重的隐私与安全风险。
即使采用联邦学习等分布式训练范式，设备间的数据统计差异仍会导致全局模型收敛变慢、精
度下降，且在模型聚合效率和泛化性能上面临挑战。因此，如何在不侵犯用户数据隐私的前提
下，实现多边缘节点的高效协同训练，是大模型边缘落地首先要解决的问题。
（2）协同训练开销：让众多边缘设备共同训练一个大模型还面临通信与协调开销高的问
题。边缘设备数量庞大且网络环境复杂，不可靠的连接和有限的带宽会显著放慢分布式训练速
度。例如，在联邦学习中每轮迭代都需传输模型参数更新，当设备数据量巨大时，通信开销可
能成为瓶颈。此外，部分设备可能因电量或连接中断而掉队，造成协同过程不稳定。这些都要
求设计鲁棒的协同优化算法和调度机制，以减少不必要的通信并容错不可靠节点，提升大模型
在边缘端分布式训练的效率与稳定性。
（3）数据一致性和同步问题：如何确保行业数据在云端和边缘端保持一致性，并在模型
训练过程中实时同步更新是一个挑战。在分布式系统中，不同节点可能会同时更新数据，如果
8
没有有效的版本控制和冲突解决机制，可能会导致数据不一致，行业数据的云端和边缘端同步
需要有效的机制来处理数据更新和冲突解决。云边协同涉及多个组件和层次，系统复杂性较高，
任何组件的故障或性能问题都可能导致数据同步问题。
（4）数据标注与质量：边缘侧产生的数据种类繁多且质量参差不齐。许多数据缺乏标签
或存在噪声，限制了大模型的直接训练效果。这就需要发展自动化的边缘数据标注与清洗技术，
以及利用自监督学习、生成式模型合成数据等手段丰富训练集。同时，不同边缘场景的数据可
能存在偏差，使得单一模型难以适应所有环境，如何充分利用本地数据进行个性化训练、又保
证全局模型的泛化能力，是训练数据协同的另一大挑战。总之，大模型边缘训练需要在数据孤
岛与隐私保护的约束下，实现多源数据的高效整合与协同，这对算法和系统提出了全新的要求。
异构环境算法自适应挑战
在训练大模型时，聚合异构算力进行算法训推成为迫切需求，但也面临巨大挑战。当前边
缘智算环境的异构环境算法自适应的实现面临的主要挑战如下：
（1）硬件异构性：边缘设备涵盖性能差异显著的 CPU、GPU、NPU、DSP 及定制加速器，
不同硬件在算子支持、计算吞吐和内存容量上差异巨大，导致同一模型在不同设备上的性能表
现迥异。例如，一些卷积加速算法（如 Winograd 快速卷积）在高端 GPU 上效果显著，但在嵌
入式 CPU 上反而可能适得其反。大模型要适应异构硬件，就必须针对不同架构进行算子优化、
内存优化和并行调度，以充分利用每种设备的计算潜力。这种优化通常需要深入了解底层架构，
人工调优代价高昂，现有自动化工具如编译器、算子库在大模型场景下仍未完全解决异构优化
问题。
（2）资源受限与模型裁剪：当前主流的大模型参数规模动辄数十亿，单个模型文件容量
可达数 GB 乃至数十 GB，远超典型边缘设备的存储和内存能力。因此，大模型不经过“瘦身”
无法直接在边缘端运行。这需要算法上进行模型压缩和裁剪，包括剪枝、量化、低秩近似以及
知识蒸馏等技术，将原始模型压缩成边缘可用的小模型。但模型压缩往往会以精度下降为代价，
如何在尽可能保持大模型精度的同时大幅降低计算和存储开销，是一项艰巨任务。此外，不同
边缘设备的功耗和散热限制也要求算法在推理时控制计算峰值和内存占用，这可能需要动态调
整模型的执行策略，例如按需加载模型参数、分段执行推理等。现有的模型压缩和部署工具，
如 TensorRT、Core ML、ONNX Runtime 等各有侧重，缺乏统一标准，开发者往往需要针对每种
硬件单独适配优化。
9
（3）场景自适应性：边缘环境不仅硬件异构，应用场景和负载也千差万别。边缘的大模
型应用需要算法具备动态自适应能力，能够针对不同场景进行调整和优化。例如，在多任务场
景下，统一的大模型应对多样化用户需求时，需要在云端和边缘之间灵活调配计算，甚至动态
剪裁模型结构以满足实时性要求。再如，边缘节点的加入和退出会导致可用算力的变化，算法
需能够感知资源变动并自适应地改变推理计算的并行度或压缩比。这涉及到在线模型重组、弹
性推理等前沿技术。目前来看，让大模型算法自动适配异构环境尚处于起步阶段，需要在自动
化机器学习(AutoML)、神经架构搜索(NAS)、编译器优化等方向取得突破，才能显著缓解异构
环境下算法自适应的挑战。
模型敏捷交付挑战
大模型需要快速迭代和更新以适应不断变化的应用需求。涉及到模型与数据的版本控制、
自动化测试和验证、持续集成与持续部署（CI/CD）等方面。大模型在边缘算力上敏捷交付面
临以下几个方面问题：
（1）多环境持续部署：将训练好的庞大模型从云端快速、安全地分发到成千上万的边缘
设备，是一个复杂的工程流程。不同边缘设备的系统环境各异，如操作系统、推理引擎版本、
硬件驱动等，导致模型在一端训练后很难“开箱即用”地部署到另一端。传统做法往往需要将
模型转换为特定设备支持的格式，并结合相应的推理框架，这一过程繁琐且易出错。尤其当云
端训练框架与边缘推理框架不一致时，例如云端用 TensorFlow 训练但边缘仅支持 TensorRT
引擎，模型格式(IR 表示)、算子实现和 API 接口的不兼容会导致部署失败。即使有 ONNX 等中
间格式尝试标准化模型交付，仍难以跟上新模型和新算子的演进速度，实际中常出现云侧模型
无法顺利迁移到端侧的问题。因此，实现“一次训练，多端部署”的敏捷交付仍然面临显著障
碍，需要更统一的端云模型表示和运行时来支持无缝迁移。
（2）版本迭代与持续集成：大模型往往需要频繁更新迭代以提升性能或适应新的数据分
布。在边缘场景下，模型版本升级涉及将新模型下发到所有相关设备，并确保过渡期间服务不
中断。这对模型的 CI/CD 能力提出很高要求。当前，大多数机器学习运维(MLOps)系统主要服
务于云端，对边缘侧的模型管理支持不足。边缘设备分布广泛，网络状况各异，推送一个新模
型可能需要分批进行，还要考虑设备的存储空间限制和用户使用时段等。缺乏完善的边缘模型
发布工具链使得版本管理和回滚变得困难。此外，在模型更新时还需验证新模型在海量异构设
备上的兼容性与性能，这需要自动化的测试和监控机制予以保障。建立从云到边的统一模型仓
10
库和灰度发布策略，是实现敏捷交付必须迈出的步骤，但目前产业界相关实践仍在探索中。
（3）部署安全与治理：在将大模型交付到边缘设备的过程中，安全也是不容忽视的挑战。
一方面，模型文件本身可能包含敏感信息或知识产权，如何防止在分发过程中被窃取或篡改，
需要采用模型加密、签名校验等安全机制。另一方面，不同版本模型在边缘侧运行时可能产生
不一致行为，甚至出现偏见或错误决策，要求有完善的模型治理措施如监控模型输出、设置反
馈回路等。目前，大模型在边缘的治理标准尚未建立，部署后的持续性能监控和反馈渠道不足。
这些都制约了模型的敏捷交付和长期可靠运行。总的来说，针对边缘场景的大模型交付，需要
从工具链、标准和运维流程上进行革新，才能支持快速迭代的模型升级和大规模分发。
大模型和边缘小模型协同挑战
在模型协同方面，首先是端云分工策略，在实际应用中，常常采用“云端大模型+边缘小
模型”协同工作的模式，即由云端强大的大模型提供全面智能支持，边缘部署轻量化的小模型
提供本地实时响应。如何合理划分云端与边缘的工作负载，是首要难题。如果过多依赖云端处
理，广域网的不稳定性和高延迟将损害用户体验；而完全在边缘依赖小模型，又可能因模型能
力不足而降低服务质量。因此需要制定智能的端云协同策略：针对不同类型的任务或不同复杂
度的输入，决定由边缘小模型独立处理还是请求云端大模型支援，或是两者分担计算。在协同
推理中存在几个关键挑战，包括如何在多台边缘设备之间拆分模型计算任务、如何依据设备的
异构资源情况定制负载分配，以及在带宽受限环境下尽量降低协同推理的通信延迟。这对应到
端云协同中，更宏观的挑战在于计算分配和通信优化，需要最小化云边交互次数和数据传输量，
在保证总体精度的同时最大程度发挥边缘的低时延优势。
其次是知识融合与一致性问题，大模型与众多小模型协同运行还涉及模型间知识的双向融
合。一方面，云端大模型往往经过海量数据训练，如何将其知识下沉到边缘小模型，使后者在
本地即可获得接近大模型的识别推理能力。这通常需要借助知识蒸馏等技术，由大模型教师指
导学生小模型训练。然而大模型知识庞杂，蒸馏过程中如何避免小模型欠拟合、保证其对关键
特征的掌握，依然具有挑战性。另一方面，边缘小模型在本地环境中累积了针对性经验（例如
特殊场景的感知能力），如何将这些本地更新及时反馈给云端的大模型，使其持续学习进化，
也是困难的任务。当前常用的方法包括定期将边缘模型梯度或更新上传云端聚合（类似联邦学
习思想），或在云端对大模型进行微调以兼顾新的边缘数据分布。但异构小模型结构差异大、
11
边缘上传不同步，融合策略设计不当可能导致全局模型性能震荡。因此，实现云大模型与边缘
小模型之间高效的双向知识协同仍然缺乏成熟的体系。
3. 大模型与边缘智算融合架构
边缘计算将计算任务从中心云分流到边缘节点，以实现更低的延迟、更高的实时性以及更
强的隐私保护。如图 1所示,中心云做为系统的核心，负责大规模的数据存储、复杂的模型训
练和高强度的计算任务。边缘云位于中心云和端边缘之间，提供额外的计算资源和存储能力，
承担部分中心云的负载，提供推理服务。端侧节点则部署在靠近数据源的地方，如工厂车间、
办公楼等，负责数据采集、实时处理和部分模型推理。
图 1.模型云边训推示意图
边缘与大模型结合源自低延迟、高带宽、高可靠和数据隐私安全保护四个方面的因素，中
心与边缘协同的智算架构如图 2所示。位于中心的模型训练平台负责集中化训练、预训练和持
续迭代，并将更新后的模型参数通过高效的数据分发通道推送至边缘智算平台，实现中心到边
缘的模型同步。与此同时，边缘智算平台结合本地业务需求与数据特点，可对接收到的模型进
行增量微调或个性化优化，形成更适配本地应用场景的模型版本。在数据交互方面，边缘侧收
集的原始业务数据，如实时感知数据、用户行为数据等，通过安全加密机制上传至中心侧，用
于持续优化和再训练大模型。通过“模型向下推送、数据向上反馈”的双向交互模式，边缘与
中心形成了高效协同。
12
图 2. 模型云训边推协同架构
在大模型驱动的边缘智算场景中，部署在边缘的智算平台通常由边缘 AI 基础设施、IaaS
平台底座与引擎、AI PaaS 能力层、MaaS 层等多个层次构成，其分层逻辑架构如图 3所示。整
体设计遵循“自底向上、层层支撑”的原则，从底层硬件资源到上层模型服务，再到安全与运
维管理，实现了资源、能力与应用的有机协同，形成一体化的边缘智算平台。
在架构最底层，边缘 AI 基础设施是整个智算平台的核心承载，涵盖计算、存储和网络等
资源。IaaS 平台底座内置高密度智算集群，支持 GPU 虚拟化和分布式存储服务，并通过并行
文件系统与分布式缓存，满足数据与模型的高并发处理需求。在算力增强方面，IaaS 层封装
GPU 算子库、网络增强模块及高性能集合通信库，为上层 AI 推理与小样本训练提供高效算子
执行能力。IaaS 层的引擎组件进一步抽象底层算子与硬件特性，集成高性能推理框架和推理
引擎，结合图优化、算子融合、量化压缩等模型优化技术，显著提升模型在边缘的推理效率与
部署灵活性。通过对算子库的二次封装，引擎层为上层 AI PaaS 和 MaaS 屏蔽硬件差异，实现
算力资源的标准化和接口统一化。
AI PaaS 层是边缘智算的创新能力中心，为开发者提供丰富的 AI 框架、工具链与模型管
理服务。该层不仅支持多框架兼容性，如 TensorFlow、PyTorch、MindSpore 等，还集成数据
管理、自动标注、小样本增量训练、模型精调等全流程 AI 开发工具。通过与引擎层的深度结
合，PaaS 层实现推理框架与推理引擎的进一步封装，并依托云边协同能力，实现中心大模型
与边缘模型的高效同步更新，构建跨层级、一致性的 AI 算力生态。
13
图 3. 边缘智算平台分层架构
MaaS 层为边缘智算提供高效的模型与数据管理能力，是连接中心大模型与边缘 AI 的关键
枢纽。其核心包括模型仓库和数据仓库两大子系统。模型仓库是用于存储、管理和共享机器学
习模型的中心化存储库，它就像一个模型的图书馆，为各种 AI应用提供模型资源。数据仓库
是用于存储和管理大量数据的集中式存储库。数据仓库通过多源数据整合、自动清洗、特征提
取等流程，为中心模型训练和边缘推理提供高质量、低冗余的数据基础。
在横向能力上，AI 安全与运维管理贯穿平台全栈，形成对数据安全、模型安全、应用安
全的全方位保障。平台支持从数据采集、模型加载到推理过程的多级安全控制，包括访问控制、
加密传输、隐私保护与防攻击策略。同时，通过运维管理体系，平台能够实现资源监控、故障
诊断、日志追踪和自动扩缩容，确保边缘大模型服务的高可用性和稳定性。
顶层的智算能力开放可以给模型开发者和基于 AI 的应用提供 MaaS 服务和推理服务，把智
算资源管理平台能力、大模型训推能力、场景化模型能力封装成基于 RESTful 或 gRPC 的 API
服务。通过 MaaS 的方式，企业和开发者无需关注底层算力与引擎实现，即可直接调用大模型
能力和服务。能力开放层不仅提供了丰富的场景化 API，还提供全流程的智算 API 生命周期管
理，支持开发、测试、部署等各阶段的安全接入，开发者或企业可以快速介入智算技术，避免
从零开始研发复杂的算法和模型，缩短了应用商用周期。同时由于 API 模式的简单易用，更多
的企业可以参与到智算应用的开发中，从而大模型在边缘侧的产业化落地。
14
4. 大模型与边缘智算融合关键技术
软硬件一体协同
与传统的智算中心的高度同构、高性能特性不同，受限于能耗、工况等限制，工业边缘设
备具有明显的异构性、分布式特征，其体现在各个边缘智算设备算力差异性较大、互联网络带
宽有限、网络稳定性差、软件层面的多样性更加突出。而大模型与大规模智算中心联系紧密，
从训练、微调到推理，均对资源性能和稳定性具有极高的要求，其与边缘智算的特性形成了显
著差异。从另一方面，工业辅助等场景对于大模型服务的时延有极高的要求，大模型与边缘智
算的融合能够充分发挥边缘智算在低成本、低时延和高灵活性方面的优势。
为了弥补两者在技术上的鸿沟，从关键技术设计上，本白皮书强调软硬件一体协同的设计
思想。具体体现在：
（1）基础设施深度支撑大模型：边缘智算在固有异构性和分布式的基础上，需要在软件
生态、算力抽象、开发框架等方面形成一定的统一能力，以充分发挥算力性能，并满足大模型
的部署、迁移、推理等能力。
（2）有限算力下的模型专业化：工业应用场景需要极高的专业性，并且处理包括图像、
传感器等多种类型的数据，而工业边缘设备往往计算能力有限，其能够容纳的开源大模型专业
化能力往往不足。需要基于硬件算力水平（FLOPS、显存）限制，研究在不同规模模型下的专
业化能力，并通过预训练、微调以及针对大模型的蒸馏、量化等技术，从而实现模型专业化与
推理时延的均衡。
（3）探索大模型的分布式训推能力：单体边缘智算难以承担大模型的训推服务，跨边缘
设备的协同成为必然趋势，从而衍生了边-边、云-边协同的架构。与之相对应的，大模型需要
在传统数据中心内部并行的基础上，进一步发展满足边缘智算特性的分布式训推能力，从而形
成模型与资源协同能力。
（4）效率与精度联合优化：全精度、全参数模型尽管能够实现较高的推理效果，但其难
以在算力受限的边缘智算设备上部署。大模型与边缘智算的融合，在模型部署、交付等环节中，
需要充分考虑应用场景对模型精度的要求、算力资源的容量等因素，在模型压缩和优化方面进
行定制化设计，以实现精度和效率的平衡。
15
边缘基础设施管理
存算资源管理
大模型落地到边缘能显著提升响应速度、降低延迟，并增强数据隐私保护。然而，边缘设
备通常计算资源有限，边缘侧硬件基础设施包括计算资源、存储资源和网络基础设施，它们共
同支持在边缘设备上进行高效的人工智能模型推理和部分训练。
边缘 AI 设备的计算资源主要依赖于以下几种硬件：
1）GPU ：GPU 擅长并行计算，尤其适合处理大型矩阵运算和深度学习任务，广泛应用于
LLM 的训练与推理，同时在边缘 AI 设备中被用于加速计算以提升性能。高端的嵌入式 GPU（如
NVIDIA Jetson 系列）在处理复杂 AI 任务时非常有效。
2）NPU：提供专门的神经网络计算优化，能够在保障性能的同时降低功耗。在边缘设备和
算力受限的场景中尤为重要，使 LLM 能够以更低的能耗实现高效推理。
3）ASIC ：为特定 AI 任务（如神经网络推理）定制的专用芯片，性能和能效通常优于通
用处理器。比如 Google 的 TPU（张量处理单元）和华为的昇腾 AI 芯片在边缘 AI 应用中越来
越普遍。
4）FPGA ：可以针对特定的计算任务进行动态配置，并提供较高的计算效率，适合需要灵
活性和高性能计算的场景。
对于较复杂的 AI 推理，通常需要 4GB 到 16GB 的显存，部分复杂模型甚至需要支持更大的
容量。边缘 AI 的存储资源需要满足低延迟、高效数据处理的需求，边缘设备通常配备有限的
本地存储，例如闪存（Flash）、固态硬盘（SSD）或嵌入式多媒体卡（eMMC）。这些存储器的
容量较小，但能满足本地数据缓存和模型的存储需求，适合本地短期数据处理。但在显存角度，
边缘设备处理器配备的显存相对较小，导致无法独立完成复杂大模型的推理任务，因此有必要
结合显存资源进行大小模型协同、跨域模型推理等。
跨域资源管理
针对边缘智能，单纯依靠原云计算基础设施，已经无法满足云边协同的边缘智能实现。云
边协同需要实现多层次的协同，包括资源协同、数据协同、推理协同和训练协同，其中资源协
同是实现其他协同的基础，即基础设施协同。支持 LLM 的云边协同技术主要包括多层次的协同
16
计算、动态任务调度机制和高效的数据传输协议。在此协同下，云端负责大规模模型训练和推
理，提供强大的计算资源；边缘设备则通过本地部署轻量化模型，进行低延迟的任务处理。目
前产业界针对云边协同中的资源协同，已经发展出诸多开源项目，开源项目可为实现边缘智能
中提供基础设施协同重要参考实现。KubeEdge 是首个基于 Kubernetes 扩展的云原生边缘计算
框架，其实现了云边之间的多维度协同，打通了边缘计算中云、边、设备协同的场景，可作为
借鉴架构实现边缘智能在云和边之间的协同，支持包括数据协同、应用协同的资源协同实现。
此外 KubeEdge 也支持对终端的接入监控管理，终端是边缘智能数据产生的重要来源，对终端
接入管理的支持尤为重要。与 KubeEdge 类似，SuperEdge、OpenYurt 均为基于 Kubernetes 实
现其边缘扩展的开源项目。此外在终端接入领域，如 EdgeX Foundry、Baetyl。此外还有面向
无线通讯的边缘计算相关开源实现，如 EdgeGallery。边缘智能可通过借鉴以上开源项目，最
终提升边缘智能部署效率、通讯效率、推理效率。
跨异构适配
算力原生
算力原生是指模型在设计与部署阶段即具备适配多种算力环境的能力。在实际部署中，行
业大模型往往需要在中心云、边缘节点、终端设备等多个层级运行，每层的算力资源存在显著
差异。因此，构建算力原生能力成为工业模型工程化落地的基础。通过算力原生框架，可实现
针对不同平台的硬件特点（如 GPU 高并发、NPU 低功耗、边缘芯片资源受限）进行模型切分与
重构。同时支持模型在多种算力环境下的统一编译与调度，提升开发效率。通过在边缘环境中
部署轻量化子模型，保留核心能力，降低资源消耗。
算力原生能力的构建依赖于统一中间表示（IR）、异构算子库、跨平台调度引擎等基础组
件，并通过静态适配联合动态调度的机制，实现模型与算力的智能匹配。
开发框架
异构硬件导致上层 AI 开发语言、环境和架构的差异性，需要提供统一的编程框架，使得
开发人员可以使用相似的代码结构描述运行在不同处理器架构的计算任务，有助于简化跨平台
算法的开发难度。OpenCL 为例，作为一种开放的、跨平台的编程框架，它允许开发人员利用
多种处理器（如 CPU、GPU、FPGA 等）的计算资源，实现高性能计算和并行处理。除此之外，
17
跨异构开发中的接口转换层广泛应用于各种软件系统和架构中，尤其在分布式系统、微服务架
构中起着重要作用。它可以帮助不同系统之间进行有效的集成和通信，降低系统之间的耦合性
接口转换层功能和特点包括数据转换和映射、协议转换、适配和接口规范以及安全和权限管理。
边缘AI平台的操作系统、学习框架和部署工具也一起构成了边缘AI系统的核心基础设施。
工业边缘 AI 架构通常使用轻量化、实时性强的操作系统，常用的包括 Linux-based 系统、实
时操作系统以及 Google 推出的面向物联网设备的操作系统 Android Things。TensorFlow Lite
和 PyTorch Mobile 等轻量级深度学习推理框架，专为移动和嵌入式设备设计。它支持模型的
优化和量化，使模型可以在低功耗设备上高效运行。此外，在边缘 AI 场景中，模型的远程部
署和管理也至关重要，因此云到边缘的部署工具被广泛使用，例如 AWS IoT Greengrass 和
Google Cloud IoT Edge 等。
边缘模型构建
模型架构设计
在边缘设备上运行的 AI 模型需要考虑到设备的硬件限制，因此模型的选择和设计非常重
要。在模型体量选择上，为了保证模型精度和部署效率，通常参数量在 7B以下的中小规模模
型在架构选择上，除了通用大模型采用的 decoder 架构之外，还可以进一步考虑包括 BERT 等
在内的 encoder 架构模型，并在开源预训练模型基础上增加定制化的 LM-Header，构建具有专
业能力模型。同时，由于边缘智能所涉及专业场景语料库相对较少，通常考虑基于预训练模型
进行微调，采用 P-tuning、LoRA 等进行通用模型的定制化，能够在保证通用能力的基础上，
提升模型的专业化能力。
模型训练
边缘设备通常没有足够的计算能力来执行大规模的模型训练，因此大部分训练过程依然在
云端完成，随后将训练好的模型部署到边缘设备上。常用的训练策略为云端训练加边缘推理，
即模型的训练在高性能的云服务器上进行，训练完成后将模型参数下发到边缘设备上执行推理
任务。这种方法是最常见的边缘 AI 应用模式。例如，在 LLM 中，云端负责大规模的预训练和
模型微调，利用强大的计算资源和数据存储支持复杂的模型训练和优化。边缘设备则通过轻量
化模型进行本地推理，处理部分低复杂度任务，以减少网络延迟和带宽消耗。除此之外，增量
18
学习支持边缘设备从云端下载初始模型，然后在本地进行增量训练。这样，边缘设备可以利用
本地数据进行模型微调，适应特定场景的变化。
上下文管理
在工业应用等高度专业场景下，上下文能够包含任务、背景等信息，对于 LLM 生成适当
响应至关重要。当用户提出问题时，LLM 需要结合所有这些上下文信息来理解问题的背景和具
体要求，从而生成准确、相关且符合用户期望的回答。例如，在制造业中，如果用户询问关于
某台机器的操作步骤，LLM 需要结合长期记忆中的机器操作手册内容、短期记忆中的对话历史
以及感官数据中的实时机器状态等上下文信息，才能提供完整且准确的操作指导。由于边缘计
算设备算力和存储有限，需要对上下文进行有效的分级和管理，例如，可以将上下文进一步细
分为静态上下文和动态上下文，并采用不同的处理、压缩方法，以尽可能降低其对算力和存储
资源的需求。
静态上下文由用户定义，包含与任务执行者相关的信息，明确告知 LLM 其预期行为和功能，
例如期望的响应格式、类型以及语气等。同时，还需在静态上下文中向大模型说明可使用的外
部代理的功能和交互格式，使其知晓何时以及如何调用这些外部代理。动态上下文：包括短期
记忆、传感器数据和长期记忆等。短期记忆涵盖当前对话中的所有先前提示和响应，以及用户
当前的提示，帮助 LLM 理解对话的连贯性，从而给出更准确的回答。传感器数据主要是实时或
最近生成的数值或文本数据流，如机器传感器数据等，使 LLM 能够及时了解环境的当前状态。
长期记忆可以通过对短期记忆进行进一步压缩以获得，也包含存储在数据库或存储单元中的各
类信息文件，如机器文档、销售数据等，这些文件及其对应的嵌入向量应存储在可被 LLM 访问
的数据库和向量数据库中，以便在创建提示上下文时查询和使用。
评测与验证
高度专业性是工业大模型的典型特点，在完成模型训练后，需要对模型的性能进行评测。
模型评测包括通用能力评测和专业能力评测等，通用能力评测采用人工交互、基于 C-Eval 等
开源数据集，验证模型的文本生成质量、多轮交互质量等，专业能力评测可以仿照公开测试数
据集进行专业数据集构建，验证模型的专业化水平。除此之外，在边缘设备上部署模型后，测
试和验证至关重要，尤其是对于实时性和准确性要求高的任务。通过性能评估，测试模型在边
缘设备上的推理时间、内存占用、CPU/GPU 利用率等。精度评估可以确保在进行模型压缩和优
19
化后，模型的精度仍然可以满足任务需求。对于电池供电的边缘设备，还需要通过能效测试来
评估模型运行时的能耗。
模型云边协同
算力协同
云边资源协同体现在训练和推理任务的切分、与资源的联合调度、网络资源优化以及协同
架构设计等方面。根据边缘智算具有的分布式、异构特征，大型计算训练和推理任务分割成可
以在边缘端并行处理的小块，根据任务需求动态分配计算资源。在云端和边缘端之间实现负载
均衡，以提高整体计算效率。在大模型推理部署服务中，根据边缘智算资源容量，对模型进行
剪枝和量化，减少模型大小，加快模型在边缘端的部署和更新速度。
通过优化网络路径和使用高效的网络协议来减少延迟和提高带宽利用率。在数据传输前进
行压缩，减少传输数据的大小，加快同步速度。设计增量传输机制，在模型分发和数据同步过
程中仅传输变化部分，而不是整个数据集，减少传输量。
采用微服务架构，使得各个服务可以独立更新和扩展，降低系统间的耦合。使用分布式数
据库管理系统，支持跨多个位置的数据存储和同步。设计边缘计算架构，使得数据处理和存储
更接近数据源，减少与云端的数据传输需求。
模型协同
模型协同主要是在云边训推协同、模型分布式部署以及大小模型协同等方面。大模型的训
练通常在云端进行，因为云端拥有丰富的计算资源和强大的算力，能够处理大规模的并行计算
任务。同时，云端不仅负责模型的训练，还进行模型的优化和更新，以确保模型的准确性和性
能。然后在边侧进行边缘分布式推理，即训练好的模型会被部署到边缘云，边缘设备负责模型
的推理任务。这种方式能够满足低时延需求，适用于需要实时响应的应用场景，云端会定期将
优化后的模型更新到边缘设备，确保边缘推理使用的是最新的模型。
在模型分布式部署方面，通过将模型分割成多个部分，并将这些部分部署在不同的计算节
点上（如云、边缘服务器、终端设备），模型分割技术能够利用网络中各节点的计算资源，实
现模型计算的分布式处理。这种方法其不仅能够克服单一边缘设备计算能力有限的限制，还能
有效利用网络中的闲置资源，提高整体计算效率和响应速度。此外，通过智能地选择模型的分
20
割点和部署策略，可以优化数据传输和计算负载，减少延迟，提高模型的实时处理能力，分割
位置的选择对云边协同模型的计算和通信开销尤为重要。
大小模型协同主要体现在通过大模型调度小模型能力以及通过小模型进行大模型的推理
加速等方面。传统 OCR、人脸识别等可以作为大模型通用能力下的专业工具，利用大模型的推
理、调度能力与专业小模型相结合，能够在复杂业务场景下根据需求灵活编排小模型能力，从
而实现能力整合和定制化服务。在推理加速方面，由于边侧小模型规模较小，推理时延较低，
而云侧大模型精度较高，推理时延较长，将两者特点相结合，通过投机采样等方式，首先利用
边侧小模型进行串行多步采样，然后利用云上大模型进行并行判断和优化，从而实现推理精度
和效率的联合优化。
数据处理
随着工业 的发展，物联网（IoT）在制造环境中的广泛应用产生了大量数据，这些数
据分散在不同部门和设备中，为数据管理和决策带来了挑战。LLM 通过其强大的自然语言处理
能力，能够理解和生成人类语言，从而在数据处理中发挥重要作用。
从大模型的角度，可以将工业数据进一步拆分为长期记忆数据、短期记忆数据以及传感器
数据等。长期记忆数据包括存储在数据库中的历史数据，如机器传感器记录、销售数据、设备
维护日志、产品目录等。这些数据来自企业内部的各个部门，LLM 通过访问这些数据，能够提
供跨部门的信息整合。短期记忆数据指当前对话中的交互历史，包括用户的提问和 LLM 的回答，
帮助 LLM 理解对话的连贯性，从而提供更准确的后续回答。传感器数据：主要是实时或接近实
时的数据流，如机器的实时传感器数据，用于让 LLM 了解当前的生产状态。
在边缘侧部署大模型，LLM 能够通过嵌入技术将文本数据转化为向量形式，存储在向量数
据库中，以便快速检索和比较相似性。这种处理方式使得 LLM 能够快速从大量数据中提取相关
信息，并结合上下文生成准确的响应。此外，LLM 还可以通过外部代理处理更复杂的数据分析
任务，如数学计算或统计分析。能够应用于设备操作指导、多语言支持、实时数据监控等场景
中。
数据协同
在工业 背景下，海量的传感器等采集的多模态数据等为大模型的训练和应用提供了有
效的数据支撑，但也在数据传输、协同等方面提出了新的挑战。数据协同包括数据处理协同以
21
及数据安全性保障等。在数据处理协同方面，边缘节点负责对工业传感器采集的原始数据进行
预处理，并对数据进行初步处理和分析。这些处理后的数据会被传送到云端进行进一步的存储
和分析，从而减少网络延迟，提高系统的响应速度。在 LLM 中的数据协同应采用高效的数据传
输协议，如云边端之间的分布式数据同步和压缩技术，确保在大规模数据传输中有效减少带宽
消耗，实现云边协同的高效落地。数据到达云端后，云端不仅能将这些数据用于模型的持续优
化和改进，还能够对来自不同边缘节点的数据进行全局分析，提供更全面的洞察和决策支持。
在安全性方面，通过对传输的数据进行加密，保护数据在传输过程中的安全。实施严格的
访问控制策略，确保只有授权的用户和服务可以访问和修改数据。实时监控系统状态和性能，
及时发现并解决同步问题。设计故障恢复机制，如数据备份和快速恢复，确保系统的高可用性。
在数据发送到云端之前，进行匿名化处理，以保护用户隐私。
模型压缩与优化
模型压缩
在边缘侧，模型压缩主要实现方式包括模型剪枝、量化和蒸馏等。
模型剪枝是一种深度学习模型优化技术，旨在通过移除模型中不重要或冗余的参数，减少
模型的复杂度和计算需求，同时尽可能保持模型的预测性能。剪枝方法多样，可分为非结构化
剪枝和结构化剪枝。结构化剪枝通过去除某些结构单元实现剪枝，如神经元剪枝、滤波器剪枝
等，可保留大部分原始卷积结构，无需专有硬件即可实现应用较广。非结构化剪枝侧重模型参
数的精简，可不改变原模型的基本结构，但剪枝后的权重矩阵可能变得非常稀疏，比如权重剪
枝，由于需专用硬件实现压缩和加速效果所以应用较少。通过剪枝，模型可以变得更轻量、更
高效，尤其在边缘设备和移动设备上运行时，能够显著降低内存和计算资源的消耗，提高模型
的部署和应用范围。
模型量化技术是实现高效模型部署的重要技术，可将参数值由浮点数转转换为低精度数据
格式、从大集合映射到较小集合。通过模型量化，可显著减少模型的存储需求和计算复杂度，
加速模型在边缘设备上运行，增强模型实时处理能力和隐私保护能力。常见的量化方法包括权
重量化、激活值量化和混合精度量化等，根据是否参与训练也可分为感知量化训练和训练后量
化两类。量化可在保持模型一定性能的同时，极大提升模型在边缘设备上的部署效率和能效比。
知识蒸馏是一种模型压缩和迁移学习策略，可将知识从一个或多个大型复杂训练模型（即
22
教师模型）提取知识，“传授”给一个更小更高效的“学生模型”中。知识蒸馏可引导轻量化
小模型学习性能更为强大的大模型的行为，如学习原始数据的标签信息、教师模型的软标签信
息等，使得学生模型可以更小的代价达到接近教师模型性能的目的。由于学生模型具备轻量、
高精度等特征，可在有限资源上实现高效、实时的智能服务，非常适合在边缘场景中进行部署。
模型优化
模型优化是边缘智能的重要技术，可有效提升模型效率、准确性和适应性。目前针对边缘
模型优化场景，重点包括如算子融合、多种精度混合计算等。
算子融合的原理是将多个计算操作合并为一个，以减少中间结果的存储和传输，从而提高
计算效率。算子融合可通过将多个独立的神经网络进行操作如卷积、归一化、激活等，融合为
一个更复杂的算子。通过算子融合，可有效简化模型的计算图、减少调用和切换操作，减少模
型在边缘设备上的计算和内存开销。这一技术在边缘场景下，可有效提升推理性能，提升用户
体验。
多种精度混合计算技术是一种高效、灵活的计算优化方案，可允许模型在不同精度（如
32 位浮点、16 位浮点、8 位整数等）之间动态选择和切换，适应边缘设备的计算能力有限的
情况。通过在模型的关键部分使用高精度计算，而非关键部分使用较低精度计算以节省资源，
可有效平衡模型性能和计算效率。技术难点在于如何合理划分不同精度的计算区域，以及如何
保证不同精度计算之间的过渡和协同工作，避免精度损失导致模型性能降低过多。业界目前已
支持动态调整精度能力，可有效应对边缘设备在不同环境和任务需求，确保智能应用的实时响
应和稳定运行。
联邦大模型训练
联邦大模型架构
联邦大模型架构包括 Cross-Silo 和 Cross-Device 等，前者适用于数据中心间的大模型训
练协同，后者适用于边缘计算等场景，其中涉及多个小规模的边缘计算设备，以协同完成大模
型训练任务。在大模型与边缘智算融合场景中，最常见的联邦大模型架构是 Cross-Device。
业界对于联邦大模型训练架构展开了广泛的研究，包括 OpenFedLLM 在内联邦大模型架构广泛
覆盖大模型预训练、指令微调、对齐等任务。
23
相比于传统的联邦学习架构，联邦大模型训练面临有限资源下的模型部署、设备间梯度和
模型参数交互以及训练过程的稳定性和收敛性等新的挑战。其中，有限资源下的模型部署可以
与模型量化、模型蒸馏等结合，对于参数交互和稳定性等，可以采用参数聚合优化、梯度压缩
等技术进行优化。
参数聚合优化
参数聚合优化技术是边缘智能联邦学习和分布式学习场景下的关键策略，旨在解决边缘设
备间模型训练的协同与优化问题。在边缘计算环境中，由于设备数量庞大、网络条件多变，直
接同步所有设备的模型参数既不现实也不高效。参数聚合优化技术通过设计更智能的聚合规则
和算法，如联邦平均、差异隐私聚合等，能够在保护数据隐私的同时，高效地整合边缘设备上
的局部模型更新，形成全局模型的优化。如可根据用户终端上模型更新情况，选择更新较为频
繁且对整体模型性能提升较大的用户参与参数聚合。这些技术能够智能处理设备的异步通信、
网络延迟、数据非独立同分布等问题，确保模型在分布式训练过程中保持良好的收敛性和泛化
能力。参数聚合优化技术极大地促进了边缘智能的协作学习，使得模型能够在不直接传输原始
数据的情况下，从边缘设备的集体智慧中学习，提升模型性能，同时保护用户隐私，是边缘计
算和联邦学习领域的重要创新。
梯度压缩
梯度压缩技术是边缘智能优化分布式学习和联邦学习的关键策略，旨在解决边缘设备间通
信瓶颈和计算资源限制的问题。在分布式训练过程中，频繁的梯度交换会消耗大量网络带宽和
计算资源。梯度压缩技术通过减少梯度向量的维度或精度，如采用量化、稀疏化、低秩近似等
方法，显著降低通信成本，同时尽可能保持模型的训练效果。例如，量化可以将浮点数梯度转
换为更少的比特表示，稀疏化则通过忽略梯度中的小值元素，减少非零元素的传输。这些技术
不仅减少了边缘设备和中心服务器之间的数据传输量，还加速了模型的训练过程，提高了边缘
智能应用的效率和可扩展性。梯度压缩技术在边缘场景下尤为重要，它能够有效应对边缘设备
的网络不稳定性和计算能力有限的挑战，促进大规模分布式学习的高效进行。
24
敏捷交付
模型 MLOps 解决超分散边缘节点的大模型敏捷开发和交付，主要是通过将大模型切分为多
个小模型，然后通过 MLOps 的模型管理和部署系统，将这些小模型部署到边缘节点上，从而实
现大模型的敏捷开发和交付。这个特性的优势主要有以下几点：
1）大模型的敏捷开发：通过将大模型切分为多个小模型，可以降低大模型的开发难度，
提高开发效率。
2）大模型的快速部署：通过 MLOps 的模型管理和部署系统，可以将小模型快速部署到边
缘节点上，从而实现大模型的快速部署。
3）大模型的低成本：通过将大模型切分为多个小模型，可以降低大模型的成本，因为小
模型的计算资源需求比大模型要低。
4）大模型的高性能：通过将大模型切分为多个小模型，可以提高大模型的性能，因为小
模型的计算资源需求比大模型要低，而且可以通过 MLOps 的模型管理和部署系统，将小模型的
计算资源进行优化，从而提高大模型的性能。
5. 大模型与边缘智算融合的应用场景
智能制造
在智能制造领域，大模型与边缘智算的融合应用正在催生一系列典型场景，包括工业质检、
生产调度优化，工控优化等制造环节。
在产品质量检测环节，引入大模型驱动的视觉 AI 系统并部署于边缘侧，使生产线上的外
观瑕疵、尺寸偏差等缺陷能够被实时捕捉。过去依赖人工且容易出错的质检工序，如今通过安
装边缘 AI 摄像头和推理盒，已实现对产品的 100%自动检测和即时反馈，不仅保证了零疏漏和
零误判，还减少了人为质检的人力投入和误差率。
大模型赋能下的边缘智算还可以用于生产计划与调度的智能优化。制造企业的生产过程涉
及众多工序和资源，如何动态调整生产计划以应对订单变更、设备状态变化，是提升产能利用
和准时交付的关键。传统依赖人工经验的调度往往难以及时响应变化，而将 AI 模型部署在车
间边缘后，系统能够实时感知产线各环节的状态数据（如设备负荷、在制品进度、原料供应等），
并通过大模型的推理即时生成最优的调度方案。例如，当某台设备意外停机或新增一批急单时，
25
本地边缘调度系统可以立刻重新分配任务和产能负荷，在几毫秒内调整生产节拍和工序衔接，
避免产线堵塞或闲置。实践表明，边缘 AI 驱动的调度优化使生产计划从事后调度转变为实时
调度，大幅提高了生产柔性和资源利用率。某些领先企业已经开始试点利用工厂边缘智能体进
行排产决策，结果显示生产节拍更加均衡，设备利用率和订单准交率显著上升。同时，调度算
法在本地执行保证了决策的稳定性和安全性：即使网络波动或云端故障，工厂内部的智能调度
仍可自主运行，不会中断生产流程。由此可见，在复杂多变的制造现场，引入边缘大模型进行
生产调度优化能有效提升制造系统对环境变化的自适应能力，使工厂运营始终保持高效、有序。
通过云端大模型提供全局洞察、边缘侧模型支撑即时决策的协同架构，制造企业能够打造
出实时、高效、稳定的智能生产体系。
智慧电网
大模型与边缘智算的融合在智能电网领域开始展现出巨大的应用价值。电网的运行要求实
时性、安全性和高可靠性，边缘侧部署智能模型可以提供毫秒级的响应和本地决策能力。在智
能电网场景中，云端的大模型提供全局分析能力，边缘的小模型负责本地快速推断，共同保障
电力系统的稳定运行。以下是智能电网中融合应用的几个典型场景：
在电力设备监测与故障检测方面，边缘智算可实现对输电线路和变电站设备的实时巡检。
通过在边缘部署视觉识别和异常检测模型，可以及时发现线缆过热、绝缘子破裂、异物侵扰等
故障征兆。例如，国网山东电力利用大模型技术开发杆塔异物、绝缘子缺陷等识别算法，设备
缺陷识别准确率由原来的 85%提升至 92%，大幅减少了人工巡检的误报率。当检测到异常时，
边缘装置可以瞬时做出断电隔离等响应，避免故障扩大化，以保障电力系统安全。
在电力设备的预测性维护方面，大模型能够融合多源传感器数据，对设备健康状态进行评
估并预测潜在故障。通过边缘部署的预测性维护模型，电网运维人员可以提前获知变压器、开
关等关键设备的退化趋势，合理安排检修，减少突发故障导致的停电。深圳供电局研发的输电
线路山火烟雾和外破隐患检测大模型部署于变电站边缘侧，用于巡检山火烟雾等环境风险，其
识别准确率高达 98%，每年可减少约 30 万条误报告警，节省大量人力。这类边缘智能应用显
著提升了电力设备运维的效率和安全性。
在电网运行优化与新能源接入方面，云边协同的大模型可实时平衡供需并提高能源利用效
率。一方面，边缘侧的小模型可以根据本地负载和电压情况，快速调整配电网的拓扑和无功补
偿设备，缓解局部过载或电压异常；另一方面，云端的大模型通过对全网数据的深度学习，提
26
供用电负荷预测和新能源发电预测，将优化策略下发边缘实施。通过这种协同机制，电网能够
更好地消纳光伏、风电等分布式能源，实现源荷动态平衡，降低弃风弃光率。例如，在某智能
微电网示范中，边缘部署的功率分配模型结合云端预测，实现了对光伏出力波动的快速响应，
使微电网对新能源的利用率提高到 90%以上。
在电力应急响应和安全防护方面，边缘智算可以保障关键控制环节的独立可靠。电力系统
遭遇网络中断或网络攻击时，本地的边缘智能控制单元仍能自主运行基本的保护和控制算法，
维持电网的稳定。边缘侧的大模型可以对异常潮流、频率波动等危险信号进行快速识别和处置，
及时采取措施避免电网事故扩大。同时，云端大模型还能在安全沙箱中模拟各类事故场景，为
调度人员提供应急处置建议，提升电网面对极端情况时的韧性。通过云端与边缘的紧密配合，
智能电网实现了全局优化与本地实时响应的有机结合，大幅增强了电力系统的自愈能力和安全
性能。
工业领域
大模型与边缘智算相结合在工业领域的应用正不断扩展深化，涵盖生产制造、安全管理、
设备运维等诸多方面。以下是工业场景中融合应用的一些具体实例：
在设备巡检和知识管理领域，大模型赋能下的边缘智算可以极大提升运检工作的效率和准
确性。工业企业的设备巡检和运维往往需要查阅大量技术手册和历史记录，传统方式下信息检
索和归纳耗时费力。通过在边缘部署具备自然语言理解能力的工业大模型，可对现场采集的运
检数据和文本记录进行智能分类和解析。这使得复杂晦涩的设备运检知识被转化为一线人员易
于理解的提示信息，例如自动生成简洁的巡检报告、故障处理步骤指南等。借助这样的智能助
手，运检人员能更快速地获取所需信息，降低人为失误风险，提升对异常情况的处理速度。
其次，大模型可帮助提升复杂设备的维护和故障处理效率。传统设备故障诊断依赖人工经
验，维修效率低且新工人培养周期长。将训练有丰富行业知识的大模型部署在边缘侧，可以结
合现场传感器数据和历史维修记录，自动诊断故障原因并给出维修建议。例如，当工厂设备出
现异常震动或温度升高时，边缘智能助手能够通过自然语言与维修工人交互，指出可能的故障
部位和需要更换的零件，实现边缘端的快速故障排查。这不仅缩短了停机时间，也在实践中提
升了维修人员的技能水平。
在智慧矿山等高危作业场景中，边缘智算与大模型的结合推动了传统行业的智能化转型。
在矿山井下和露天采矿场，由于环境恶劣且网络信号受限，需依赖本地智能确保作业安全与效
27
率。通过将感知大模型部署在矿用车辆和井下控制中心的边缘设备上，可实现对矿车位置、矿
柱稳定性、瓦斯浓度等数据的实时分析，辅助生产调度决策。边缘端的模型能够及时发现采掘
过程中的异常，如岩层位移和设备故障等，并触发预警或自动停机等安全措施，避免灾害发生。
同时，无人驾驶矿卡、远程控制挖掘机等技术在大模型的支持下进一步成熟，使危险环境中的
主要作业逐步实现无人化，大幅降低人员暴露风险。某智慧矿山示范项目表明，引入边缘 AI
系统后，矿山生产效率提高了 15%，安全事故率显著下降。由此可见，在矿业、电力、石化等
工业子领域，边缘智算与大模型的融合应用能够提升生产的安全性和连续性，为传统工业注入
智能化的新动能。
工业大模型与边缘智算的融合应用可以显著提升生产效率、产品质量和运营安全水平，实
现设备智能运维和现场决策优化。通过云端大模型提供全局智慧、边缘侧模型保障实时响应的
协同模式，工业企业能够构建起敏捷高效的智能生产体系，增强在复杂多变环境中的应变和创
新能力。
医疗健康
在医疗健康领域，大模型与边缘计算的融合应用既蕴含巨大潜力，又满足了数据隐私和实
时服务的特殊要求。医疗场景下大量敏感数据，如电子病历、影像资料等需要在本地处理分析，
以降低延迟并保护患者隐私。通过云边协同，医院可以利用云端大模型提供深度诊断能力，同
时在本地边缘部署小模型实现即时推理与隐私防护，打造高效安全的智能医疗体系。
在病历文档处理与临床辅助决策方面，大模型可以帮助医护人员高效地从海量医疗文档中
提取有价值的信息。在医院本地服务器部署的医疗大语言模型能够对电子病历、检验报告等文
本进行智能解析和结构化，自动识别出患者的病史、过敏药物、检验异常等关键内容。这种病
历识别技术有助于减轻医生查阅病历的负担，加快临床决策过程。例如，某三甲医院引入大模
型构建电子病历智能审核系统，在保险理赔核查任务中将响应速度提升了 倍，误判率下降
了 %，大幅提升了病历审查的效率与准确性。由于所有分析过程均在院内边缘计算节点完
成，患者敏感数据无需上传云端，确保了隐私安全和数据合规。
医疗问答和诊疗咨询时，大模型驱动的智能问答系统正在成为医患互动和决策支持的重要
工具。通过在本地部署经过医疗知识微调的大语言模型，医院可为医生和患者提供 24 小时的
智能问答服务。这类医疗问答系统由于部署在医院内网或个人健康终端上，能够实现即时响应，
避免了因网络延迟或中断导致的服务中断。同时，本地部署意味着对问答过程中涉及的患者隐
28
私信息不必共享到云端，大大降低了数据泄露风险。在实际应用中，一些大型三甲医院已试点
上线院内医疗大模型问答系统，用于辅助临床决策和健康咨询，显著提升了诊疗效率和患者满
意度。
在此基础上，医疗领域也广泛采用联邦学习等分布式训练技术来构建大模型。各医疗机构
在不交换原始数据的前提下协同训练共享模型，只需在本地使用自身数据更新模型并上传梯度
或模型参数，云端聚合出全局模型。这使得不同医院能够共同受益于更大规模的数据训练，而
敏感患者数据始终留存在本地受控环境中，解决了数据孤岛和隐私安全的双重挑战。医疗领域
的大模型应用正从云端走向本地，在保障数据安全的前提下为临床诊疗提供低时延、高可靠的
智能辅助，有望大幅提升医疗服务的质量和可及性。
6. 大模型与边缘智算融合的未来发展趋势
随着大模型能力的持续增强与边缘算力的不断提升，二者的深度融合正逐渐成为产业发展
的主旋律。未来，云-边-端一体化协同将成为主流架构模式，大模型在云端承担全局知识与复
杂推理，边缘节点实现低延时响应与本地隐私计算，终端设备负责超低功耗的即时推理，形成
分层协作、能力互补的智能体系。这种架构将有效实现模型能力的按需下沉，既保障用户体验，
又在算力、能耗与成本之间取得平衡。
与此同时，多模态与跨领域的融合能力将进一步凸显。大模型正在从单一模态向文本、语
音、图像、视频及多传感器数据的多模态方向演进，并在工业、能源、交通、医疗等领域实现
跨模态知识融合与推理能力的落地。边缘智算将在这一趋势中承担更多多模态推理与生成任务，
使终端在现场即可处理复杂的感知与决策。在模型部署技术方面，轻量化与高效部署将逐渐成
熟并标准化。知识蒸馏、结构剪枝、量化压缩等技术将与自动模型搜索、硬件自适应编译器深
度结合，使大模型在边缘侧的按需裁剪与快速部署成为常态，显著降低行业落地的门槛。同时，
边缘设备将逐步具备在线学习与本地微调能力，结合隐私计算与联邦学习，实现持续学习和个
性化推理，从而使模型能够快速适配不同环境和用户需求。
未来大模型与边缘智算的融合还将与软硬件协同优化及绿色低碳发展相结合。面向边缘部
署的模型将在算子级优化、异构加速、低功耗芯片设计等方面不断突破，并辅以液冷、相变散
热等高密度边缘节点基础设施技术，实现绿色、高效、可持续运行。
29
7. 展望与倡议
边缘智算和大模型技术尚处于快速发展的阶段，需要推动技术标准的制定与推广。标准化
建设是技术突破与产业协同的“粘合剂”，是推动大模型与边缘智算从试点走向规模化的必经
之路。未来，应围绕模型格式与运行时规范、云边协同编排接口、推理性能与能效评价体系、
安全与隐私保护等方面建立统一标准，并在国际标准化组织与国内行业联盟的双重框架下推进
落地。标准化不仅能降低模型迁移与部署成本，还能为跨域协作提供统一的接口与验证机制，
确保生态兼容性与可扩展性。同时，标准制定应与技术迭代保持同步，建立“标准-试点-反馈
-迭代”的动态更新机制，使其能够快速适配新兴应用与技术形态。
为了更好地支持边缘设备运行大模型，需要硬件和软件的深度协同。企业、科研机构应当
共同推动边缘智能硬件的创新，研发更加高效的芯片和低功耗硬件，同时也应开发适配边缘环
境的轻量级 AI 模型和推理框架。硬件层面的创新与软件优化结合，将加速边缘智能的普及。
随着大模型与边缘智算的不断发展与应用深化，各行业领域正在迈向“云边融合、实时智
能、协作创新”的新阶段。在此过程中，技术突破、产业协同与标准化建设相辅相成，将共同
孕育面向下一代智能制造的生态系统。我们呼吁各方携手合作、共同探索，在保障安全可靠与
绿色低碳的前提下，推动大模型与边缘智算的高水平融合，为全球数字化转型注入更强劲的动
力。
30
参 考 文 献
[1] 赵越, 陈尚义, 郭斌, 等. 大小模型协同：破解端云智能的数据异构挑战[J]. 中国计
算机学会通讯, 2023, 19(11): 36-42.
[2] J. Liu et al., "Edge-Cloud Collaborative Computing on Distributed Intelligence
and Model Optimization: A Survey," 2023 IEEE Globecom Workshops (GC Wkshps),
Kuala Lumpur, Malaysia, 2023, pp. 1206-1211, doi:
[3] 王睿,张留洋,高志涌,等.面向边缘智能的大模型研究进展[J].计算机研究与发展,
2025, 62:1-18.
[4] 王睿, 王岩, 尹朴, 齐建鹏, 孙叶桃, 李倩, 张易达, 张梅奎. 面向边缘智能的协同
训练研究进展[J]. 工程科学学报, 2023, 45(8):1400-1416.
1.背景和需求
相关政策背景
国家人工智能发展相关政策背景
数字化经济，工业生产等领域的政策推进
国家算力基础设施发展相关政策背景
大模型云边训推应用面临诸多挑战
2.大模型与边缘智算融合的机遇与挑战
大模型与边缘智算融合已成趋势
大模型与边缘智算融合的优势
大模型与边缘智算融合的挑战
训练数据协同挑战
异构环境算法自适应挑战
模型敏捷交付挑战
大模型和边缘小模型协同挑战
3.大模型与边缘智算融合架构
4.大模型与边缘智算融合关键技术
软硬件一体协同
边缘基础设施管理
存算资源管理
跨域资源管理
跨异构适配
算力原生
开发框架
边缘模型构建
模型架构设计
模型训练
上下文管理
评测与验证
模型云边协同
算力协同
模型协同
数据处理
数据协同
模型压缩与优化
模型压缩
模型优化
联邦大模型训练
联邦大模型架构
参数聚合优化
梯度压缩
敏捷交付
5.大模型与边缘智算融合的应用场景
智能制造
智慧电网
工业领域
医疗健康
6.大模型与边缘智算融合的未来发展趋势
7.展望与倡议
参 考 文 献
