中国联通 5G+3D 机器视觉
技术发展白皮书
目录
编 写 说 明 .....................................................................................................................3
1 3D 机器视觉发展背景 ...............................................................................................6
3D 机器视觉概述 ............................................................................................6
3D 机器视觉技术原理 ....................................................................................7
3D 机器视觉典型场景及发展趋势 ..............................................................10
典型场景 .............................................................................................10
发展趋势 .............................................................................................11
2 5G 网络对3D 机器视觉的影响 ...............................................................................13
5G 网络核心特征 ..........................................................................................13
5G 网络关键技术及对3D 机器视觉的价值 ................................................13
SUL/超级上行解决方案 .................................................................13
大上行专属帧结构解决方案 ..........................................................14
面向2025 年的5G 网络关键技术及对3D 机器视觉的价值 ......................15
上行MIMO 增强..............................................................................15
灵活时隙配比/灵活双工技术&TDD 全上行技术.........................16
全上行频谱解耦: ..........................................................................17
多终端协同 ......................................................................................17
5G+3D 机器视觉发展技术要求 ...................................................................18
5G+3D 机器视觉端边云协同策略 .................................................18
方案部署影响因素 ..........................................................................20
中国联通5G+3D 机器视觉技术框架 ..........................................................21
3 5G+3D 机器视觉典型应用案例 ..............................................................................24
端云协同:煤流检测 ...................................................................................24
端超边与边协同:钢板瑕疵检测及分类分级 ...........................................25
端边协同:挂车车体关键尺寸测量 ...........................................................26
端云协同:无人机立体测绘 .......................................................................29
典型应用场景分类 .......................................................................................31
4 总结与展望 ..............................................................................................................34
1 3D 机器视觉发展背景
3D 机器视觉概述
机器视觉是指通过光学装置和非接触传感器等图像采集装置,将被摄目标的
不同特征转变成数字化信号,传送给专用的图像分析处理系统,图像处理系统对
这些信号进行各种运算来抽取目标的特征,进而根据判别的结果来控制现场的一
种技术。通俗地讲,机器视觉就是为机器赋予了一双眼睛。机器视觉在工业制造领
域的广泛应用可以在大幅提高生产效率和产品质量的同时,提高生产的柔性和自
动化程度。其体量巨大,易于落地并产生规模效益。
表格 1 机器视觉目标及应用
机器视觉系统主要包含光源、图像采集与传输装置、图像分析处理系统、展
示与控制系统等四部分。其中,根据处理图像形式或结果的不同,机器视觉可以
分为2D机器视觉和3D机器视觉。近几十年来,2D机器视觉已被广泛应用于条码
读取、目标跟踪和在线智能检测等领域。随着工业互联网发展对技术要求的不断升
级,用户对目标对象的深度信息有了更高要求,而3D相机特有的深度信息采集
功能,恰好可以满足这样的市场需求。
2D 机器视觉:通过线阵扫描相机或面阵扫描相机采集待检测物体的平面图
像,完成相关的需求检测。其中,线阵相机通常用于幅面较宽,速度较快,
精度要求高的流水线产品或圆柱等曲面的实时采集,例如印刷品、纺织品的
瑕疵检测等;面阵相机应用更为广泛,大多数常见检测设备执行的都是面阵
扫描。
3D 机器视觉:数据采集装置通常由多台相机或者一台或多台激光位移传感
器组成。3D 机器视觉可以获得待测物体的完整空间坐标信息(即 XYZ 三维
立体信息),被广泛应用于机器人引导应用中,提供方位信息。同时,基于
激光位移传感器的 3D 机器视觉能够采集物体表面的高精度深度信息,被广
泛应用于产品质检、物料体积检测等环节。以轮胎划痕检测场景为例,2D
机器视觉只能识别划痕的粗细和长度信息,而 3D 机器视觉由于包含深度信
息,能够进一步检测划痕的深浅情况。3D 视觉的出现,是继黑白到彩色、
低分辨率到高分辨率、静态图像到动态影像后的第四次视觉革命。
图 1 基于 3D 机器视觉的轮胎划痕检测
3D 机器视觉技术原理
基于成像原理,常用的3D机器视觉方法主要有:双目立体视觉法(Stereo
Vision)、飞行时间法ToF(Time of flight)、激光三角法(Laser triangulation)、结
构光3D成像(Structured light 3D imaging)。
双目立体视觉法(Stereo Vision):类似人的双眼通过两个视点观察同一景物,
获取不同视角下的感知图像的方式,双目成像通过融合两个相机采集的被测
物体图像,建立特征间的对应关系,由三角测量原理计算图像的视差来获取景
物的三维信息。
图 2 双目立体视觉法成像示意图
飞行时间法 ToF(Time of flight):基于飞行时间法的 3D 机器视觉成像技术,
通过给目标物连续发送光脉冲然后用传感器接收从物体返回的光,通过探测
光脉冲的飞行时间来得到目标物距离。
图 3 ToF 成像原理示意图
激光三角法(Laser triangulation):基于光学三角原理根据光源、物体和检测器
三者之间的几何成像关系来确定空间物体各点的三维坐标。根据三角原理计
算,被测物体越远,在 CCD 上的位置差别就越小,所以三角测量法在近距
离下的精度很高,但是随着距离越来越远,其测量的精度会越来越差。
图 4 激光三角法示意图
结构光 3D 成像(Structured light 3D imaging):光学投射器将一定模式的结构
光投射于物体表面,在表面上形成由被测物体表面形状所调制的光条三维图像。
该三维图像由处于另一位置的摄像机探测,从而获得光条二维畸变图像。通过结
构光前后畸变情况,即可计算被测物距离、形状、尺寸等信息,获取物体三维
图像 。
图 5 结构光 3D 成像
上述技术优缺点如表格 2所示。
表格 2 3D 机器视觉成像技术优缺点
3D 机器视觉典型场景及发展趋势
典型场景
机械臂引导
机械手工作时,会受工件位置和朝向的影响。通过 3D 机器视觉检测,考虑外围
设备干扰和机械手姿势,自动计算出适合的机械手动作,生成运动路径,从而大
幅缩短工时,实现灵活、稳定的快速检测。另外,通过对现场建模的模拟,避免启
动时不必要的返工和设备导入后的故障,能够大幅提高抓取成功率。
采用3D 相机识别料框内
配重块位置、流水线上产品位置,
引导机械臂从料框内抓取、完成装配。
产品瑕疵检测
图 6 机械臂引导示意图
对于钢铁、汽车、家电、电子消费品等诸多行业,表面瑕疵检测是产品质量控制
的关键环节。由于瑕疵类型繁杂、位置分布不定,完全准确的自动化质量控制一直
是业内面临的严峻挑战。针对涉及深度信息的瑕疵检测,通过 3D 机器视觉的方
式,能够精准采集待检测物体的表面信息,显著提高检测精度。尤其,可以通过
多种数据处理算法,检测反光表面(如小型电子零件)和低对比度的表面(如轮
胎面和侧壁)。
2D 机器视觉与3D 机器视觉融
合实现大件产品的尺寸及
深度检测、平面度检测。
进一步,配合机械手能够实现产品多面尺寸
的自动化高精度检测。
图 7 冷凝器外观检测
积测量
图 8 金属卡托平面度、断差的测量 图 9 农产品体
面向3C、SPI、PCB 等精密结构件实现 通过3D 机器视觉采集获得高精度的表面空间
三维快速在线测量,进行平面度、断差的高精度测量。 信息,建模计算物品体积大小,用于产品分级、质检。
发展趋势
采集前端无线化:传统 3D 机器视觉仍采用前端采集+本地工控机处理的方案,
前端设备和工控机通过有线传输线缆连接,限制了应用范围。前端无线化可解决
线缆易缠绕、布线成本高、无法灵活按需部署等问题。
采集前端轻量化:随着检测场景和需求的不断提高,3D 机器视觉与 AI 间的融合
逐渐加深。然而,AI 对前端的计算能力和数据存储能力都提出了更高的要求,
大幅度增加了终端设备成本。随着 5G 网络大带宽传输能力的不断提高,轻量化
的终端采集设备逐渐成为趋势。前端设备将聚焦于提供基础的计算、存储能力,
以满足数据采集需求。
端边云协同化:采集数据通过 5G 无线连接发送至 MEC 边缘云侧,MEC 可提供
部分算力,以代替图像采集和推理卡的部分能力。对于 MEC 算力无法处理的应
用场景,可将数据上传至中心云,中心云上提供了更强大的 AI 算力能力,服务
更广泛的 3D 机器视觉应用。云边协同化已成为众多行业的共识,将会在未来的
3D 机器视觉应用中大放异彩。
2 5G 网络对 3D 机器视觉的影响
5G 网络核心特征
面对 3D 机器视觉产业的发展,因其需传输大数据量的三维点云,当前的 3G、4G
网络还无法满足行业对承载网络的性能需求。5G 作为新基建之首,其大带宽、低
时延、大连接的特性使其可以很好地满足 3D 机器视觉对网络侧的新需求。
5G 网络是第五代移动通信网络,相比 4G 网络,5G 网络数据流量密度提升
1000 倍,设备连接数目提升 10~100 倍,用户体验速率提升 10~100 倍,端到端
时延降低 5 倍,可以为无线网络用户提供 1-20Gbps 的极速体验速率、毫秒级的
超低端到端时延以及每平方公里一百万的连接数密度与数十 Tbps 的流量密度。
5G 网络具有大带宽、低时延、海量连接、低功耗的特点,使人与人之间通信,
开始转向人与物的通信,直至机器与机器之间的通信,从而为社会经济、生活带
来革命性的影响。截至 2018 年 11 月,全球已有 182 个运营商在 78 个国家进行了
5G 试验、部署和投资。我国宣布将在 2019 年开始 5G 试商用,2020 年实现5G
商用。5G 网络寄托了整个移动互联网产业链未来的希望,可以深度赋能安防产
业,满足安防产业的需求。
5G 网络关键技术及对 3D 机器视觉的价值
机器视觉,特别是 3D 机器视觉,对网络的需求主要是大上行能力的需求。
针对上行能力的提升,5G 当前主流的方向,一方面是通过在当前上行通道的基
础上聚合更多频谱、更大带宽,来提升上行能力,主要技术包括 SUL 上行增强、
超级上行等; 另一方面通过调整 TDD 频段的上下行时隙配比,增加上行时隙资
源,来提升上行能力。
SUL/超级上行解决方案
5G SUL 上行增强解决方案,就是通过两段频谱的协同、高频和低频的互补、以
及时域和频域的聚合,充分发挥高频的大带宽能力和低频穿透能力强的特点,
在近中点提升上行带宽,在远点提升上行覆盖,同时缩短网络时延。在 SUL 的
基础上,5G 又演进出超级上行解决方案,通过 TDD 和 FDD 协同、高低频互补、
时域和频域聚合、毫秒级资源调度,充分发挥 TDD 和 FDD 的协同
优势,实现 TDD 上行和 FDD 上行 TDM 并发,从而进一步提升上行体验和容量的
效果,如图 10 所示:
图 10 5G 超级上行解决方案
中国联通和华为公司携手,在北京联合部署商用网络在 1000 多个站点上开
通了超级上行功能,这是全球首个千站级的 5G 超级上行网络,超级上行用户上
行速率整体提升了 10%-40%,边缘用户上行速率提升可达 3 倍。
大上行专属帧结构解决方案
TDD 由于上下行配比、BS/UE 发射功率差异,导致上行能力弱于下行能力。
在提升上行能力方面,一种最简单直接的办法就是改变当前 TDD 系统中的时隙配
比,通过增加上行资源提升上行能力,比如将当前 7:3 上下行配比调整为 1:4, 也就
是 DSUUU(1D3U)的方式,来增加上行资源的调度,提升上行容量。不同时隙
配比的速率对比如下:
5G 特殊时隙配比是单一频段就可以进行上行增强的解决方案,可提升单
用户上行能力和上行覆盖,同时还可提升小区平均容量。但由于 1D3U 帧结构与
宏网的 7:3 帧结构不同,因此会带来交叉时隙干扰,因此 1D3U 适用于行业对上
行速率和容量有要求的完全封闭场景(如矿井)和封闭室内工厂场景等有一定隔
离度的场景中,实际使用场景有一定的约束和限制,联通和华为将通过一系列的
联合创新,在 5G-A 实现灵活双工的技术突破,使能更加灵活的使用频谱资源。
面向 2025 的 5G 网络关键技术及对 3D 机器视觉的价值
随着 3D 机器视觉在行业数智化效益的日益显现,以及 3D 机器视觉产业链小
型化、集成化的高速发展,3D 机器视觉的软硬件价格持续下降,未来企业在数
智化转型过程中,将越来越多的使用 3D 机器视觉,对网络带来两方面的挑战: 1)
机器视觉的速率持续提高,单点速率要求将高达 1~2Gbps;2)更多的机器视觉部
署,对网络上容量密度的需求将达到 10~20Gbps/千平。
面向未来 3D 机器视觉业务发展趋势,5G-A 作为 5G 演进技术,将对 5G 上
行能力实现 10 倍+的性能提升,关键解决方案包括如下几个方面。
上行MIMO 增强
Massive MIMO 作为 5G 相对于 4G 的标志性技术之一,运营商已经在室外宏
站实现规模部署,极大提升上下行容量;但对于 3D 机器视觉室内部署场景, 由
于部署场景的约束,往往需要基于 small cell 进行分布式 MIMO 的创新。通过将
多个 4TRX 的微站进行联合接收,达到 32 收或者 64 收的 MIMO 效果。5G-A 针对
small cell 的分布式 MIMO 做了进一步增强,主要包括:
1. 4T&高精度预编码:通过终端引入更多的发射天线,一方面能够成倍增
强上行流数,实现速率的倍增,同时通过上行子带预编码和高精度码本,
实现上行波束指向更准,提升上行速率和容量。
图 11 4T&高精度预编码示意
2. DMRS 正交序列扩容:通过分布式 MIMO 技术,讲多个 Small Cell 合并成
一个虚拟 MIMO 小区,实现上行 32 收或者 64 收的能力,以 64R 为例, 理论
上可以实现最大 64 流的上行 MU 配对,但当前 DMRS 正交端口数只有 12
个,也就意味着配对流数上去后,由于伪正交码导致多流之间的干扰加重,
影响用户体验和系统容量。 5G-A 将引入 24/36+的 DMRS 正
交序列,实现正交端口的扩容,有效缓解多用户 MU 配对时的流间干扰
问题。
图 12 DMRS 正交序列扩容示意
3. Small cell 多 TRP 场景下的功率控制增强:以 4T 终端为例,如下图中的
UE3,为了充分发挥 UE 上行 4 流能力,TRP1 接收 UE 的 1/2 流上行数据,
TPR2 接收 3/4 流上行数据,由于 UE 距离 TRP1/2 的位置差异,以及空间
干扰/波动的差异,需要在 Multi-TRP 间进行 UE 上行功率的合理分配,
提升用户整体速率体验和系统容量。
图 13 功率控制增强示意
灵活时隙配比/灵活双工技术&TDD 全上行技术
连接人是 5G 的基本盘,而联接人主要以接收数据为主,所以 5G 在第一波
建设的时候,按照 toC/eMBB 的发展趋势,以提升下行容量为主,相应的设定了
TDD 的上下行配比(当前联通 C-band 典型的配比为 7:3);但面向垂直行业,
主要是机器/摄像头/AI 数据采集的数据回传为主的上行速率和容量需求,当前
eMBB 宏网络的配比无法满足 toC 和 toB 的公共需求。
为了解决上述矛盾,同时结合 toC 和 toB 业务量在空间上的差异,灵活时隙
配比/灵活双工技术的突破,将有效满足 eMBB 和 toB 垂直行业的上下行需求。结
合联通的实际频谱情况,如下图所示,由于 属于室内 5G 频谱,
可以作为 TDD 全上行频谱使用;~ 作为室内外频谱,室外使用 7:3 配比,
室内可以使用 1:4 频谱,通过 TDD 全上行频谱技术以及灵活双工技术,从而极大
提升上行可用带宽,按如下配置方式,上行容量提升可达 7:3 配置的 4 倍以上。
图 14 频谱配置示意
全上行频谱解耦:
在解决 TDD 频谱在上行覆盖能力的短板,5G 提出了上下行解耦的创新技术。
随着未来更多频谱加入 5G 部署和建设,一方面当前 SUL 只支持单频段的配对解
耦,无法满足多频段场景,同时,更多频段的加入,沿用当前的技术,必然需 要增
加终端多发能力,从而造成终端成本/功耗的增加,不利于终端产业发展。
为了解决上述问题,5G-A 在 SUL 的技术上,创新的引入全上行频谱灵活解
耦的技术方案,在不增加终端实现复杂度和成本的前提下,通过 TRX 的灵活切
换,实现终端在全频段上实现灵活接入,通过更多的时频资源、快速频选、TTI
级负载均衡,带来体验速率和容量的提升,以及终端功耗的降低。
图 15 全上行频谱灵活解耦
多终端协同
随着 AI 技术的加速发展,对上行带宽提出了更大要求,比如机器视觉 AI
检测,随着分辨率、帧率、以及 3D 检测的兴起,单体的速率要求将超过 1Gbps,
甚至部分应用场景将超过 5Gbps,这将远超过 5G 模组终端的处理能力。
为了解决上述问题,5G-A 引入多终端协作的技术方向,通过多终端在发射
天线、时频空资源的协同,突破单个终端个体的能力限制,充分利用多个终端的
TRX 以及功率资源,实现多 T 大功率发射,从而实现大速率大容量的未来演进
需求。具体技术包括多流 DRC、多连接 DRC、分布式 MIMO UE 等,如图 16 所
示:
图 16 多终端协作技术方案示意
5G+3D 机器视觉发展技术要求
5G+3D 机器视觉端边云协同策略
5G 端边云协同工业 3D 机器视觉方案整体架构如图 17 所示。通过 5G 无线
蜂窝网络代替传统 GE、USB 等各种连接线缆,所采集的数据可以通过 5G 无线
连接发送至边缘侧。边缘侧能够提供足够的算力,以代替图像采集和推理卡的部
分能力。针对边缘无法处理的应用场景,数据能够进一步上传至中心云,利用中心
云更强大的计算与存储能力,服务更广泛的 3D 机器视觉应用。
端计算
图 17 5G+3D 机器视觉方案整体架构
端计算是依赖终端本身的算力进行任务调度和管理。基于智能化的 3D 数据
采集终端,视觉能力可以在终端本地实现,避免数据传输。然而,端侧算力成本
高昂且有限。完全基于端侧建设的单点系统不仅建设、维护成本过高,而且数据不
能有效共享,难以快速复制。
超边缘计算
设备以辅助计算单元或边缘盒子的形式,部署于各垂直行业应用的应用现场,
作为末端的接入节点。相对于集成式的端计算,超边缘计算能够提供更强的计算、存储
及网络能力,硬件部署简单,应用环境丰富。非常适用于对实时性要求严苛, 云端处理
时延不满足要求或数据量巨大,需在本地现场进行数据压缩或推理的场 景。
边缘计算
边缘计算可以在更接近数据生成的位置来处理、分析和存储数据,从而实现
快捷且近乎实时的分析和响应。其主要包括:标准化的轻量边缘计算基础设施、
下沉的网络分流节点、边缘能力开放平台及管理系统。边缘侧硬件及软件能力易扩
容,资源可复用,更利于视觉应用广泛推广。基于移动边缘计算(Mobile Edge
Computing, MEC)的应用不仅网络连接稳定性较高,而且借助 UPF 下沉能够做
到数据不出园区,保障用户数据安全。
云计算
云计算能够以集中式的软硬件资源提供更强的计算与存储服务。同时,其硬
件及软件能力易扩容,资源可复用,适用于对时延要求不严苛,但对算力需求大
的应用场景,如三维重建等。
一个理想化端边云协同的 3D 机器视觉应用架构如图 18 所示。端侧能力围绕
瘦客户端进行建设,以最大程度降低对前端设备的配置要求,减少部署成本,
主要承载数据采集、压缩与传输的业务;边侧能力可以基于 MEC 完成建设,以实
现 5G 数据的本地分流,主要负责对现场/终端采集的数据进行处理与分析,实现
产品质检,并依据处理结果进行生产逻辑的管理;云侧能力基于私有云或公有云按
需建设,采用微服务架构将各功能模块进行统一注册管理,以保证各功能模块的独
立性,便于升级、维护和替换。其主要用于实现对边侧 MEC 的配置管理和数据的
长久存储、相关模型算法的研发与管理。然而,当前实际应用中,更多的某几类
计算设施的协同,如端与超边缘、端边、端云等。
图 18 3D 机器视觉端边云协同应用架构
方案部署影响因素
项目实际部署方案,需综合考虑应用需求、项目成本,以及网络需求等方面
的差异,选择适合业务场景的部署方案,具体如下:
带宽需求:不同场景、不同类型工业 3D 视觉相机对上行带宽的需求不同,
需要根据现场应用状况评估 5G 上行带宽是否符合图像传输带宽要求。可通
过超级上行、载波聚合等方式实现上行带宽扩容,亦可通过对采集数据的智
能压缩或预处理,降低上行带宽要求。若前端采集数据量极大,可考虑前端
本地设备计算与控制方案。
时延需求:不同 3D 视觉场景对图像处理时延要求不同,需评估 5G 方案端
到端传输及图像处理时延,以满足场景需求,若应用场景对时延要求敏感,
可考虑前端本地设备计算或边缘云计算方案。
算力需求:不同 3D 视觉场景对算力需求不同,需考虑设备图像采集卡算力
能力,来确定 MEC 配置需求及算力需求,在 MEC 算力无法完全支撑应用需
求时,还应考虑在云端分配一定算力。
上云需求:3D 视觉场景若需要通过云端 AI 训练提升识别准确率,或必须使
用中心云 AI 推理能力,则可以考虑中心云计算与控制方案。
中国联通 5G+3D 机器视觉技术框架
中国联通 5G+3D 机器视觉技术框架如图 19 所示,从逻辑功能上可划分为设
备层、网络边缘层、云计算层、机器视觉平台层、应用编排框架及行业应用等。
图 19 中国联通 5G+3D 机器视觉技术框架
1) 设备层:设备感知层是整个 3D 机器视觉系统的数据基础。5G+3D 机器视觉
终端是指内置 5G 模组的 3D 机器视觉设备,如结构光单目/双目 3D 视觉相机、线
激光 3D 扫描相机等。在智能制造、智能生产等领域,除 3D 相机外,在特定场
景中,如印标检测、字符识别等还需要 2D 视觉相机配合完成。在相机完成图像
采集后,通过现场计算设备可获得检测结果,并将结果反馈给工业现场执行设备,
以此完成生产控制闭环。
2) 网络边缘层:网络边缘层包括 5G 无线网络、WiFi 局域网络、光纤/电缆有线网
络以及 MEC 边缘计算等部分。3D 机器视觉设备可通过网络层完成与机器视觉平
台间的交互,同时 MEC 边缘计算服务可在作业现场实现数据卸载,数据不出厂
进一步保证了生产数据安全,同时 MEC 也可大大降低数据传输和处理时延。
3) 云计算层:云计算层作为机器视觉平台的数字化底座,包括数据处理服务器
和应用服务器两部分。随着 的不断演进,其数字化底座将向着立体
分布式算力体系发展,用户可通过网络接入分布在全域各个节点中的算力资源, 实现
算力的随用随取及弹性调度。
4) 机器视觉平台层:机器视觉平台是利用机器视觉、人工智能技术实现对工业
制品、装备、工程建设等对象进行高精度、高强度、全自动的智能检测和分析,
平台借助 5G、边缘计算、云计算、大数据等技术手段,将设备端、工业边缘与
云端有机结合,平台主要包括算法模型库和统一管理功能两大板块。平台支持设备
端实时可靠接入、海量数据传输、存储和处理,实现大规模、多并发、高速度、高精
度、低延时的工业检测请求服务,并通过丰富的算法模型库提供远程监控、状态
分析、预测维护及工艺优化等智能服务,可大规模代替人眼利用经验进行测量和判
断,实现自动化、智能化的工业生产和现场管理,充分保证工业制品、装备的检测
质量。平台以人机融合智能方法和大数据技术为核心,实现工业\工程视觉智能检测
与分析方法,并贯穿工业\工程检测过程全链条,构建“人在回路” 的人机协作学习
模式,将人类智慧与经验实时、自然输入机器,同时也将机器智能交互反馈给人,
“人-机”之间通过不断地交互与学习,实现人类优势与机器优势的互补,螺旋式增强
人和机器对工业\工程视觉检测任务的感知、认知和分析能力。
5) 应用编排框架:应用编排框架是基于算网大脑和机器视觉平台所构建的应用
灵活编排服务。通过将机器视觉中的检测、测量、识别等通用原子能力进行灵活的
组合,结合人工智能、大数据、数字孪生等技术,形成标准化行业应用组件库。同时,
可根据场景进行灵活的业务逻辑定制及业务流程编辑。
6) 行业应用:3D 机器视觉应用涉及到工业、电子、汽车、航空、钢铁等众多领
域,由此衍生出多样化 3D 机器视觉应用场景,可创造巨大的社会经济效益。其
中,在工业制造领域中,可实现工件瑕疵检测、组件尺寸测量、配件定位与抓取等
多个典型应用场景。
3D 机器视觉应用需求差异性显著,因此,中国联通以机器视觉平台化技术
框架,取代了传统烟囱式项目化运作模式,通过对通用化能力进行抽象、集中、
开放,可降低项目运作推广成本;解决定制化开发难度大、成本高的问题;平台统
一汇集算法、管理设备,推动系统标准化发展,使 3D 机器视觉应用快速大规
模推广复制成为可能。
3 5G+3D 机器视觉典型应用案例
端云协同:煤流检测
场景描述
据统计,我国煤炭年产量多达 30 多亿吨。作为国家常规能源的主要来源之
一,煤炭也是国家经济的重要支柱。为提高煤炭公司的管理效率,需要对煤炭的生
产和运输进行实时监控,为煤炭管理运营系统提供可靠数据支撑。然而,以电子
皮带秤为代表的接触式传统煤炭检测工具损耗大、不稳定、无法精准检测煤量的
各类数据。高效、准确的煤流实时检测成为相关生产、运输中的重要环节。技
术需求及解决方案
以 宽幅的传送带运送过程为例, 平面精度、6m/min 的运动速度
条件下,单个线激光实时采集过程中,每秒产生约 60MB 点云数据,上行带宽需求
480Mbps。对此,为保障煤流传送速率、最大化生产效率,基于 5G+3D 机器视
觉的煤流检测采用端云协同的方式,其架构如图 20 所示。
图 20 基于 5G+3D 机器视觉的煤流检测架构
通过在输送现场布设激光双目立体相机,以激光的形式对皮带机煤流断面进行
扫描,直接在端侧进行煤流体积的实时计算,并将计算结果上传至企业云端进行存
储。同时,云端根据煤量情况,实时调整输送机运行速度,实现“煤多快转, 煤少慢
转”,达到节能降耗,减小设备磨损的目的。系统运行后较建设前实现节约用电 30%,
有效减少了皮带机系统机械损耗。进一步地,除了能够智能调节皮带机带速,煤流
检测还可以综合煤仓煤位、皮带机变频驱动电流等多个运行参数, 对主运输系统运行
状态、报警信息、人员信息进行实时监控和计算,共同协调控
制整个煤流的运行,有效节约人力,减少空载运输损耗,实现主煤流运输系统的
自动化、集约化。
端超边与边协同:钢板瑕疵检测及分类分级
场景描述
钢板作为钢铁工业的主要产品之一,己被广泛用于化工、机械制造、航空航
天、汽车、家电等行业。现代钢板生产制造中对钢板质量要求越来越高,由于设备、
生产工艺、环境等方面因素的影响,会导致钢板表面出现各种缺陷。表面缺陷不仅
会对产品外观造成影响,还会限制产品的应用,阻碍生产率的进一步提高, 直接降低
了钢板质量等级。以船舶生产为例,船板作为船舶的重要及主要组成部分,其质量
的优劣直接影响后道工序的生产效率和质量,乃至整条船的性能。通过在造船工序
的第一阶段预处理流水线,配置船板缺陷实时在线检测设备,开展缺陷检测管理,能
够及时判定和监测船板表面缺陷问题,提高船板检测效率和精度,降低后道工序损失
率。
针对钢板表面的检测主要聚焦于检测钢板表面的不连续缺陷。基于国标
GB/T 14977-2008 的基准之上,业内一般约定相关检测应覆盖凹陷与凸起类型,
在深度、水平方向均达到± 的测量精度。同时,针对钢板厚度的测量误差不
超过±。相关技术主要经历了人工经验检测法、基于电磁感应及超声的无损
检测技术和基于机器视觉的检测技术三个阶段。前两类检测技术在生产实践中已暴
露出大量无法克服的缺点,如人工劳动强度大、造成大量漏检、无法适应高速机组、
检测精度低等。随着机器视觉技术、计算机模式识别理论及人工智能理论等相关领域
的不断发展,基于机器视觉的钢板表面自动检测技术由于具有非接触、精度高、速度
快等特点,已成为钢板表面在线质量检测的主流和发展趋势, 而 3D 机器视觉作为一
种高精度非接触检测测量手段,在钢板表面检测领域具有极高的应用价值。
技术需求及解决方案
传统的 3D 机器视觉检测多采用一体机式应用,其部署、维护成本较高。针
对船舶生产过程中,20m×6m 的钢板表面的瑕疵检测及分类分级,通过融合 24
套 3D 终端采集设备,实现覆盖上下表面的数据采集后,单位时间内获取的钢板
表面 的高精度点云数据将达到 GB 级。对此,基于 5G+3D 机器视觉的检
测方案采用端、超边与边协同的方式,其架构如图 21 所示:端侧采集设备获取
点云数据后,超边缘设备直接在现场对数据进行处理,并生成影像发送至 MEC
边缘计算平台通过 AI 完成麻点、剥落、结疤、划痕、气孔、夹层等瑕疵的实时
检测与钢板的分类分级应用。通过算力复用与集中化运营,该方式能够极大降低
了系统的部署和维护成本。同时,检测效率较人工方式,整整提升了 4 倍!
图 21 钢板瑕疵检测架构
端边协同:挂车车体关键尺寸测量
场景描述
挂车是指由汽车牵引而本身无动力驱动装置的车辆,通常由一辆牵引车与一
辆及以上的挂车组合工作。按照挂车与牵引汽车的连接方式分为全挂车和半挂车。其
中,全挂车是指由牵引车牵引,且其全部质量由本身承受的挂车;半挂车是指 由牵
引车牵引,且其部分质量由牵引车承受的挂车。
图 22 挂车车体
由于挂车是一种比较特殊的车辆,车辆的轴距、前后悬、销轴距等是挂车设计
的基本参数,同时也是其他控制系统所需的重要参数。与此同时,车桥平行度、
车桥与纵梁的垂直度、车辆轴距和轮距、车辆销轴距等因素将直接影响车辆的通
过性、行驶稳定性、日常磨损性能等。
图 23 车体剖面示意
正是因为这些因素与行车安全有着直接关系,因此如何测量车桥的平行度、
车桥与纵梁的垂直度、车辆轴距、车辆销轴距是每个挂车厂及车辆修理厂必须检测
和解决的问题。目前国内生产厂家对于挂车检测,主要采用激光测距仪或人工测量
的方式进行。挂车检测的典型应用场景如下:
1 牵引板水平度检测:为实现牵引板水平度检测,传统方案是检测人员目视选
取牵引板两侧的测量位置点,通过刚性卷尺分别接触两个测量点,激光水平
仪发射激光指示读数,两次读数的差即为测量结果。指标要求方面,牵引板
两侧高度差不得超过 2mm。因此,若检测结果不符合要求,则通过调整车体
上螺栓,实现牵引板水平姿态的改变,调整后需重新测量两侧高度差,以确
定调整效果,直至满足指标要求为止。
图 24 牵引板水平度检测
2 销轴距检测:半挂车使用一段时间后,由于牵引销螺栓松动,引起左右销轴
距参数超差,以致出现车辆跑偏、轮胎异常磨损等问题,因此车辆在出厂前
或使用一定里程后均需要完成左右两侧销轴距的检测及调整。传统检测方式
是人工选取测量软尺起点,挂在调整杆底部作为测量起点,以车轴两端中心
点作为测量终点,最终两侧测量读数差作为测量结果。指标要求方面,左右
距离差应小于 。因此,若检测结果不符合要求,则按规定调整车轴姿
态,调整后需重新测量,直至满足指标要求为止。
图 25 销轴距检测
3 前后轴双侧距离差检测:被测量车轴的同侧端面上的前后轴中心点作为测量
起点和终点,一对车轴要分别测量左右两侧的前后轴中心点距离,读数的差
值作为测量结果。指标要求方面,左右两侧的前后轴距离差应小于 2mm。因此,
若检测结果不符合要求,需按规定调整后轴的姿态,调整后需重新测量, 直至满
足指标要求为止。
图 26 前后轴双侧距离差检测
传统人工检测方案的测量点选取和测量过程受人为因素影响极大,测量结果
难以保证精度,同时对挂车的总体检测调整效率极低,大部分车型检测调整过程需
需耗时 20 分钟以上,部分车型甚至超过 30 分钟,这成为挂车生产及出厂流水线中
的瓶颈环节,因此针对挂车厂的上述痛点,提出了基于 3D 机器视觉技术的科学
测量法替代方案。
技术需求及解决方案
挂车车体检测方案架构如图 27 所示。采用基于 3D 机器视觉的非接触式测
量技术,通过内置 5G 模组的手持式 3D 结构光扫描设备,完成对挂车关键检测
指标相关区域的移动式局部扫描。通过 5G 模组完成深度图像的上传,单个设备
对上行带宽的需求在 50-100Mbps,时延需求在 50-100ms,因此可采用基于部署
在边缘云的挂车 3D 机器视觉检测系统实现深度图像的预处理,完成点云数据生
成及检测结果的呈现,以此完成上述检测场景的自动化检测,在满足测量精度要
求的同时,实现对挂车车体的实时检测。测量结果实时反馈,现场人员可根据检测
结果调整挂车相应组件,直至检测指标符合标准要求。整套人机交互系统通过触
摸屏显示、语音提示,并可与工厂内 IT 系统进行数据交换,以此实现对车辆产
线的全流程管控。
图 27 挂车车体检测方案架构
考虑到本场景对网络带宽及时延的需求,建议将挂车 3D 机器视觉检测系统
部署在厂区本地的边缘云侧,可实现 5G 数据的本地分流,数据在不出厂区的情
况下实现 3D 视觉检测,进一步提高挂车厂的数据安全性及数据处理时效。
与此同时,挂车信息化管理系统建议部署在中心云侧,中心云具备更强大的计
算能力,可建立挂车整体的三维空间模型、管理深度学习算法库,并实现对关键检
测参数的存储与分析,进一步帮助挂车企业完善生产流程管理。
端云协同:无人机立体测绘
场景描述
随着无人机需求的扩展,以及航摄技术的不断成熟,无人机在测绘领域的应
用场景正在不断丰富,可以应用于疆土资源勘测、数字城市发展建设、通讯站规
划、地图测绘、城市发展规划、应急突发事件监管、灾害预测和评估、城市交通网
规划、矿藏开发、环境管理和生态保护、数字化农业等领域。
其中,相较于传统的无人机正射影像,无人机测绘中则主要使用了倾斜摄影建
模技术,这是近些年发展起来的一项高新技术,其本质上可归类为 3D 机器视觉技
术。倾斜摄影技术是通过从一个垂直、四个倾斜等五个不同的视角同步采集地面端
的图像影像,并基于图像视差,通过算法获取到丰富的建筑物等地物的顶面及侧面高
分辨率纹理,并获取外观、位置、高度等数据信息。它不仅能够真实地反映地物情况,
高精度地获取地面物纹理信息,还可通过先进的定位、融合、建模等技术,生成真实
的被检测目标区域的三维模型。倾斜摄影可大大降低三维模型数据采集的时间代价
和经济代价。除此之外,倾斜摄影在生成三维模型后, 可通过相应软件算法,直接
基于模型重建结果实现地面目标物的高度、长度、面积、角度、坡度等参数的量测,
更高效的数据处理效率可进一步扩展无人机倾斜摄影的应用场景。
图 28 无人机倾斜摄影测绘
技术需求及解决方案
基于倾斜摄影技术的无人机测绘方案架构如图 29 所示。无人机测绘过程中,
一方面可以采集实时视频,后台管理人员可通过视频回传实时查看现场情况。另 一
方面,基于倾斜摄影的无人机测绘还可对现场实时的三维模型图进行重建。
图 29 基于倾斜摄影的无人机测绘方案架构
以应急救援场景为例,我们需要快速完成灾区地形的三维建模,并基于三维模
型制定可行性更高的救援方案,这个过程对建模时间要求很高,对于小场景的建模时
间需要控制在 20 分钟以内,对于大场景的建模时间需要控制在 1 小时以内,这样
才能及时地给应急救援决策提供数据参考。通过航拍无人机携带的倾斜摄影装置,
采集现场五个不同视角的图像及 pos 位置数据,通过 5G 网络回传后, 再通过部署
于中心云侧的基于 3D 机器视觉技术的三维重建软件进行空三运算和模型计算,
生成三维模型后可采用地球图或者软件形式发布,以此可供救援人员辅助完成救援
策略的制定。
由于倾斜摄影采用 5 台相机进行图像采集,单个影像分辨率为 2500 万,总
像素为 ,亿,采用 1:10 图像压缩后进行数据回传,网络带宽需求约 100Mbps
左右,通过 5G 网络回传后,由于地物三维重建对运算时效性要求极高且运算量
极大,因此需将三维建模与管理平台部署于中心云侧,以强大的算力资源来完成高
效三维模型重建。
基于五镜头多视角倾斜摄影技术,可以突破传统正射影像的局限,获取到高精
度三维数据模型,从而更加真实地反映出地物的外观、高度、角度等属性信息, 增强
三维数据带来的高沉浸感,丰富了无人机测绘应用场景,给无人机测绘领域带来了
革命性效率提升。
典型应用场景分类
工业中,3D 机器视觉主要存在检测、引导、测量、识别 4 类典型应用场景。
表 1 应用场景分类表
类别
行业
检测 定位/引导 测量 识别
电子 3C
1.手机背壳翘曲检测
2.手机中框平整度检测
板锡膏、翘曲度、裸
板质量、长短针脚检测
贴片检测
5.硅片检测分选
6.半导体工艺检测
对准引导系统
2.固晶机拾片引导系
统
3.邦 定 机 (Wire
Bonder)定位引导及
掉线检测系统
汽车
1.轮胎划痕纹理检测
2.轮胎凹槽磨损检测
3.汽车玻璃检测
4.汽车内、外饰件形状检测
5.汽车外壳检测
1.发动机活塞气门分
拣
2.发动机气缸抓取
3.轮毂气门芯孔自动
加工上料
高端制
造(船舶
航空)
1.船用钢板麻点检测
2.飞机复材自动铺丝检测
3.飞机表面缺陷检测
1.工件上下料
2.机械臂焊接
1.加工件尺寸合
规性测量
钢铁化
工
1.带钢表面检测 1.钢厂大包挂长水
能源(电
力煤炭)
1.传送带跑偏裂纹检测 1.电缆抓取
1.传送带煤炭流
量监控测量
生物医
药
1.人工膝关节检测
1.医疗骨钉字符识别
2.医药按尺寸分拣
纺织服
装
1.衣物标签字符检测
2.飘丝检测
家具家
电
1.家具表面细纹检测
2.空调部件成像检测
1.装配上料
2.嵌件抓取
1.间隙检测、孔 1.安防人脸识别
径检测 手势识别
1.模具制造与检测
行业通 2.小尺寸零件 3.基于手势识别的
2.元器件内外壁检测 1.物流包装箱拆垛
用 3D 精密测量 工业机械臂控制
3.外包装箱检测
3.物流包裹及大 物体识别与空
型部件测量 间位置识别
4 总结与展望
随着数字化转型进程的不断推进,行业数字化转型正在以经济高质量发展为牵
引,推动各行各业完成生产运营结构优化、产品服务模式创新以及业态的转变。通过
对 3D 机器视觉典型应用场景的分析,3D 机器视觉在工业、能源、物流、钢铁、
交通、农业、消费等不同领域赋能了丰富的应用场景。尤其是在工业领域, 3D 机器
视觉的引入,可以大幅提高生产效率和产品质量,同时提高生产的柔性和自动化
程度,为企业降本增效。通过 3D 机器视觉创新技术驱动,可全面激发产业数字
化的转化动能,打造各行业全新的数字经济新范式。
现阶段,面对行业对 3D 机器视觉检测精度、测量时效等需求指标的不断提升,
3D 机器视觉的演进呈现出网络化、平台化、标准化的趋势。当前,3D 机器视觉在
应用过程中,仍旧以一体机的产品形态为主,不仅客户部署、维护成本高, 而且市
场占有率高的产品以国外产品为主,关键时刻会有“卡脖子”的困扰。高速率、低时
延、广连接的 5G 网络为一体机的拆分提供了数据传输保障。在应用探索阶段,我
们分析出 3D 机器视觉对 5G 上行带宽及传输时延提出了极高要求, 中国联通正在
积极与华为等厂商共同研究 SUL、超级上行、专属帧结构、上行MIMO 增强、全
上行频谱解耦、多终端协同等 5G 上行增强新技术,进一步提高网络上行传输能力,
使设备与处理算法的完全解耦成为可能,为 3D 机器视觉能力平台化创造条件。
3D 机器视觉平台化,是通过建立协同平台,对生产数据、产品数据、核心检测算
法、硬件算力设施进行统一的协调和生产部署,以算力上移,算法云化,提高软硬
件系统的资源利用率和复用率,大幅降低 3D 机器视觉应用的部署成本,以及 3D
视觉应用的泛化程度。最后,在 5G+3D 机器视觉平台向下连接各种硬件设备,向
上服务不同业务应用逻辑时,需逐步引导硬件设备的标准化,并催生面向客户不同
业务逻辑的统一应用开发框架,提高技术验证效率,降低试运行成本,为 3D 机器视
觉技术推广铺平道路。
因此,在 5G 所构建的大连接管网之上,运营商将积极与产业上下游合作伙
伴携手,结合云计算、大数据、人工智能等技术,构建大计算、大数据、大安全、大
应用坚实数字化能力底座,进一步加速 3D 机器视觉的技术推广速度,优化生
产制造、质量检测等流程,让 5G 更加充分地发挥其作用,为行业数字化转型提
供源源不断的创新驱动力。