腾讯数据闭环平台
产品介绍
数据闭环平台-产品概述
预标注大模型 多模态大模型 生成式大模型 云服务
城市道路数据 园区场景数据 高速快速路数据海量训练数据集
传统
数据管理
数据分析
数据存储 云端大模型
自动标注
数据闭环平台:基于云服务、预标注大模型、多模态大模型、海量数据集,赋能数据采集、存储、清洗、标注、生产、品控、检索闭环
链路,服务于自动驾驶、空间计算等领域模型训练和调优的数据管理平台
支撑传统数据管理流程 集成先进技术驱动提效
数据标注
模型训练
模型部署
数据采集
根据场景特征
文搜图
3DGS数据生成
数据闭环
数据自动回传 平台
生成式大模型
场景数据泛化
云端协同作业
室内场地数据
智能驾驶研发三个阶段和研发痛点
⚫ corner case
⚫ 极端case
⚫ case难以采集、无法采集
⚫ 木桶短板如何提升
⚫ 场景数据如何积累
⚫ 采集、标注过于低效
⚫ 问题->数据->模型->问题的
闭环构建
⚫ Data Hungry
⚫ 数据效率、成本
⚫ 人工标注效率低下、成本高
昂
⚫ 17元/帧,3帧/人天
⚫ 50W帧=850W,人
天 (100个人标年)
99% %
极致阶段:余下1%
0% 90% 90% 99%
起步阶段:从零开始 迭代阶段:场景打磨
腾讯自动驾驶数据闭环解决方案
更优
模型
实车测试/运营
车端模型部署
数据存储
仿真测评 模型训练调优 数据检索
数据标注
数
据
生
成
传感器数据 车端模块数据
采集、测试、运营
城区 高快 园区 室内
路采数据回传
解析
清洗
数据存储
识别大模型:4D时空的自动标注
大模型自动标注 人工质检+修正
人工标注+质检
AI标注引擎
数据传输
原始
数据
⚫ 4D动态标注工具链
⚫ 静态真值生成工具链
⚫ 多模态样本挖掘工具链
⚫ 场景重建编辑工具链
量产模型部署
影子模型部署 OTA升级
仿真测评 感知
算法
目标
检测
语义
分割
实例
分割
2D图
像分割
3D
分割
多模态大模型:文搜图/视频
合成数据
AI编辑引擎
AI检索引擎
数据闭环解决方案 — 4D标注工具链
解决方案:多模态云端识别大模型自动化标注。
痛点:感知真值标注时间成本、人力成本过高,需要高能力上界
的预标注算法模型,提供高质量初始标注。
Multi
Camera
Lidar
Points
Camera
Encoder
Camera
Features
Camera
to BEV
Cam-BEV
Features
Lidar
Encoder
Lidar
Features
Pillar
Flatten
Lidar-BEV
Features
Fusion
Features
3D Detection Boxes
The Multimodel 2 3D Detection Boxes
The Multimodel N 3D Detection Boxes
Dynamic Learn
Different Model
Weights
Weights
Boxes
Fusion
激光 视觉融合的4D动态标注大模型
数据闭环解决方案 — 激光分割工具链
解决方案:自动分割标注模
型,完成数据预标注。
痛点:激光分割标注耗时耗
力,需要预标注算法模型,提
供高质量初始标注。
激光点云语义分割
数据闭环解决方案 — 静态真值生成工具链
某OEM改装车+地图母库成果投影
某OEM环视采集车+地图母库成果投影 某OEM小巴车+地图母库成果投影
基于HD Map母库重定位检索的静态建图真值标注流程
轨迹精解算
3D/2D工具链
资料采集
图像
点云
腾讯真值数据
0Em采集车数据
RTK/GnS5
IDU、轮速数据
点云
图像
轨迹
地图
资料处理 算法匹配 人工标注和质检 数据入库
数据闭环解决方案 — 静态真值生成工具链
10倍
标注效率提升
90%
标注成本降低
HD真值数据 BEV标注数据
资料采集和制作
• 真值数据
• 采集车数据
• 拓扑关联、点云解析
• 定位图层生成
• HD/SD成果
资料处理
算法匹配
• 激光融合定位
算法
• 结果生成
标注和质检
• 自动要素提取
• 质检
• 编辑和精修
• BEV静态标注
数据集
数据入库
数据闭环解决方案 — 场景样本挖掘工具链
跨模态云端
文图检索大模型
解决方案:文本自动化检索同样语义的传感器样本数据,批量化累积该类问题的样本数据;
结合云端推理大模型,直接形成针对性样本真值集。
业务痛点:场景问题case需要补充案例数据,case难以批量化收集,模型迭代慢。
多模态图文
大模型
多模态图文
大模型
云端识别
大模型
云端识别
大模型
测评
通过
Y
N
问题
样本
Y
N
迭
代
数据闭环解决方案 — 场景重建编辑工具链
行为编辑(上移)视角迁移(下移)
目标旋转编辑与识别(假)大视场重建与编辑(假)
相机拍摄(真) 重建还原(假)
Background
Foreground
End2End
智驾决策评测:4DGS重建+车辆行为仿真的端到端自动驾驶评测工具链
自主可控
助力快速实现自主可控
• 全自研数据闭环链路
• 业内领先自动化标注及挖掘能力
• 核心引擎和工具帮助快速实现自主可控的数据平台
谢谢