江苏省环保厅重点污染源:
云计算高清视频监控系统
目录
第一章 背景需求.........................................................................................................4
第二章 系统概述.........................................................................................................5
系统整体概述 ................................................................................................5
系统功能概述 ................................................................................................8
第三章 系统设计.......................................................................................................11
系统设计原则 ..............................................................................................11
系统设计方案 ..............................................................................................11
逻辑架构 ............................................................................................12
系统架构 ............................................................................................14
网络架构 ............................................................................................19
方案优势 ......................................................................................................21
第四章 子系统描述...................................................................................................23
接入子系统 ..................................................................................................23
标准流媒体协议 RTSP 方式 .............................................................23
第三方视频监控平台 SDK 方式 ......................................................24
传感器检测平台接入方式 ................................................................24
存储/处理子系统 .........................................................................................25
处理系统 ............................................................................................26
存储系统 ............................................................................................27
调度子系统 ..................................................................................................27
流媒体输出子系统 ......................................................................................29
第五章 关键技术.......................................................................................................30
cVideo 智能识别 ...........................................................................................30
简介 ....................................................................................................30
应用案例 ............................................................................................30
cVideo 云端转码 ...........................................................................................33
视频转码简介 ....................................................................................33
云转码 ................................................................................................33
JobKeeper 云调度 .........................................................................................35
简介 ....................................................................................................35
JobKeeper 主要优势 ...........................................................................35
JobKeeper 架构 ...................................................................................36
cProc 云处理 .................................................................................................38
cProc 简介 ...........................................................................................38
cProc 主要优势 ...................................................................................39
cProc 系统架构 ...................................................................................39
cStor 云存储 .................................................................................................42
cStor 简介 ............................................................................................42
C 1000 系列产品特性.........................................................................43
cStor 系统构架 ....................................................................................45
第六章 规划部署.......................................................................................................46
规划分析 ......................................................................................................46
规划综述 ......................................................................................................47
详细报价清单 ..............................................................................................47
第一章 背景需求
随着全球工业化的深入,人类的生存环境正日益受到生活和生产所产生的污染物的
危害。随着,中国经济环境的改善,人们也日益重视生活环境的提高。环境保护、环境
监测成为我们合理利用环境资源、保护生态环境的重要工作。
改革开放以来,环境保护部门针对环境保护开展了一系列措施。包括改善能源结构,
提高清洁能源使用率,推广集中供热,强化工业结构调整、污染企业搬迁、加强机动车
尾气控制和扬尘污染控制等等。然而在城市经济持续快速增长和城市化进程不断加快的
情况下,部分企业投机取巧、打擦边球,更有甚者只是在环保部门进行企业检查时才搞
一些表面工作,给环境监管带来困难。目前绝大部分环保检测系统仅仅实现了数据监测
功能,如实时采集和监测排污点的二氧化硫和化学需氧量的排放量。然而没有实现图像
监控功能则造成无法直观的看到排污点的实际景像。
为此,建立以环保部门为中心,相关排污企业为支点的污染源视频监控系统势在必
行。加大在重点流域、水域和饮用水源污染防治和保护工作,加强城市工业结构调整、
污染企业搬迁和企业污水排放治理,加强市区河道环境综合整治,进一步改善水源保护
区水质状况和环境质量,确保饮用水源的环境质量和安全。
第二章 系统概述
系统整体概述
对工业污染源的监察的功能要求应包括:环境监察部门可以通过 B/S 终端、移动终
端、大屏上墙等方式实时检测到排污口的检测数值(空气粉尘、污染气体浓度、水质 PH
值等)、污水排放流量值及相应的视频图像。通过视频监控排污点的实时情况,可获得
更多的前端信息使环境监测更加直观、具体。远程对前端污染源进行“实地”观看,可以
很大程度上减少现场视察的成本,极大提高工作人员到现场监察的次数和“偶然性”,进
而减少被监察对象在现场检查前提前做准备的机会
图 2-1 江苏省环保厅排污现场综合视频监控该平台拓扑图
针对此次项目的实际情况,系统采用如图 2-1 的平台拓扑图进行平台开发设计。平
台整合各类排污点传感器监测平台,采集不同的环保监测数据,如 PH 值、二氧化碳含
量、二氧化硫含量等,在相应的视频图像上进行叠加,既可以看到污染源企业的废弃、
废水的排放图像,又能显示相关的检测数据。使用户使用在体验上更加直观、更加方便。
图 2-2 排污点视频监控画面图解
针对用户需求,系统将设计为同时满足大屏显示、PC 客户端查看及移动终端调取
方式,对排污点进行实时监控。
图 2-3 大屏显示监测点实时情况
系统功能概述
1、远程图像传输
系统采用标准的 TCP/IP 协议,可应用在局域网、广域网和无线网络之上。视频服
务器提供 RJ-45 以太网接口,可直接接入局域网交换机或者 HUB 上,同时,设备可任
意设置网关,完全支持跨网段、有路由器的远程视频监控环境。监控中心安装视频监控
服务器,局域网中的授权用户可通过 IE 浏览器监控远程现场。不同的监控用户可根据
自己的监控需求灵活切换到任意一个监控现场,可多人同时观看一个现场,也可以不同
用户选择任意现场监控。
2、远程设备监控
监控用户可分配给不同的控制权限。控制权限高的用户可优先对设备进行控制,如
控制云台转动选择监视区域对象;调节摄像机镜头改变监视范围和观察效果;还可以对
指定的其他现场设备开关进行控制等。
3、多画面监视
系统具有在同一客户终端上同时监视四路、八路或者十六路前端图像的功能。用户
点击某一路图像时可放大实时监控。
4、多画面轮巡
监控用户可将监控现场在特定的时间间隔内按顺序轮流切换,也可在一个图像框内
轮巡显示全部的摄像机画面。画面切换间隔时间可灵活设置,画面间隔时间可调节。
5、控制优先权机制
管理机制完善,可以给不同级别的用户分别分配相应的控制权限。
6、录像与回放
用户可以按时间、摄像机号、报警事件等条件智能化快速检索回放记录的录像资料,
可以用软件内置的播放器进行播放。图像播放速度可手动调节。
计划录像
系统管理员可设定多个时间段对多个监控前端的图像进行录制,图像数据保存在
图像监控系统服务器的硬盘上。定时方式可选择单次录像和每天定时录像,各个
时段可以单独设置。录像速度可以调节。
报警自动录像
若某一报警探测器布防时选择录像功能,则当该报警探测器有报警发生时,自动
进行录像,录像时间用户可以事先设定,录像速度也可以调节。报警自动录像文
件保存在图像监控系统服务器的硬盘上。
手动录像
监控终端用户可根据需要随时选择系统各个监控前端进行录像控制,图像数据保
存在客户端本地的硬盘上。
录像回放
用户可以按时间、摄像机号、报警事件等条件智能化快速检索回放记录的录像资
料,可以用软件内置的播放器进行播放。图像播放速度可手动调节。
录像管理
采用 cStor 海量存储,保证视频数据无限扩展的同时,系统安全可靠、数据安全
有效
7、手动抓图功能
在系统实时监控时,提供手动抓图的快捷键。用户可以在监控的同时,将一些重点
情况保存。
8、远程报警及联动控制
当发生报警时,可联动一个或者几个设备协同工作。报警信号输入可来自烟感探测
器、红外防盗报警探测器等各种报警检测设备,输出控制信号可配置与各个报警信号相
关联。当监视点发生报警时,系统自动启动各种对应的联动设备,自动录像。监控客户
终端可显示报警信息,并有声音报警提示。
9、用户管理功能
提供安全完善的用户帐号密码管理功能和严格的控制权限分级制度。只有经过授权、
拥有帐号密码的用户才能浏览或控制摄象机。
10、密码保护功能
系统采用严格的操作密码保护机制。现场监控设备―视频服务器,有用户级密码保
护。维护人员如需修改设备设置,必须输入授权的用户名和密码。
系统访问认证:用户进入远程视频监控系统必须事先进行输入用户名和密码,系统
管理员根据用户授予相应的权限监视和控制权限。
第三章 系统设计
系统设计原则
整个视频监控系统设计先进,配置合理,符合标准化、规范化、现代化的要求。
系统设计和设备选型,充分考虑系统的可靠性、实用性、先进性和经济性。
分布式监控,集中式管理,智能化设置、人性化操作。
系统中局部故障不影响系统全局的正常工作,系统稳定,易维护。
系统具备很强的扩展能力,为以后的系统更新、升级、扩展,预留了很大的空间。
多种网络接入方式,适合各种网络环境,应用领域广泛。
系统设计方案
鉴于此项目 50 路高清视频实时监控并长时间存储,在保证监控质量的同时,监控
平台对数据存储和视频数据回调均有较高的要求,因此建议采用南京云创存储公司自行
研发和设计的大规模高清视频监控解决方案。依托本公司的 cStor 云存储平台,以及
cProc 云处理平台,使得 cVideo 构架下的综合调度和云端转码可以完美地满足超大规模
视频监控、海量数据存储、以及远距离监控的要求。同时,cVideo 研发了国际领先的
智能图像识别算法,采用大规模分布式云处理,使得计算机对视频数据达到了空前的识
别和认知水平,对于蓄意破坏视频监控设备的人员、企图破坏监测仪器的人员、和不法
盗窃人员等等可实现视频智能识别,自动报警。
逻辑架构
图 3-1 cVideo 系统架构图
cVideo 云视频监控系统利用 cStor 云存储和 cProc 云处理技术实现高清视频监控,
是在服务器集群上部署一整套基于云架构的视频处理软件,上图为简化的 cVideo 云平
台框图,其核心内容是对接入视频的实时处理分析。
基于云计算的模式,采取海量分布式 JobKeeper 云调度架构,以集群的形式共同对
外服务。以实现诸如视频内容识别、云端转码、智能分析等实时数据、动态伸缩等需求。
最后将处理好的图像信息以流媒体的形式输出,并提供给上层各类应用对应的接口。
资源层:包括摄像头、卡口等前端数据采集设备所采集到的原始视频图像数据,以
及响应业务信息,如:人力、车辆、区域分布等资源信息。
接入层:整合数据资源、业务资源、存储资源,使其符合系统标准,实现不同资源
的接入。
数据存储层:即 cStor 云存储系统,提供海量的存储空间,以备历史数据的回看与
处理。
数据处理层:即 cProc 云处理系统,提供高效的视频转码、内容识别等大规
模数据处理能力。
数据分发:以流媒体服务器的形式提供标准的 RTSP 流媒体输出,可以支持高并发
访问。
API 层:提供 API 接口,实现上层应用对底层资源的透明操作,提供业务应用的开
发支持。
调度控制层:实现对以上各层的综合调度与控制,以实现整套系统机制。
应用层:主要包括实时监控、调阅查询、内容识别等视频相关应用,为用户提供友
善的界面、人性化的操作方式,能够让用户简单高效的监控多个视频源。功能如下:
1) 信息采集设备的管理,监控控制端对视频中心服务器中的设备数据库进行操作,
实现添加和删除系统中的卡口和摄像头。
2) 用户管理,监控控制端对视频中心服务器中的用户数据库进行操作,实现用户
注册、注销以及权限设置。
3) 按时间检索历史记录,提供按时间检索记录的窗口,向视频中心服务器发送检
索命令,获取历史记录的相关信息。
4) 历史记录回放,根据历史记录的相关信息,播放 cStor 中的历史记录
5) 录像,监控控制端通过中心服务器向存储管理端发送录像命令,存储管理 端控
制设备进行录像,获取的数据直接存储到 cStor 中。
系统架构
cVideo 云视频平台主要由七个模块组成:前端设备、接入服务器、处理服务器集
群、存储服务器集群、流媒体服务器、中心服务器和客户端。
图 3-2 cVideo 总体描述图
cVideo 云视频监控系统是南京云创存储公司自行研发和设计的大规模高清视频监
控解决方案。依托本公司的 cStor 云存储平台,以及 cProc 云处理平台,使得 cVideo 构
架下的综合调度和云端转码可以完美地满足超大规模视频监控、海量数据存储、以及远
距离监控的要求。同时,cVideo 研发了国际领先的智能图像识别算法,采用大规模分
布式云处理,使得计算机对视频数据达到了空前的识别和认知水平。
(1)模块功能描述:
前端设备:
前端设备在中心服务器的调度下进行信息采集编码,并通过网络传输。媒体数据流
以 RTSP 的形式传输给存处理服务器,或者以 SDK 的形式传输给接入服务器、处理服
务器;同时 SDK 提供设备参数、状态、云台控制等信令控制接口。(前端设备包括:模
拟摄像机、网络摄像机、卡口设备、第三方平台等)
接入服务器:
整合各种前端设备,将不同厂家不同平台的前端设备通过 RTSP、SDK 的方式接入
本“平台”,以实现多种前端摄像机、已有平台的统一接入,供本平台内其他模块统一调
用,并以轮询的方式监听前端设备,如有异常测产生报警信号。
获取设备参数信息:接收中心服务器发来的请求,通过前端设备厂家的协议获取设
备参数信息,反馈给中心服务器。
状态信息轮询:轮询前端设备的状态,及时获取前端设备是否掉线,反馈给中心服
务器,由中心服务器告警、记录、显示。
云台控制协议转换:将系统接收的用户控制信令转换为设备厂家对应的协议,并发
送给前端设备,从而使用户实现云台方向控制。
接入第三方平台:提供系统与第三方平台的协议转换,实现无缝对接。通过接入第
三方平台的前端监控设备,实现云台控制。获取视频数据流的地址,以及第三方平
台设备的列表、信息、状态。
对少量的不支持标准协议且不提供 linux SDK 的前端设备,有针对性的接入,采用
SDK 接收流并转换成标准协议的数据流。
中心服务器:
平台的核心控制部分,实现了与客户端的信令交互、通过 JobKeeper 云调度系统来
调度云集群节点处理各项任务、并实现对整个平台的统一管理和监控。
用户管理功能:根据用户信息表,管理用户登录、用户的权限,可以管理用户信息、
增删用户等。
前端信息采集设备管理功能:根据摄像机和用户的权限,管理当前用户所能涉及的
前端设备状态、节点运行状态,并进行实时的更新。
与用户和前端设备的信息交互功能:更新前端信息,并根据客户需求进行对前端设
备调度,以及对 JobKeeper 的任务分发。同时,进行信息数据的处理,以完成整个
平台的调度工作。
对服务器集群进行统一的调度管理,获取每台机器的运行状态。根据机器的运行状
态进行自动调度和部署,负载均衡,提高机器的使用率,进而提高服务器的梳理效
率。
解决服务器集群信息处理的冗余状态,查错排错,保证系统的无人值守、自动生长
的高效性。
云存储系统:
使用 cStor 云存储系统,提供统一的存储资源池,用以存储关键数据,提供历史视
频的回看以及相关数据的下载服务。同时,作为分布式文件系统,提供其他模块的支持,
如流媒体服务器集群的支持。
处理服务器集群:
大致可以分为接入分析、数据处理和结果分发三个子模块,主要负责对完成对接入
视频的各项处理任务。
内容识别:利用计算机通过图像处理和分析理解画面内容将安保人员从繁重的监控
任务中解脱出来。
实时转码:将视频转码计算放大云端,实现整个系统内的实时视频转码,以满足用
户对不同分辨率,不同码流,不同终端的使用需求。
视频数据存储:将处理后的视频数据进行实时存储,方便日后回调查看。
状态监控:监控各个处理节点的运行状态,负载均衡,高效工作。
流媒体服务器集群:
以集群的形式对外提供负载均衡的标准 RTSP 流媒体并发推流服务,用户根据相应
的流媒体 RTSP 地址,即可实时地获取系统处理完后的实时视频数据和存储的历史视频
数据,以供监控和远程访问。
负载均衡、高并发访问:通过负载均衡各节点运行状态,提高系统工作效率,满足
系统的高并发访问需求。
监控视频流实时转发:前端视频数据经处理系统处理后,流媒体服务器将处理后的
监控视频流进行实时转发给用户,满足各种客户端需求
历史视频数据流化推送:
服务器状态(负载、链接数)等信息获取:
客户端
支持 windows、linux、ios、android 等主流操作系统,提供 B/S 架构客户端等,实
现与用户的直接交互。
(2)工作流程描述:
1) 客户端发送命令:
客户端向中心服务器发送命令,中心服务器根据客户端信息进行分析判断,得知用
户的客户端类型、网络状态、信息要求等,从而根据需求对前端设备、JobKeeper 等进
行调度控制。
2) 中心服务器调度:
中心服务器响应客户端命令,对前端设备进行调度控制。根据用户的指令,把客户
需求的信息进行实时采集,同时使用 JobKeeper 进行对集群的任务分发,完成对应的存
储、处理或监控等请求。
3) 中心服务器调度存储/处理集群:
a) 存储服务器集群接收命令工作
中心服务器响应客户端命令,向 JobKeeper 发送命令。JobKeeper 根据存储服务
器集群的工作状态,选择负载较小的服务器进行高清存储。
b) 处理服务器集群接收命令工作
中心服务器响应客户端命令,向 JobKeeper 发送命令。JobKeeper 根据处理服务器
集群的工作状态,选择负载较小的处理节点进行实时处理、识别转码,并根据用户的网
络状态分发到对应的流媒体服务器。进而,流媒体服务器将客户所需的处理过后的实时
监控视频传递给客户端。
网络架构
图 3-3 cVideo 数据流图
接入服务器:传统视频监控和防范报警系统建设具有投资大、技术要求高、设计用户广、链接
环节多等特点。同时,不同厂商间的设备对视频接入要求不同,因此要整合现有平台,提供标
准输出。将前端各类设备采集到的视频数据接入到 cVideo 系统中。同时,实现与其他平台的对
接,完成信令流的转换。
中心服务器:负责获取用户从客户端或者其他的上层系统发出的指令,综合调度各个服务器,
实现整套 cVideo 的控制机制。
cStor 存储服务器:用以长期存储视频数据,以备视频回看、重新处理等需求。
cProc 处理服务器:提供诸如视频转码、内容识别、行为检测、智能分析等所需的大规模数据
处理能力,为实现传统架构下难以实现的应用提供支持。
分发服务器:以流媒体的形式将处理后的视频数据提供对外接口,支持标准 RTSP 协议。
客户端:与用户的交互平台,用以向中心服务器发送各种控制指令。
其他平台:指其他的可能需要与 cVideo 对接亦或上层应用的系统
图 3-3 简要描述了 cVideo 云视频监控系统的系统数据流。其中支持 RTSP 标准协
议的网络摄像机等前端设备,可以直接接入 cVideo 综合处理云平台中;模拟摄像头经
过编码器编码后接入到平台中;其他平台或前端设备可以经过 SDK 整合后接入。经过
接入服务器后,进入云处理集群进行数据处理,实现对实时视频流的内容识别、转码、
智能分析等功能,并经过转发服务器以流媒体的形式对外提供服务。对于经过 cVideo
处理后流出的视频数据,如果是终端设备(手机、IPAD 等)需求,则直接由 cVideo 的
转发服务器发送转码后的视频流;如果是上电视墙显示的需求,将视频流推送给解码器
进行解码上墙。
方案优势
高性价比和动态伸缩性
cVideo 构建于 cStor 云存储、cProc 云计算平台之上,有着低廉、高可靠性的海量
存储能力、数据处理能力和无限可扩展能力,当用户存储需求增长时,也仅需添加存储
节点即可,并且支持热插拔、服务不停动态升级等功能,这将大幅降低用户的投资及升
级维护费用。
海量视频数据实时处理
高清视频监控中的主要问题是如何处理庞大的高清视频数据。如果采用 1080P 的高
清视频监控,使用能获得最高压缩比的 图像压缩技术处理收集的高清视频,则压
缩输出码率最高可达到 6Mbps,也就是每台摄像机每天将大约产生 50GB 左右的数据量,
这对于存储、处理的压力是十分巨大的。
cVideo 系统基于分布式的架构,以集群的形式共同对外提供服务,将海量实时视
频数据的压力均匀分散到每个处理节点上,实现负载均衡,保证每个节点都处于高效的
运转状态。根据实时性的要求,我们将数据接入、处理、转发等模块做了优化,尽量做
到数据在集群内不迁移,减少 IO 和传输操作,进一步确保实时性的要求。
基于应用层的 HTTP 协议交互
为了应对跨平台使用以及第三方应用开发的需求,cVideo 对外的接口使用标准的
HTTP 协议。cVideo 省去了繁杂的 SDK,而是在系统内部搭建 RPC 服务器,以响应
WebServer 服务器收到的请求,提供远程请求方法调用的形式,只需要以 HTTP 协议发
送请求(即相应的 URL 地址),系统就会将结果返回,使得操作十分简便。
云端转码技术
为了尽可能优化系统性能,cVideo 将根据用户客户端的监控需求瞬时动态地调整
视频分辨率,从而在满足用户需求的同时降低对网络带宽的消耗,因而支持更高的系统
规模。
对于摄像头采集的高清视频信号,cVideo 将在 cProc 云计算平台上采用高效实时转
码技术,将采集到的各路高清视频信号转换为符合监控客户端需求的信号,并实时转发,
这样可以有效地减小监控端处的解码压力,使得监控更为流畅,并能有效地支持诸如手
机等移动终端的监控需求。
智能内容识别
cVideo 的智能图像检索采用先进的图像处理技术并结合模式识别对已有的海量视
频进行事件检索,实现了对事件发生视频的切片回放、运动帧提取和对象跟踪。目前
cVideo 可以对烟、火、运动物体、遗留物、车辆统计和特定行为等情况下的识别达到
很高的识别度,错检率和误检率几乎为零。
cVideo 的智能图像处理构架于 JobKeeper 云调度和 cProc 云处理架构之上,使许多
传统模式下难以处理的识别应用得以实现。诸如在犯罪嫌疑人识别问题中,cVideo 研
发了国际领先的运动目标 DNA 算法,首先分析监控视频中目标人物的运动模式,建立
运动 DNA 序列,为后续分析处理提供基础。后续分析包括运动目标优化、运动轨迹分
析、运动特征提取、步态建模等等。
第四章 子系统描述
本章节将对系统中接入、处理、存储、调度等各个模块进一步细化描述,通过具体
描述,阐述清楚整个系统的工作流程。
接入子系统
根据需求,前端采集设备大致分为:已有部分模拟监控摄像机、新建的 50 个高清
网络摄像机、电信全球眼平台、传感器检测平台、以及部分其他第三方平台。鉴于前端
设备的不同,接入系统也分为几种方式,将前端设备透明地接入本系统,实现对前端设
备的可控可管。
图 4-1 接入子系统描述
标准流媒体协议 RTSP 方式
RTSP(Real Time Streaming Protocol),实时流传输协议,是 TCP/IP 协议体系中的
一个应用层协议,由哥伦比亚大学、网景和 RealNetworks 公司提交的 IETF RFC 标准。
该协议定义了一对多应用程序如何有效地通过 IP 网络传送多媒体数据。RTSP 在体系结
构上位于 RTP 和 RTCP 之上,它使用 TCP 或 RTP 完成数据传输。HTTP 与 RTSP 相比,
HTTP 传送 HTML,而 RTSP 传送的是多媒体数据。
针对新建的高清网络摄像机,由于其支持 RTSP 标准流媒体协议,因而可以直接通
过 RTSP 的准则,将前端设备的数据流接入系统。
第三方视频监控平台 SDK 方式
针对电信全球眼和其他第三方视频监控平台,则需要针对这些平台厂家给出的 SDK
协议,接入服务器通过与其平台进行对接和协议通信,从而获取所需的视频流。由于第
三方平台一般与环保视频专网互相隔离,大都需要经过公网,因此在接入时需要经过网
闸,因此接入并发量和传输效率可能会受到少许影响,需要针对实际情况做一些优化措
施。
传感器检测平台接入方式
不同与前面两种接入方式,针对前端传感器采集到的数据,大都为处理后的文本信
息,在数据总量上会远小于视频数据,但是条数,即:数量却十分庞大,因此对于此类
前端设备,需要通过接入服务器,实时地将大量前端采集合成后的文本信息存入数据库
中。
存储/处理子系统
图 4-2 存储/处理模块图
上图描述了存储/处理模块的工作流程与各个分模块之间的关系。前端设备采集信
息接入服务器,Jobkeeper 与存储服务器和处理节点进行交互。
处理服务器集群根据客户需求对采集到的信息进行实时处理,在 Jobkeeper 的综合
调度控制下,处理节点进行分布式计算,完成内容识别、云端转码、数据分析、语义分
析等任务。
存储服务器集群和处理服务器并行处理采集到的信息,存储服务器将采集到的信息
实时存储到存储节点。cStor 存储服务器集群具备的海量存储能力,保证视频数据的长
期存储,以备视频回看、重新处理等需求。
处理系统
处理服务器集群以处理节点为单位,对采集到的数据按照接入、处理、转码、分发
的流程对数据进行实时处理,后续需求会加上智能识别等模块。
图 4-3 数据处理举例示意图
处理节点组通过 RPC 的远程调用获取各自节点的任务处理目标,并实时的和处理
节点上的任务处理目标进行对比,控制程序的执行和结束。处理节点组会在一个设定的
心跳间隔内主动的和管理节点组联系一次,报告节点存活状态。如果在若干个心跳间隔
后管理节点组仍然没有获取到处理节点心跳报告,那么该处理节点将会被踢出处理节点
组,同时该节点处理的所有处理任务也会被重新调度。随着集群处理数据量的不断增大,
处理节点组提供了简单高效的自动化部署方案,当新机器加入处理集群后,会主动的与
管理节点组同步心跳信息,从同一配置服务器 ZooKeeper 上获取相关配置信息,通过
WebServer 服务获取任务列表,开始执行数据处理工作。
前端设备将采集到的视频等信息将数据存储至云处理集群并进行相应的云存储处
理。当客户端需要视频转码或者智能识别时,通过 JobKeeper 调度云处理集群中的各个
处理节点,节点收到查询请求后进行不同的处理,并将处理后得到到的数据结果交付给
客户端;而如果是视频数据,则通过流媒体服务器返回给客户端。
存储系统
高性能高可靠的 cStorFS 分布式云存储文件系统,采用了更为廉价的普通硬盘和服
务器作为存储设备,成本大大降低。同时靠软件来保证数据的完整可靠性,系统可提
供 7 * 24 小时的不间断存储服务,由于控制流与数据流分离,系统在块数据服务器越多
的情况下性能越高。且随着应用客户端写入的并发数越多,吞吐量接近线性增长直到带
宽饱和利用。
其中 cStor 云存储系统由以下部分组成:用户挂载空间(即客户端),元数据管理
服务器,数据存储服务器和管理监控中心。
图 4-4 cStor 云存储系统组成
调度子系统
JobKeeper 调度平台是建立于虚拟化资源层之上,统一调度,统一配置的管理平台,
用于对集群中任务实时的处理调度,实时结果集的反馈,集群的负载均衡,失败调度,
集中管理,集中配置的平台。用来保证整个集群的超低人员干预。同时,提供完善的集
群伸缩机制为整个服务提供更高的可靠性。
图 4-5 JobKeeper 架构图
它是由一组管理节点(Master Node)和一组处理节点(Task Node)组成,管理节
点组是一组基于 Webserver 的 RPC(注:RPC 采用客户机/服务器模式。请求程序就是
一个客户机,而服务提供程序就是一个服务器。首先,客户机调用进程发送一个有进程
参数的调用信息到服务进程,然后等待应答信息。在服务器端,进程保持睡眠状态直到
调用信息的到达为止。当一个调用信息到达,服务器获得进程参数,计算结果,发送答
复信息,然后等待下一个调用信息,最后,客户端调用进程接收答复信息,获得进程结
果,然后调用执行继续进行)。
服务器节点组,负责对处理节点的系统信息以及任务处理信息进行实时的跟踪和保
存,对应的信息镜像存储在基于 cStor 或者 NFS 服务的存储系统上,保证每个管理节点
中的镜像信息的实时同步。同时架设在管理节点上的 ZooKeeper 服务(注:ZooKeeper
是一个分布式的,开放源码的分布式应用程序协调服务,包含一个简单的原语集。分布
式应用可以使用它来实现诸如:统一命名服务、配置管理、分布式锁服务、集群管理等
功能),用于对整个管理节点组进行统一的配置化管理。
流媒体输出子系统
本系统输出为标准 RTSP 视频流,通过构建流媒体服务器集群和负载均衡机制,使
得多台流媒体服务器可以共同对外提供服务,支持高并发访问。
图 4-6 输出子系统描述
针对 PC 机和解码上墙,此类需求一般为高清码流,因此布设在环保视频专网内,
走局域网保证清晰度和实时性。
针对移动终端,由于其会经过公网,因此采用 APN 方式连接,APN 的英文全称是
Access Point Name,中文全称叫接入点,是移动终端上网时必须配置的一个参数,它决
定了移动终端通过哪种接入方式来访问网络。如:使用联通的 3G 网络(WCDMA),
使用 APN 接入方式并于其鉴定协议,就可根据用户名判定,生成虚通路连接进入环保
视频专网,从而通过流媒体服务器获得视频流。
并且,由于无线信道的带宽不是非常稳定,因此码流一旦较大,视频的传输质量会
很差,加之移动终端的解码能力有限。因此,需要对此类视频做实时云端转码处理,降
低其传输码率,从而保障移动终端监控的实时性和稳定性。
第五章 关键技术
以上系统架构中,涉及到的具体技术包括了 cVideo 的智能识别技术、cVideo 的云
端转码技术、JobKeeper 云调度方法、cStor 云存储技术、以及 cProc 云处理框架。其中
cVideo 的智能识别和云端转码技术负责对视频流的进一步处理,cStor 实现对海量视频
数据的存储,而 JobKeeper 和 cProc 负责综合管理和统一调度,实现云内计算机的联动
和各类保障,共同对外提供服务。
cVideo 智能识别
简介
随着平安城市的建设,视频监控系统的基础建设已经初具规模并且仍在迅速扩大,
几十万甚至几百万个摄像头所得到的视频监控影像资料是庞大的,要从中获取事件相关
的信息需要花费巨大的时间和人力。视频内容分析技术(Video Content Analysis, VCA)来
源于计算机视觉,它能够在图像及图像描述之间建立映射关系,从而使计算机能够通过
图像处理和分析来理解画面中的内容,其实质是“自动分析和抽取视频源中的关键信
息”。视频内容分析技术将大量的、枯燥的视频内容分析工作交给了编码器或计算机,
将保安人员从传统的繁重监控任务中解脱出来,它对传统的视频监控技术是一个“颠覆
性”的创新,改变了多年来人们应用视频监控系统的习惯。
cVideo 的智能图像检索采用国际先进的图像处理技术并结合模式识别技术对已有
的海量视频进行事件检索,实现了对事件发生视频的切片回放、运动帧提取和对象跟踪。
应用案例
特定人物视频检索
cVideo 自行研发的视频 DNA 算法,应用在犯罪嫌疑人识别问题中,首先分析监控
视频中目标人物的运动模式,建立运动 DNA 序列,为后续分析处理提供基础。后续分
析包括运动目标优化、运动轨迹分析、运动特征提取、步态建模等等。
图 5-1 目标运动 DNA 序列 图 5-2 目标运动图谱
图 5-3 目标运动 DNA 序列 图 5-4 目标运动图谱
人流/车流统计
由于车辆的急剧增加,虽然道路基础设施得到了很大程度的改善,但是交通拥挤的
现象日趋严重,简单的道路视频监控已经不能满足当前的需要。为了改善这种局面,为
道路状况提供实时、准确的信息成为更加迫切的需求,推广实施各重要交通道口区域实
时交通状况图像监控是非常必要的。即在城市各重要交通道口安装一套智能交通监控系
统,通过图像传输通道将路面交通状况实时上传到道路监控指挥中心,中心值班人员可
以据此及时了解各区域路面状况,并据此调整各路口车辆流量,保持道路通畅。
图 5-5 交通道口车流检测统计
这项技术同样可以应用于人流统计、以及对旅游景点、闹市区和大型展会的人员密
度分析等。视频分析的结果受到监控视频图像质量的影响,雨雪等恶劣天气条件下得到
的监控视频图像质量要比晴朗天气条件下的图像质量要差很多。于是,如何消除雾雨雪
等恶劣天气的影响是至关重要的。
图 5-6 雾雨雪等恶劣天气检测
事件检测
事件检测是 cVideo 智能视频分析的又一个成功例子。事件检测包括禁区检测、过
线检测、遗留物检测、物品丢失检测、打架/徘徊检测等,事件的成功检测能够大大降
低危险事件的发生率,将犯罪扼杀在摇篮里。我们采用的事件检测方法具有参数自适应
且错检率低的优点。
图 5-7 行为检测(遗留钱包)
cVideo 云端转码
视频转码简介
随着前端摄像机的清晰度不断提升,其码流和数据量成倍增长。然而一些终端的处
理能力有限,无法支持高清的分辨率;或者需要用到公网传输,带宽无法满足高清的码
流的需求等。
视频转码是一种将已压缩的视频数据从一种格式转换为另一种格式的技术,视频的
编码格式主要的有 MPEG、H264、DivX、WMA、RM 等,封装格式主要有 avi、ps、
ts、mov、mkv、mpg 等,而不同的播放器对格式的支持也不同,因此不同终端对视频
流格式也有着特殊的需求。
视频转码是一个高运算负荷的过程,需要对输入的视频流进行全解码、视频过滤/
图像处理、并且对输出格式进行全编码。最简单的转码过程仅仅涉及到解码一个比 特
流和用不同的编解码器重新编码两个步骤。这种硬转码看似很简单,只需要一个解码器
和一个编码器,但是最终显示结果并不理想,因为视频数据解码后重新编码会降低画质。
硬解码无法利用捷径,所以和采用智能转码算法的方法相比,要求更高的处理器性
能并且产生更大的功耗。如果全部通过软件进行临时处理,需要 2GHz 频率的处理器。
以现在 PC 上的 CPU 的运算能力,在运行其他程序的情况下,是无法支持实时的高清
视频转码。
云转码
由于视频转码计算量很大,单一的计算机不可能实现整个监控系统内的摄像头实时
视频数据的转码。cVideo 研发了云端转码技术,将视频转码计算放大云端,实现整个
系统内的实时视频转码,以满足用户对不同分辨率,不同码流,不同终端的使用需求。
图 5-8 转码前 图 5-9 转码后
视频接入模块首先将不同厂家的前端设备接入进来,对于支持 RTSP 的采集设备,
我们利用标准的流媒体协议接口实现视频和音频数据的传输。对于不支持 RTSP 的采集
设备,我们利用设备厂商提供的 SDK 进行接入。然后在 cProc 云计算平台上利用高效
的转码技术,将采集到的高清视频信号解码后再重新编码,在满足用户需求的同时降低
对网络带宽的消耗。同时将转码后的视频流推送给流媒体服务器分发出去。
图 5-10 云转码流程
JobKeeper 云调度
简介
如何保证在云计算平台中部分硬件或软件发生故障的情况下仍不影响系统的正常运
行;如何保证在云计算平台中高效稳定的合理化分配和执行任务;如何设计一套无人值
守,自动生长的高效系统。
这是云创团队在很长的一段时间内思考的问题。最终在无数次失败又无数次钻研的
过程中我们设计研发出了一套能够完全解决系统单点故障问题。负载均衡,自动调度与
部署的高效云调度平台,这就是 JobKeeper。
JobKeeper 主要优势
高可靠性:平台采用“多主多备,负载均衡”的管理节点设计模式,和“处理实时跟踪”
的处理节点设计模式,从而保证无论管理节点还是处理节点都不存在任何单点故障
问题。
低依赖性:平台采用模块化设计思想,通过统一化配置和 API 接口的方式向用户提
供服务。无论用户应用是用何种语言开发,何种处理方式,都可以交由平台进行统
一的调度管理。
低干预性:平台采用基于事件化的统一管理模式。无论是动态扩展集群处理系统能
力,还是单点故障的任务转移,又或者是任务的实时监控和动态分配,都将在系统
无人值守的情况下自动完成。
高实时性:平台在高效率并行分布式软件的支撑下,可以实现对任务的实时分配,
实时调度,实时处理。在机器性能允许的范围内,计算任务不会出现堆积的显现,
所有任务的控制工作基本都在秒级完成,具有前所未有的高效性。
JobKeeper 架构
图 5-11 JobKeeper 架构图
上图为 JobKeeper 的基本架构图,下面对其各层作一定描述。
应用层:一组用于管理和结果反馈的显示组件。用于显示任务的处理情况以及集群中机器的活
动情况,同时其也是一个上层应用和底层服务的对接平台。是整个系统面向用户和开发人员的
基础承载。
业务层:对于应用层的相关功能的业务化,数字化处理,用于将应用层的需求任务进行规则化
划分,形成统一的处理化模式。
数据处理层:独立的数据处理程序,是对不同需求数据的统一处理方案,他的运行与监控的工
作将由 JobKeeper 调度平台进行统一的配置管理。
存储层:用来存储数据存储层的处理结果集或者其他中间结果集的单元。
虚拟化资源层:将实体的机器进行虚拟化,形成更大范围的服务集群。
JobKeeper 调度平台是建立于虚拟化资源层之上,统一调度,统一配置的管理平台,
用于对集群中任务实时的处理调度,实时结果集的反馈,集群的负载均衡,失败调度,
集中管理,集中配置的平台。用来保证整个集群的超低人员干预。同时,提供完善的集
群伸缩机制为整个服务提供更高的可靠性。
图 5-12 JobKeeper 调度平台任务流程
JobKeeper 调度平台任务流程如上图,它是由一组管理节点(Master Node)和一组
处理节点(Task Node)组成,管理节点组是一组基于 Webserver 的 RPC(注:RPC
采用客户机/服务器模式。请求程序就是一个客户机,而服务提供程序就是一个服务
器。首先,客户机调用进程发送一个有进程参数的调用信息到服务进程,然后等待
应答信息。在服务器端,进程保持睡眠状态直到调用信息的到达为止。当一个调用
信息到达,服务器获得进程参数,计算结果,发送答复信息,然后等待下一个调用
信息,最后,客户端调用进程接收答复信息,获得进程结果,然后调用执行继续进
行)。
服务器节点组,负责对处理节点的系统信息以及任务处理信息进行实时的跟踪和保
存,对应的信息镜像存储在基于 cStor 或者 NFS 服务的存储系统上,保证每个管理
节点中的镜像信息的实时同步。同时架设在管理节点上的 ZooKeeper 服务(注:
ZooKeeper 是一个分布式的,开放源码的分布式应用程序协调服务,包含一个简单
的原语集。分布式应用可以使用它来实现诸如:统一命名服务、配置管理、分布式
锁服务、集群管理等功能),用于对整个管理节点组进行统一的配置化管理。
处理节点组通过 RPC 的远程调用获取各自节点的任务处理目标,并实时的和处理
节点上的任务处理目标进行对比,控制程序的执行和结束。处理节点组会在一个设
定的心跳间隔内主动的和管理节点组联系一次,报告节点存活状态。如果在若干个
心跳间隔后管理节点组仍然没有获取到处理节点心跳报告,那么该处理节点将会被
踢出处理节点组,同时该节点处理的所有处理任务也会被重新调度。随着集群处理
数据量的不断增大,处理节点组提供了简单高效的自动化部署方案,当新机器加入
处理集群后,会主动的与管理节点组同步心跳信息,从同一配置服务器 ZooKeeper
上获取相关配置信息,通过 WebServer 服务获取任务列表,开始执行数据处理工作。
JobKeeper 调度平台提供了一套基于 Web 的管理化界面,可以实时的观察各个处理
节点的任务运行状态,以及任务列表的分配情况,机器的负载情况等。用户在管理系统
界面上可以完成所有的工作,如新任务的添加,任务的手动调度以及集群日志的查看与
分析等。
任务处理节点和管理节点之间维护一个心跳时间,实时向管理节点汇报任务处理信
息,同时,任务处理节点在每个心跳时间内向管理节点获取该处理的任务列表,并和本
机正在处理的任务列表进行比对,完成相关的任务调度工作。若一个处理节点在多个心
跳时间范围内仍然没有主动的和管理节点相互联系,那么管理节点将会根据各机器的负
载情况,将失去心跳连接的处理节点上的任务进行任务的重新分配和执行。
cProc 云处理
cProc 简介
cProc 是一种处理海量数据的并行编程模型和计算框架,用于对大规模数据集的并
行计算。cProc 通过把对数据集的大规模操作分发给网络上的每个节点实现数据处理,每
个节点会周期性的把完成的工作和状态的更新报告回来。随着节点的增多,cProc 的处
理能力将成倍数增长。
cProc 主要优势
实时性 :平台在高效率并行分布式软件的支撑下,可以实时完成数据计算和分析
工作,如数据计算、数据查询、和统计分析等。数据计算不会出现数据堆积现象,
各类分析和查询工作基本都在秒级完成,具有前所未有的高效性。
高可靠性:基于对云计算可靠性深厚的研究积累,彻底解决了当前分布式计算平台
易出现的单点故障问题。任何一个节点出现故障,系统将自动屏蔽,而且不会出现
丢失数据的现象。
可伸缩性:在不停机的情况下,增加节点,平台的处理能力自动增加;减少节点,
平台的处理能力自动缩减。这样,可以做到与资源池的无缝对接,根据计算和存储
任务动态地申请或释放资源,最大限度地提高资源利用率。
高性价比:采用 X86 架构廉价计算机构建云计算平台,用软件容错替代硬件容错,
大大节省成本。在目标性能和可靠性条件下,可比传统的小型机加商用数据库方案
节省 10 倍左右的成本。
全业务支持:采用 NoSQL+关系数据库混合模式,绝大部分海量数据存放于分布
式平台并进行分布式处理,少量实时性要求很高的数据存放于关系数据库,可支撑
各种类型的业务。不仅支撑查询、统计、分析业务,还可支撑深度数据挖掘和商业
智能分析业务。
cProc 系统架构
云存储层包括公司自主研发的云储存系统 cStor 和 apache 开源云储存系统 HDFS;
而在数据管理层中,包含数据立方、Hbase;数据处理层包含 JobKeeper 和 MapReduce;
最后的监控协调层则包括 zookeeper 和 Chukwa 来实现对整个系统的实时监控和数据管
理。
下图为 cProc 云处理平台架构:
通过数据立方,可以对元数据进行数据分析、清理、分割。
对结构化数据任意关键字索引,形成一个多维数据模型,数据立方的命名也由此而
来。数据立方是独立于 cProc 云处理平台的技术架构,用户可以选择性采用数据立方,
也可以单独采用 Hbase、Hive 等技术框架,通过数据立方或 Hbase,可以将结构化数据
看成一张无限大的表,操作这张表跟操作传统关系型数据库一样,上层应用无需修改,
完全符合用户原来操作习惯。
对于非结构化数据,cProc 云处理平台采用公司自主研发的超安存算法,对这些数
据块进行分割,散乱存储到云储存系统上,然后采用分布式并行处理,对数据进行实时
处理,cProc 云处理平台的处理性能随着节点的增多而成倍数增长。
cProc 云处理平台拥有以下特点:
1) 对任意多关键字实时索引
2) 支持类 SQL 复杂并行组合查询
3) 分布式万兆实时数据流秒级处理
4) 高可靠性,系统无单点,确保意外情况下,系统的正常运行
以上特点由云创公司自主研发的下面几大功能来提供保证,分别是数据立方,分布
式数据处理,调度均衡器、数据传输接口等。
数据立方对数据建立高效的索引结构。数据立方是云创公司研发的高效数据结构,
该结构成功解决了海量数据的快速索引和查询问题,使得百亿条记录级的数据能够秒级
处理。
分布式数据处理是云创公司研发的处理海量数据的处理框架,用于对大规模数据集
的并行处理。处理能力可以通过增加或减少机器达到动态调整。采用先进的容错技术,
确保处理任务的可靠性,即使在异常情况下,如机器宕机、断网的情况下,确保处理任
务的实时性和准确性。
调度均衡器是云创公司研发的解决单点故障的一项技术,用于解决系统内的单点问
题,确保某机器的应用程序状态在宕机或断网时,可将状态从异常机器转移到其他机器
上,中间无数据丢失。
数据传输接口是云创公司经过多年积累,专门针对地面数据传输研究出高性能可靠
文件传输协议,采用并行流水线方式、将传输与存储作联合优化,并支持多点中继高效
传输。经过多项实地远程传输试验,结果表明该技术的传输效率在 1Gb/s 光纤线路上达
到了带宽的 80%左右,处于国际最高水平。
几大功能相辅相成,高效且可靠地处理海量数据,确保响应迅速,传输速度快,处
理结果准确。
cStor 云存储
cStor 简介
cStor 云存储系统是南京云创存储科技有限公司自主研发的高科技产品,是一种软
件与硬件相结合的系统,其中专有技术和软件是高附加值部分。与目前国际上知名的云
存储技术相比,具有超高性价比、高可靠、通用、免维护的优势,可以广泛应用于需要
存储大量数据的应用场合(如安防、广电、电信、互联网、银行等领域)。特别地,cStor
每个标准机架的最高容量可达 1024TB 以上,是国际最高水平的 3 倍,拥有成本和运营
成本都仅为同类产品的几分之一。
下图为 cStor 云存储产品 C1000 系列存储机柜。
图 5-14 cStor C1000 系列产品存储机柜
C 1000 系列产品特性
C1000 系列云存储产品是南京云创存储科技有限公司的第一代云存储产品,它具有
如下特性:
高可靠性
系统中采用廉价的大容量存储服务节点,通过 cStor 系统软件实现统一管理和容错,
提供高效、稳定服务。与使用专用服务器相比,可以将系统构建成本节省 5-10 倍以上,
且规模越大,优势越明显。在降低系统的构建成本的同时,系统的可靠性不仅没有收到
影响,相反,通过一系列的可靠性保障机制,使得 cStor 系统具有高可靠性的特性。
在 cStor 云存储系统中,数据具有多个副本(默认情况下是 2 份,可以根据需要设
置),任意节点出现故障,系统将会自动复制数据副本到新的节点上,不会丢失数据。
这样,在节点发生故障的情况下,也可以实现数据的无间断服务。
同时,元数据管理节点采用双机镜像模式容错,如果有一节点出现故障,另一节点
自动接替。
高性能
cStor 采用控制流与数据流分离的技术,数据的存储或读取实际上是与各个存储节
点上并行读写;这样随着存储节点数目的增多,整个系统的吞吐量和 IO 性能将呈线性
增长。
同时,cStor 采用负载均衡技术,自动均衡各服务器负载,使得各存储节点的性能
调节到最高。
在线伸缩
cStor 云存储系统扩容非常方便,支持不停止服务的情况下,动态加入新的存储节
点,无需任何操作,即实现扩容;同时,无需人为干预,也可以摘下任意节点,系统自
动缩小规模而不丢失数据,存储在此节点上的数据将会重新备份到其他节点上。
通用易用
cStor 云存储系统提供标准 POSIX 接口,无论是哪种操作系统下的应用程序,都可
以不经修改将云存储当成自己的海量磁盘来使用。同时,也提供专用的 API 接口,供
开发人员调用。
智能管理
提供基于 WEB 的管理平台,所有的管理工作均由 cStor 管理模块自动完成,使用
人员无需任何专业知识便可以轻松管理整个系统。通过管理平台,可以对 cStor 中的所
有节点实行无间断监控,用户通过监控界面可以清楚地了解到每一个节点和磁盘的运行
情况。
cStor 系统构架
C1000 系列产品采用 cStor 分布式云存储文件系统对数据进行集中式海量存储和
统一管理,其技术架构和关键技术在下面的章节中分别详细介绍。
图 5-15 cStor 云存储系统架构
其中,Master Server 保存系统的元数据,负责对整个文件系统的管理,Master Server
在逻辑上只有一个,但采用主备双机镜像的方式,保证系统的不间断服务;Chunk Server
负责具体的数据存储工作,数据以文件的形式存储在 Chunk Server 上,Chunk Server 的
个数可以有多个,它的数目直接决定了 cStor 云存储系统的规模;客户端即为服务器对
外提供数据存储和访问服务的窗口,通常情况下,客户端都部署在 Chunk Server 上,每
一个块数据服务器,及时存储服务器也是客户端服务器。对每一个节点,cStor 云存储
系统提供的管理监控中心都可以对其进行管理,包括设备运行状态、磁盘运行状态、服
务在线情况以及异常告警等功能;另外,网管监控中心还提供有如 FTP 账户添加等客
户端管理和配置工具。
这种分布式系统最大的好处是有利于存储系统的扩展和实现,在小规模的数据扩展
时,只需要添加具体的 Chunk Server 即可,而不需要添加整套设备。
第六章 规划部署
规划分析
视频接入模块:
系统初定并发接入 50 路视频。需要 2 台服务器(互为主备)来实现设备状态检测、
设备信息获取、云台控制、平台接入等功能。并实现前端监控设备和平台的协议转换,
提供控制信令流的转发和路由。
处理服务器模块:
平均单台处理服务器可并发转码处理 12 路 720p 视频流,系统实施转码 50 路高清
视频流,考虑到部分需要智能识别以及转发,初步配置 5 台处理服务器同时处理;转码
处理时,输入的视频流的参数和输出的视频流的参数都会影响所占用的系统资源。
存储服务器模块:
按新建的 50 台高清网络摄像机,存储半个月,平均码流约 4Mb/s 计算,所需有效
存储容量为 35TB,由于数据需要备份冗余,按 1:1 计算,则总容量为 70TB,加上其
他以前关键记录的长期存储、传感器数据存储、以及系统和软件等,初步配置存储容量
按总量 100TB(有效存储空间 50TB)。需要 2 台元数据服务器(互为主备),3 台存储
服务器(每台挂 12 块 3TB 硬盘)
流媒体服务器模块:
前端接入的系统并发源视频流为 50 路 720p(进行转码、识别、存储),然而,要
具备针对用户的 100 路高清 720p 的并发推流能力,流媒体服务器共需 3 台服务器来搭
建流媒体服务器集群。(为提供负载均衡,其中有 2 台服务器兼做负载均衡调度节点,
互为主备。)
中心处理服务器部分:
需要 2 台服务器用作用户管理控制调度和系统中心控制管理,其中一台主服务器,
一台热备用服务器。云调度 JobKeeper 管理节点需要 3 台主服务器(互为主备)。
规划综述
云计算有着高可扩展性,目前的配置主要面向 50 台新建的高清网络摄像机,后期
随着需求不断增长,只需额外增加服务器数量即可。
综上所述,该方案共需 20 台服务器。其中,2 台服务器用作接入部分,5 台服务器
用作处理部分,5 台用作存储部分,3 台服务器用作流媒体服务器部分,另外 2 台服务
器用作中心处理服务器部分。同时,20 台服务器需要 2 个集群集成套件(由于每个集
群集成套件可装载 10 台服务器,20 台服务器需要 2 个集群集成套件)。
详细报价清单
详见附件:江苏省环保厅重点污染源云计算高清视频监控系统报价清单明细表。