L67
中 华 人 民 共 和 国 国 家 标 准
GB/—2017
基于云计算的电子政务公共平台管理规范
第1部分:服务质量评估
Managementspecificationofelectronicgovernmentcommonplatformbasedon
cloudcomputing—Part1:Evaluationspecificationforservicequality
2017-07-31发布 2017-11-01实施
中华人民共和国国家质量监督检验检疫总局
中 国 国 家 标 准 化 管 理 委 员 会
发 布
满
智
科
技
满
智
科
技
目 次
前言 Ⅲ…………………………………………………………………………………………………………
引言 Ⅳ…………………………………………………………………………………………………………
1 范围 1………………………………………………………………………………………………………
2 规范性引用文件 1…………………………………………………………………………………………
3 术语、定义和缩略语 1………………………………………………………………………………………
术语和定义 1…………………………………………………………………………………………
缩略语 1………………………………………………………………………………………………
4 服务质量评价指标体系 2…………………………………………………………………………………
评价指标体系 2………………………………………………………………………………………
评价指标说明 6………………………………………………………………………………………
评价指标使用方法 9…………………………………………………………………………………
5 评估实施组织 12……………………………………………………………………………………………
评估组织 12……………………………………………………………………………………………
各个角色的职责要求 12………………………………………………………………………………
编制实施纲要 13………………………………………………………………………………………
确定评估机构 13………………………………………………………………………………………
组织开展评估 13………………………………………………………………………………………
6 评估实施程序 13……………………………………………………………………………………………
7 评估结果及应用 13…………………………………………………………………………………………
评估结果 13……………………………………………………………………………………………
评估结果分级 14………………………………………………………………………………………
评估结果应用 14………………………………………………………………………………………
8 服务提供质量评测方法 14…………………………………………………………………………………
服务准确性指标评测 14………………………………………………………………………………
服务有效性指标评测 15………………………………………………………………………………
服务响应性指标评测 18………………………………………………………………………………
服务安全性指标评测 20………………………………………………………………………………
服务可靠性指标评测 24………………………………………………………………………………
服务友好性指标评测 26………………………………………………………………………………
9 基础设施资源利用率评测方法 28…………………………………………………………………………
机房设施利用率评测 28………………………………………………………………………………
网络资源利用率评测 30………………………………………………………………………………
计算资源利用率评测 30………………………………………………………………………………
存储资源利用率评测 31………………………………………………………………………………
安全可靠化率评测 31…………………………………………………………………………………
Ⅰ
GB/—2017
满
智
科
技
附录A(规范性附录) 电子政务公共平台服务使用满意度评价表 33……………………………………
附录B(规范性附录) 服务质量评估报告样本 34…………………………………………………………
基本信息 34……………………………………………………………………………………………
服务提供质量评测指标 34……………………………………………………………………………
基础设施资源利用率评测指标 36……………………………………………………………………
服务使用满意度评价结果 37…………………………………………………………………………
测评公式和测评结果 37………………………………………………………………………………
改进建议 37……………………………………………………………………………………………
附录C(资料性附录) 评价指标使用方法案例 38…………………………………………………………
概述 38…………………………………………………………………………………………………
确定评价指标集合 38…………………………………………………………………………………
确定评语集合 38………………………………………………………………………………………
确定评价指标权重 39…………………………………………………………………………………
具体评价过程 46………………………………………………………………………………………
Ⅱ
GB/—2017
满
智
科
技
前 言
GB/T34077《基于云计算的电子政务公共平台管理规范》预计分为以下5个部分:
———第1部分:服务质量评估;
———第2部分:服务度量计价;
———第3部分:运行保障管理;
———第4部分:平台管理导则;
———第5部分:技术服务体系。
本部分为GB/T34077的第1部分。
本部分按照GB/—2009给出的规则起草。
请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。
本部分由中华人民共和国工业和信息化部提出。
本部分由中华人民共和国工业和信息化部(通信)归口。
本部分起草单位:中国信息通信研究院、山东浪潮集团有限公司、华为技术有限公司、中国电子科技
集团公司第28研究所、西安未来国际信息股份有限公司、浙江华通云数据科技有限公司、中华人民共和
国工业和信息化部电子第五研究所、湖南省网络与信息安全测评中心、首都信息发展股份有限公司、杭
州华三通信技术有限公司。
本部分主要起草人:石友康、段世惠、齐凤美、杨飞川、姜欣荣、王宝红、徐喆、罗银、汤亮、王刚、吴芸、
童天予。
Ⅲ
GB/—2017
满
智
科
技
引 言
电子政务发展正处于转变发展方式、深化应用和突出成效的关键转型期。政府职能转变和服务型
政府建设对电子政务发展提出了更新更高的要求。以云计算为代表的新兴信息技术、产业、应用不断涌
现,深刻改变了电子政务发展技术环境及条件。构建基于云计算的电子政务公共平台可以充分发挥既
有资源的作用和新兴信息技术潜能,加快电子政务发展创新,提高应用支撑服务能力,增强安全保障能
力,减少重复建设、避免各自为政和信息孤岛。
服务质量反映电子政务公共平台服务提供机构服务性能综合的效果,服务管理机构应建立服务质
量管理制度和标准,制定服务质量评估技术指标,明确服务质量监管的依据和方法,对于事前、事中、事
后的服务质量进行监控和管理。服务提供机构应建立服务质量保证制度,以保证对于服务实施期进行
控制管理,听取服务使用机构的意见和建议,自觉改善服务工作。
为加强对服务提供机构服务质量的监督管理,维护服务使用机构的合法权益,使服务质量的监管工
作系统化、规范化,特制定本部分。
Ⅳ
GB/—2017
满
智
科
技
基于云计算的电子政务公共平台管理规范
第1部分:服务质量评估
1 范围
GB/T34077的本部分规定了基于云计算的电子政务公共平台服务质量评价指标体系、评估实施
组织、评估实施程序、评估结果及应用、服务提供质量评测方法、基础设施资源利用率评测方法等。
本部分适用于基于云计算的电子政务公共平台的服务质量评估。
注:除非特殊说明,以下各章中“电子政务公共平台”均指“基于云计算的电子政务公共平台”。
2 规范性引用文件
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本适用于本文
件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。
GB/—2017 基于云计算的电子政务公共平台总体规范 第1部分:术语和定义
3 术语、定义和缩略语
术语和定义
GB/—2017界定的术语和定义适用于本文件。
缩略语
下列缩略语适用于本文件。
ARP:地址解析协议(AddressResolutionProtocol)
BGP:边界网关协议(BorderGatewayProtocol)
CPU:中央处理器(CentralProcessingUnit)
DDoS:分布式拒绝服务(DistributedDenialofService)
IP:互联网协议(InternetProtocol)
IDC:互联网数据中心(InternetDataCenter)
KPI:关键绩效指标(KeyPerformanceIndicators)
KQI:关键质量指标(KeyQualityIndicators)
MAC:媒体访问控制(MediaAccessControl)
PC:个人电脑(PersonComputer)
RAID:磁盘阵列(RedundantArraysofInexpensiveDisks)
RPO:恢复点目标(RecoveryPointObjectives)
RTO:恢复时间目标(RecoveryTimeObjective)
SLA:服务等级协议(ServiceLevelAgreement)
VLAN:虚拟本地网(VirtualLocalAreaNetwork)
VM:虚拟机(VirtualMachine)
VPN:虚拟专用网(VirtualPrivateNetwork)
1
GB/—2017
满
智
科
技
4 服务质量评价指标体系
评价指标体系
服务质量评价指标是反映电子政务公共平台服务性能综合效果的一组指标,服务管理机构或服务
使用机构等可以用这些指标来表征用户群体对服务提供机构所提供服务的满意程度。电子政务公共平
台服务质量评价指标体系由服务提供质量评价指标、基础设施资源利用率指标、服务使用满意度指标
组成。
服务提供质量评价指标是反映电子政务公共平台服务准确性、有效性、响应性、安全性、可靠性和友
好性的一组指标,这些指标主要反映的是技术因素,服务管理机构或服务使用机构可以用这些指标来评
价用户群体享用某种服务效果的好坏。
基础设施资源利用率指标是衡量机房设施利用率、网络资源利用率、计算资源利用率、存储资源利
用率、安全可靠化率等电子政务公共平台基础设施资源使用情况的综合指标。
服务使用满意度指标是衡量服务提供机构服务质量的综合指标,是从服务使用机构的角度评价服
务产品或服务质量的一种指标体系。
服务提供质量指标见表1所示,评测方法见第8章。
基础设施资源利用率指标见表2所示,评测方法见第9章。
服务使用满意度评价指标见表3所示,评价表见附录A。
表1 电子政务公共平台服务提供质量指标
一级指标 指标权重 二级指标 指标权重 备注
服务准确性 ω1
服务实现的完备性 ω11
服务的可度量性 ω12
网络接入性能 ω13
业务功能符合性 ω14
数据可迁移性 ω15
应用部署的准确性 ω16
服务有效性 ω2
网络的长期服务质量 ω21
网络互联互通性能 ω22
业务弹性 ω23
业务可用性 ω24
平台管理可用性 ω25
存储系统可用性 ω26
存储系统响应能力 ω27
异地容灾服务可用性 ω28
业务容灾可用性 ω29
数据库软件的效率 ω210
平台用户容量 ω211
多用户模式 ω212
应用可配置性 ω213
2
GB/—2017
满
智
科
技
表1(续)
一级指标 指标权重 二级指标 指标权重 备注
服务响应性 ω3
服务的及时响应性 ω31
服务互动沟通机制 ω32
服务投诉解决率 ω33
机房资源配置及时性 ω34
网络资源配置及时性 ω35
计算资源配置及时性 ω36
虚拟机迁移时间 ω37
应用迁移时间 ω38
业务资源配置及时性 ω39
物理资源配置自动化 ω310
部署服务请求的回应性 ω311
运维事件响应率及解决率 ω312
业务开通响应性 ω313
定制化服务响应及时性 ω314
服务安全性 ω4
数据/信息保密性 ω41
数据的可销毁性 ω42
数据/信息隔离性 ω43
数据的知情权 ω44
数据库数据隔离 ω45
资源、业务、网络与数据的分级权限 ω46
业务的可审查性 ω47
网络隔离与访问控制 ω48
网络安全防护服务与防病毒 ω49
用户接入认证 ω410
安全审计服务 ω411
应用部署的安全性 ω412
平台告警有效性 ω413
国家要求的信息安全等级保护服务 ω414
信息资源等级保护服务 ω415
服务可靠性 ω5
服务的可用性 ω51
服务的恢复能力 ω52
数据存储的持久性 ω53
数据备份的高效可靠性 ω54
数据容灾的高效可靠性 ω55
3
GB/—2017
满
智
科
技
表1(续)
一级指标 指标权重 二级指标 指标权重 备注
服务可靠性 ω5
操作系统运行的稳定性 ω56
数据库系统运行的稳定性 ω57
数据库系统运行的可靠性 ω58
中间件运行的可靠性 ω59
网络、网络设施及链路可靠性 ω510
业务资源的可靠性 ω511
灾备系统的有效性 ω512
应急情况的响应措施 ω513
应用迁移可靠性 ω514
运维人员流失率 ω515
服务友好性 ω6
服务接入访问的网络广泛性 ω61
按需定制化服务 ω62
服务监控 ω63
服务趋势分析 ω65
操作的可追溯性 ω66
运维事件的监控 ω67
人员团队的专业性 ω68
运维保障兼容性 ω69
运维系统的全局可视化实时监控 ω610
基于政务部门的可视化实时监控 ω611
应急预案及演练 ω612
备份恢复演练 ω613
服务报告 ω614
服务内容的告知 ω615
平台App库 ω616
表2 基础设施资源利用率指标
一级指标 指标权重 二级指标 指标权重 备注
机房设施利用率 φ1
机房集中率 φ11
机房动力电使用率 φ12
机房空调功耗占比 φ13
统一运维监控覆盖率 φ14
主机的托管率 φ15
4
GB/—2017
满
智
科
技
表2(续)
一级指标 指标权重 二级指标 指标权重 备注
网络资源利用率 φ2
出口链路带宽利用率 φ21
网络整合率 φ22
计算资源利用率 φ3
主机计算资源利用率 φ31
计算型服务器的虚拟化率 φ32
存储资源利用率 φ4 磁盘利用率 φ41
安全可靠化率 φ5
安全可靠资产比率 φ51
网络及安全设备的安全可靠化比率 φ52
主机设备的安全可靠化比率 φ53
系统软件的安全可靠化比率 φ54
常用支撑软件的安全可靠化比率 φ55
表3 电子政务公共平台服务使用满意度评价指标
一级指标 指标权重 二级指标 指标权重 备注
服务态度 ρ1
对服务提供机构服务支持人员的服务态度和服
务意识的满意度
ρ11
对服务提供机构技术服务人员与服务使用者沟
通的效果的满意度
ρ12
对服务提供机构值班人员的服务态度及意识的
满意度
ρ13
对服务提供机构客服售后支持热线的拨通率和
等待时长的满意度
ρ14
对服务提供机构技术服务人员的服务规范性的
满意度
ρ15
服务能力 ρ2
对服务提供机构服务支持人员的专业技能的满
意度
ρ21
对服务提供机构提供的运维服务的稳定性和速
度的满意度
ρ22
对服务提供机构提供运维服务的应用系统的稳
定性的满意度
ρ23
对服务提供机构故障诊断与解决的技术水平的
满意度
ρ24
对服务提供机构提供解决方案的效果的满意度 ρ25
对服务提供机构提供应急响应能力的满意度 ρ26
服务时效 ρ3
对服务提供机构事件响应的时效性的满意度 ρ31
对服务提供机构处理问题的时效性的满意度 ρ32
5
GB/—2017
满
智
科
技
表3(续)
一级指标 指标权重 二级指标 指标权重 备注
服务管理 ρ4
对服务提供机构服务管理规范性的满意度 ρ41
对服务提供机构服务合同履行效果的满意度 ρ42
对服务提供机构提供的相关培训的满意度 ρ43
对服务提供机构提供的服务报告的满意度 ρ44
对服务提供机构服务流程的满意度 ρ45
服务便捷性 ρ5
对服务提供机构分析用户需求、主动推送相关信
息和服务的满意度
ρ51
对服务提供机构能否围绕用户服务需求、将相关
服务事项和信息资源进行关联向用户展示提供
的满意度
ρ52
对服务提供机构政务移动应用的满意度 ρ53
评价指标说明
服务提供质量指标说明
服务准确性
服务实现的完备性:按照SLA提供符合要求的所有应用功能服务。
服务的可度量性:服务提供机构通过采用在某些抽象层次上适合于服务类型(如存储、进程、带宽、
活动用户账户等)的计量能力来自动地统计、控制和优化资源的使用,资源的使用将通过对服务提供机
构和用户都透明的方式被监控、控制和报告。
网络接入性能:服务提供机构应承诺用户能达到的网络带宽和接入网络服务质量。
业务功能符合性:服务提供机构承诺用户提供的服务的具体功能。
数据可迁移性:服务提供机构承诺用户能够控制数据的迁移,保证启用或弃用该服务时,数据能有
效地迁入和迁出。
应用部署的准确性:部署操作准确、规范,部署过程与操作细节跟部署文档一致。
服务有效性
服务有效性:服务提供机构按照服务协议要求对服务请求进行解决的能力。
网络的长期服务质量:考察长时间内电子政务网络的服务质量,包括延时、丢包、抖动等。
网络互联互通性能:提供传输网与IP网络的互联互通,并满足相应的传输质量要求。
业务弹性:服务提供机构承诺用户动态扩展或缩减业务开展所需资源的时间及最大扩展容量。
业务可用性:按月统计,在合同期内用户业务可用时间的概率。
平台管理可用性:电子政务公共平台对于多厂商设备、多系统架构、多平面的统一管理能力。
存储系统可用性:服务提供机构承诺存储系统的接口、功能、架构符合国际/国内主流标准,与用户
已有系统兼容。
存储系统响应能力:服务提供机构所承诺的存储系统能够提供的IOPS、读写带宽等指标应满足用
户的需求。
异地容灾服务可用性:按照国家标准建立异地容灾系统,容灾系统能够实现正常的系统备份和切换
6
GB/—2017
满
智
科
技
功能,灾备中心灾难恢复能力应≥3级。
业务容灾可用性:按照国家标准建立业务容灾系统,容灾系统能够实现业务层面的系统备份和切换
功能。
数据库软件的效率:数据库软件在时间特性、资源利用特性以及性能标准依从性方面的水平。
平台用户容量:平台支持的最大在线用户数量。
多用户模式:一个单独的软件实例可以为多个用户或组织服务。
应用可配置性:应允许用户根据自己的情况对应用界面、应用数据、应用业务规则和业务流程进行
配置。
服务响应性
服务的及时响应性:能按照SLA在要求的时间内及时响应用户的服务请求。
服务互动沟通机制:对服务提供机构的互动沟通机制的建立与实施情况进行检查。
服务投诉解决率:统计并比较得到有效处理的投诉数量和收到的投诉数量。
机房资源配置及时性:服务提供机构能够在规定时间内及时响应用户对机房资源的要求。
网络资源配置及时性:服务提供机构能够在规定时间内及时响应用户对网络资源的要求。
计算资源配置及时性:服务提供机构能够在规定时间内及时响应用户对计算资源的要求。
虚拟机迁移时间:服务提供机构承诺用户完成虚拟机迁移的时间。
应用迁移时间:服务提供机构承诺用户完成应用迁移的时间,根据不同的应用迁移场景,服务提供
机构应在承诺时间内完成应用迁移而不会影响到用户业务的正常使用。
业务资源配置及时性:能够在规定时间内及时响应用户对业务资源的要求。
物理资源配置自动化:物理设备进入或移出电子政务公共平台时,应进行针对设备进行自动化配
置,防止影响用户业务。
部署服务请求的回应性:对于部署服务的请求在规定的时间内予以响应。
运维事件响应率及解决率:对于运维事件按照不同的响应级别要求在规定的时间内予以响应并加
以解决。
业务开通响应性:对于业务开通的请求在规定的时间内予以响应。
定制化服务响应及时性:用户在申请定制化服务后可在规定时间内获得服务响应。
服务安全性
服务安全性:服务提供机构在服务过程中保障服务使用机构的信息安全的能力。
数据/信息保密性:服务提供机构应使用国家密码管理部门发布的指定商用密码算法对硬件和信息
(如存储、服务器系统、信息流)进行加密解密,保证用户数据安全。
数据的可销毁性:服务提供机构承诺在用户要求删除数据或设备在弃置、转售前必须将其所有数据
彻底删除,并无法复原。
数据/信息隔离性:服务提供机构应承诺针对不同用户数据/信息应有有效的隔离等手段保证用户
数据/信息相互隔离,保证同一资源池用户数据/信息互不可见。
数据的知情权:服务提供机构应承诺用户数据存储位置和使用的知情程度。
数据库数据隔离:根据用户使用数据库模式不同来提供不同的数据服务。
资源、业务、网络与数据的分级权限:根据用户的级别不同,用户所能够使用的资源、业务、网络和数
据也具备相应的权限。
业务的可审查性:服务提供机构应承诺用户同意依法配合国家监管机构、司法机构等政府部门的安
全检查,符合相关数据安全管理规定等。
网络隔离与访问控制:服务提供机构承诺在网络中为不同部门设置不同的隔离区域并对这些部门
7
GB/—2017
满
智
科
技
的访问在权限上做限制。
网络安全防护服务与防病毒:服务提供机构承诺对用户的网络、网站等提供安全防护服务和防病毒
服务。
用户接入认证:用户可以通过多种方式进行认证,电子政务公共平台提供统一身份认证和跨域认证
以及数字证书。
安全审计服务:提供安全审计相关功能并形成相应的审计记录和报表。
应用部署的安全性:对已经/即将部署的应用进行安全评估,包括软件结构、性能和信息等方面的
安全。
平台告警有效性:可以对告警进行生成、查询、导出、归并等操作,为用户提供全面有效的告警信息。
国家要求的信息安全等级保护服务:对提供服务的机房环境与设施、业务系统、网络、主机、接入等
方面提供符合国家要求的等级保护服务。
信息资源等级保护服务:对电子政务平台上的各种信息资源按照其敏感程度和重要性提供不同的
保密要求的保护服务。
服务可靠性
服务可靠性:服务提供机构在规定条件下和规定时间内履行服务协议的能力。
服务的可用性:应按照SLA要求向用户提供持续的可用的服务的能力。
服务的恢复能力:服务提供机构应承诺用户在服务不可用时在SLA约定时间内恢复服务的能力。
数据存储的持久性:服务提供机构承诺在合同期内数据保存不丢的概率。
数据备份的高效可靠性:服务提供机构承诺在合同期内进行现有平台数据的备份,保证在数据丢失
时能够有效找回。
数据容灾的高效可靠性:服务提供机构承诺在遇到不可抗拒力(如洪水、地震、火灾等)造成数据丢
失后,能够高效可靠的找回数据。
操作系统运行的稳定性:在有异常输入或压力条件下,操作系统能够继续正确运行的程度,尤其是
在其上运行的应用、硬件层或设备驱动器引入错误时。
数据库系统运行的稳定性:数据库管理系统产品是否符合电子政务公共平台应用在长时间运行、备
份恢复、数据库集群以及高可用等方面的要求。
数据库系统运行的可靠性:数据库管理系统能够有效监控自身的运行状态,自动发现数据库实例,
能够对已设置的数据库性能阈值进行监控和报警,保障数据库的高可靠性。
中间件运行的可靠性:中间件产品应具有髙可用性,具有状态恢复机制和自动故障切换功能。
网络、网络设施及链路可靠性:网络、网络设施和链路在规定条件下和规定时间内履行服务协议的
能力。
业务资源的可靠性:在一定时间内、在一定条件下业务资源无故障地对外提供服务的能力或可
能性。
灾备系统的有效性:灾备系统在日常情况下的可用性,灾难防御方面可以防备小概率的地震、火灾
等自然灾害,也可以防止大概率的设备故障和逻辑故障,确保政务应用系统的连续稳定运行。
应急情况的响应措施:针对出现的应急情况有必备的应对响应措施。
应用迁移可靠性:应用迁移过程中支持断点续传功能、分步骤迁移和源端主机性能控制,从而保证
用户应用迁移过程中的业务体验。
运维人员流失率:季度离职的运维人员占运维人员总体的比率。
服务友好性
服务友好性:服务提供机构设身处地为服务使用机构着想和对服务使用机构给予特别关注的能力。
8
GB/—2017
满
智
科
技
服务接入访问的网络广泛性:用户可以通过各种网络(包括移动和固定)接入电子政务平台并可以
采用标准机制进行访问来获得服务。
按需定制化服务:在权限许可范围内,用户可根据自己的个性化需要定制相应的服务并获得相应的
服务资源,无需和每个资源提供者进行交互协商。
服务监控:主动收集和报告对关键质量指标(KQI)和关键绩效指标(KPI)的测量情况。
服务趋势分析:主动进行服务趋势分析,如顾客满意度、服务要求的符合性、服务的特性与趋势等。
操作的可追溯性:服务中每一个操作应有记录可供追溯。
运维事件的监控:应主动对所有的运维事件进行监控并形成日志记录。
人员团队的专业性:具有资质认证和相关经验服务人员来提供服务。
运维保障兼容性:服务提供机构承诺用户,为最大限度保护用户投资,电子政务公共平台对于各类
厂商设备应进行统一的管理和维护。
运维系统的全局可视化实时监控:提供实时的设备、网络、服务的运行状态的监控,并以可视化的方
式进行显示,可以采用大屏幕等方式对监控对象的状态做实时展示。
基于政务部门的可视化实时监控:提供实时的政务部门用户、部门业务应用系统的运行状态的监
控,并以可视化的方式进行显示,可以采用大屏幕等方式对监控对象的状态做实时展示。
应急预案及演练:提供一定数量的应急预案并进行常规性演练。
备份恢复演练:提供必要的备份恢复方案并按照规定进行一定次数的演练。
服务报告:按照用户要求定期提交各种服务运行状况的报告,通过电子邮件、网页、短信、电话等多
种方式/渠道向用户通知各种服务的内容。
平台App库:平台通过专门的 WebPortal提供平台App库,便于向用户提供各种应用和服务交互。
基础设施资源利用率指标说明
机房集中率:电子政务公共平台内被整合的机房数量占各部门已建所有机房总数的百分率。
机房动力电使用率:电子政务公共平台机房的实际动力电功率与设计功率的比率。
机房空调功耗占比:电子政务公共平台机房内的空调功率与机房总功率的比率。
统一运维监控覆盖率:电子政务公共平台网络及其上承载的应用、机房和硬件设施进行统一运维监
控的覆盖比率。
主机托管率:电子政务公共平台机房内采用托管方式的物理机数量与总物理机数量的比率。
机房PUE:一个机房消耗的所有能源与机房内IT负载使用的能源之比。
出口链路带宽利用率:电子政务公共平台机房内核心路由器的出口链路的带宽使用情况。
网络互联互通率:电子政务公共平台可互联互通的网络数量占各部门所有已建网络总数量的百分率。
主机计算资源利用率:主机的CPU和内存使用率。
计算型服务器的虚拟化率:一个区域内所有计算型服务器的虚拟化程度。
磁盘利用率:一个区域内存储设备的磁盘平均利用率。
安全可靠资产比率:电子政务网络中使用安全可靠软硬件的资产比率。
网络及安全设备的安全可靠化比率:电子政务网络中使用安全可靠网络设备的比率。
主机设备的安全可靠化比率:电子政务网络中使用安全可靠主机设备的比率。
系统软件的安全可靠化比率:电子政务网络中使用安全可靠系统软件的比率。
常用支撑软件的安全可靠化比率:电子政务公共平台中使用安全可靠常用支撑软件的比率。
评价指标使用方法
评价指标层次等级
对服务提供质量、基础设施资源利用率、服务使用满意度的综合评估可以利用层次分析法对各部分
9
GB/—2017
满
智
科
技
各个指标进行综合评估。
每一类的评价指标应按层次进行划分,从底层开始,逐层向上评估,最终对整体做出评估。
服务提供质量评价指标层次等级如表1所示。
基础设施资源利用率指标层次等级如表2所示。
服务使用满意度评价指标层次等级如表3所示。
评价指标使用方法
以服务提供质量评价指标为例,具体评价步骤如下:
a) 确定评价指标集合:根据当前的情况,确定评价指标集合为
I={服务准确性;服务有效性;服务响应性;服务安全性;服务可靠性;服务友好性}
b) 确定评语集合:根据各部分服务质量,可分为以下六个等级:
1) A;
2) B;
3) C;
4) D;
5) E;
6) F。
由此确定的评语集合为:
V= A,B,C,D,E,F{ }
c) 确定评价指标权重:在利用层次分析法进行综合评估时,各指标的权重对最终的评估结果会产
生很大的影响,因此权重的确定应尽量客观。假设第一层指标的权重为:
θ=θ1,θ2,θ3,θ4,θ5,θ6{ }
每个指标的权重可以通过构造判断矩阵来确定,由n 个指标组成的判断矩阵An×n的构造方法为通
过对n 个指标两两相互比较确定各指标对于目标的重要程度,An×n的元素值aij可以通过矩阵判断标准
(1-9标度法)确定,而且满足aji=1/aij,aii=1,见表4。判断矩阵A构造出来后,再计算权向量θ。权
向量θ的每个元素θi为每个指标的权重。θi的计算方法见下式:
θi=
1
n∑
n
j=1
aij
∑
n
k=1
akj
其中,n 代表指标的个数,aij为判断矩阵An×n的元素。
表4 判断矩阵元素标度方法
指标x,y 比较 数值
x 和y 同等重要 1
x 比y 稍微重要 3
x 比y 明显重要 5
x 比y 十分重要 7
x 比y 极其重要 9
x 比y 介于上述相邻判断之间 2,4,6,8
在评价指标的实际使用过程中,可以根据当前电子政务平台建设情况、当年工作重点等因素,对判
断矩阵中各个元素的重要性做适当的调整,这样可以使得不同指标的权重发生变化。
01
GB/—2017
满
智
科
技
为了检验逻辑上的合理性,需要对判断矩阵进行一致性检验。检验步骤如下:
1) 计算一致性指标CI:CI=
λmax-n
n-1
,其中λmax为判断矩阵A的最大特征值。
2) 查表确定相应的平均随机一致性指标RI,RI可通过查表5得到。
表5 矩阵阶数与平均随机一致性指标对应表
矩阵阶数 RI
1 0
2 0
3
4
5
6
7
8
9
10
11
12
13
14
15
3) 计算一致性比例CR:CR=CI/RI
一致性判断:
———当CR<时,认为判断矩阵的一致性是可以接受的,将和法计算出来的θi作为第i个指标的
权重;
———当CR>时,判断矩阵不符合一致性要求,需要对判断矩阵进行修正,重新计算CR并进行
判断,直至矩阵的一致性要求满足为止。
表5所列为平均随机一致性指标RI的前15阶取值,当判断矩阵的阶大于15时,采用如下算法计
算RI。
假设判断矩阵阶为n,RI的计算步骤为:
———第一步,对n 阶判断矩阵中的每个元素,从1,2,…,9和
1
2
,1
3
,…,1
9
共17个数中按照平均概
率随机抽取,构成n 阶成对比较矩阵A;
———第二步,计算矩阵A的一致性指标CI;
———第三步,重复运行多次以产生充分多个n 阶随机判断矩阵样本(如1000个样本)并计算每个
样本的一致性指标,最后求多个样本一致性指标的算数平均值即为RI。
d) 做出综合评估:
计算一级指标在各等级上的得分rij(0≤rij≤1,1≤i≤6,1≤j≤6)。设其组成的矩阵为R6×6,
那么各部分的总体得分为:
11
GB/—2017
满
智
科
技
(d1,d2,d3,d4,d5,d6)=θ·R
利用最大隶属度原则,如果Rk=max(d1,d2,d3,d4,d5,d6),则各部分总体评估等级为k 级。对
于多层次的指标体系,先从最低层指标开始,计算其所隶属的上层指标在各个等级的得分,组成新的评
判矩阵,逐层向上,直至计算出(d1,d2,d3,d4,d5,d6),从而确定各部分的综合评估等级。
层次分析法的具体实现案例参见附录C。
5 评估实施组织
评估组织
服务管理机构负责组织实施电子政务公共平台服务质量评估、编制实施纲要并确定评估机构。
评估机构主要负责电子政务公共平台服务质量评估实施,主要内容包括编制实施方案、开展评估、
形成评估报告。
各个角色的职责要求
各个角色的职责要求分别如下:
a) 服务管理机构:
1) 电子政务公共平台服务质量评估具体实施单位,协助信息化主管部门建立服务质量评估
机制,协助信息化主管部门形成服务质量评估报告;
2) 建立服务使用满意度调查机制,定期或不定期由服务使用机构形成对服务提供机构的服
务使用满意度评估结果(格式见附录A);
3) 收集服务提供机构提交的服务报告及改进意见,确定服务改进措施并组织相关方对平台
服务进行改进;
4) 仲裁服务使用机构和服务提供机构之间的纠纷。
b) 服务提供机构:
1) 应遵守国家和信息化主管部门的有关政策、法规,树立以用户为核心改善服务工作的
观念;
2) 提供服务时,应公布其服务项目、服务时限、服务范围及“售后服务”等内容,并公布收费项
目和资费标准;
3) 服务使用机构办理一项服务时,服务提供机构应向服务使用机构提供使用该项服务的说
明资料,包括服务功能、费用收取办法及交费时间、障碍申告、咨询服务电话等,并以书面
形式明确服务使用机构与服务提供机构双方的权利和义务;
4) 建立、健全服务质量保证体系,并按规定的时间和内容向服务管理机构、服务使用机构汇
报电子政务公共平台服务应用情况,部署业务应用情况,基础设施资源使用情况,编制“电
子政务公共平台运行服务报告”;
5) 配合服务管理机构进行平台服务质量测评;
6) 应建立与服务使用机构沟通的渠道,进行服务使用满意程度测评,听取服务使用机构的意
见和建议,自觉改善服务工作。
c) 服务使用机构:
1) 遵守国家和信息化主管部门的有关政策、法规使用平台资源;
2) 配合服务管理机构进行平台服务质量测评;
3) 监督、检查相关服务工作,审阅相关服务报告并提出相关意见。
d) 评估机构:
1) 负责平台服务质量监督管理,包括与服务评估有关的服务监督、检查工作;
21
GB/—2017
满
智
科
技
2) 配合服务管理机构做好平台服务评测工作,配合服务管理机构做好服务评审工作。
编制实施纲要
电子政务公共平台服务质量评估实施纲要由服务管理机构编制。评估实施纲要主要内容包括实施
单位和责任分工、评估重点指标、评估步骤和时间安排、保障措施等;并按照一定的步骤和时间统一组织
评估实施工作。
确定评估机构
评估机构应符合以下要求:
a) 服务管理机构选择专业评估机构开展电子政务公共平台服务质量评估工作;
b) 选择的专业评估机构需满足相应的资质要求;
c) 专业评估机构应主要承担以下工作:协助服务管理机构开展评估实施方案编制、培训等工作,
独立开展数据汇总、统计分析工作,评定出具体评估结果,确定被评估的电子政务公共平台服
务质量水平;根据实际情况多角度、多层次的对被评估的电子政务公共平台服务质量存在的问
题做出分析。
组织开展评估
组织开展评估的要求如下:
a) 服务管理机构定期或不定期部署与实施电子政务公共平台服务质量评估工作,评估工作除了
例行的常规性评估之外,还应综合考虑新上业务、新上系统、新制度等方面变化所带来的影响;
b) 考核标准应由国家信息化主管部门统一确定或由地方信息化主管部门统一确定。
6 评估实施程序
服务质量评估实施流程分为评估准备、现场评估、完成评估报告三个步骤,每个步骤的具体要求
如下:
a) 评估准备步骤要求包括:
服务提供机构提交本区域“电子政务公共平台运行服务报告”并附服务使用满意度报告及相关
意见,内容必须真实可靠,如有服务质量事故或服务使用机构投诉,必须及时向服务管理机构
报告。
评估机构审核服务提供机构提交的相关资料,与服务管理机构共同制定评估方案及计划、准备
评估工具及协调相关工作,完成评估记录表格设计。
b) 现场评估步骤:评估机构按照评估计划对服务提供机构进行现场测评。
c) 完成评估报告步骤包括:
———评估机构与服务管理机构一起完成评估报告;
———服务质量综合评估参照附录C中所述方法来评估。
根据综合得分,按照电子政务公共平台服务质量的评估水平划分标准(A、B、C、D、E、F),可以确定
该公共平台的服务质量水平。
7 评估结果及应用
评估结果
评估结果包括:
31
GB/—2017
满
智
科
技
a) 服务管理机构负责审核电子政务公共平台服务质量评估报告,汇总评估报告,发布评估结果;
b) 服务质量评估报告的主要内容应包含评估方法、服务提供质量评估结果、基础设施利用率评估
结果、服务使用满意度评价结果、改进建议等部分,格式见附录B;
c) 评估方法应明确评估结果的具体产生方法,包括评估的指标、指标权重和计算方法以及评估标
准等;
d) 专业评估机构应按照电子政务公共平台服务质量的评估水平划分:A、B、C、D、E、F,评定出具
体评估结果,确定被评估地区的电子政务公共平台的服务质量水平;
e) 改进建议部分,应根据实际情况多角度、多层次地对被评估地区的电子政务公共平台服务质量
存在的问题做出分析并提供改进建议。
评估结果分级
评估结果分级要求如下:
a) 按照服务质量评价指标体系进行评估而获取的质量评估结果是服务质量分级的唯一依据。
b) 本部分建议了A、B、C、D、E、F共六个服务质量级别,参见表6。这些级别构成了以A级为最
高级,F级为最低级的层次结构。
表6 服务质量级别
服务质量级别 对应实际评估值区间 评估结果描述及表示方法
A级 95≤X 五星 ★★★★★
B级 90≤X<95 四星 ★★★★
C级 80≤X<90 三星 ★★★
D级 70≤X<80 二星 ★★
E级 60≤X<70 一星 ★
F级 X<60 无星
注:X 为按照服务质量评价指标体系进行评估而获取的评估结果值。
评估结果应用
评估结果应用要求包括:
a) 服务管理机构应每年定期公开公布电子政务公共平台服务质量评价信息以及服务使用满
意度;
b) 服务管理机构根据一年中服务使用机构的评估,年终时对服务提供机构服务质量进行汇总和
总体评估,服务管理机构根据最终的评估结果与服务提供机构进行协商。
8 服务提供质量评测方法
服务准确性指标评测
评价指标:服务实现的完备性
指标含义:按照SLA提供符合要求的所有应用功能服务。
评价方法:根据实际达成的服务项数与SLA约定的服务项数进行比较,确定服务实现的完整度。
41
GB/—2017
满
智
科
技
评价指标:服务的可度量性
指标含义:服务提供机构通过采用在某些抽象层次上适合于服务类型(如存储、进程、带宽、活动用
户账户等)的计量能力来自动地统计、控制和优化资源的使用,资源的使用将通过对服务提供机构和用
户都透明的方式被监控、控制和报告。
评价方法:在评估之前需要明确:不同业务的具体计量方法;服务资源和时间的计量统计单位,如资
源以流量还是带宽计费,时间以小时还是分钟计费等;用户付费的模式;是否有准确的计量计费系统。
示例:对后付费模式的业务,按照使用量以小时为单位计费,按照页面公布的当时有效的计费模式与标准为准,在使
用一段时间后,查看计量计费系统给出的账单是否与使用时长相对应。
评价指标:网络接入性能
指标含义:服务提供机构应承诺用户能达到的网络接入的性能,包括带宽、端到端延时/抖动、丢包
等指标。
评价方法:评估之前应明确用户购买带宽是到IDC出口带宽,用户所购买的带宽范围,说明接入公
共互联网带宽的下限和上限阈值,即用户可以购买xbps到ybps的带宽,明确是共享带宽还是独享带宽
并区别单一运营商线路和BGP多运营商接入线路。
选择两个测试端点,一个位于IDC内部的用户网络中,一个位于公共互联网中,在两个端点上放置
两台性能测试仪表,由IDC内部的仪表向公共互联网上的仪表发起端到端带宽性能测量,记录所测量
的端到端带宽、延时、抖动和丢包,然后再由公共互联网上的仪表向IDC内部的仪表发起同样的测量,
记录相应测试结果。最终将测试结果与服务提供机构所承诺的网络接入性能进行对比评估。
评价指标:业务功能符合性
指标含义:服务提供机构承诺用户提供的服务的具体功能。
评价方法:服务提供机构承诺用户提供的服务器功能、操作软件等。每一项功能提供给用户相关的
说明。
评价指标:数据可迁移性
指标含义:服务提供机构承诺用户能够控制数据的迁移,保证启用或弃用某项服务时,数据能有效
地迁入和迁出。
评价方法:服务提供机构将提供的X 格式的数据服务,或支持用户现有数据存储方式,在用户迁入
或迁出时提供技术转换手段到标准Y 格式。X 与Y 可以相同。
评价指标:应用部署的准确性
指标含义:部署操作准确、规范,部署过程与操作细节跟部署文档一致。
评价方法:对于尚未部署的应用,可以选择某个应用进行实际部署,严格遵照部署文档中的步骤进
行操作并进行日志记录,多余或者遗漏相应的文档、硬件、软件都应该在日志记录中得到体现,部署过程
与操作细节应与部署文档一致。对于已经部署的应用,可以查阅相应的运维日志进行判断或者选择某
个相对封闭的实验环节,进行实验部署。
服务有效性指标评测
评价指标:网络的长期服务质量
指标含义:通过网管系统监测长时期的网络所能够提供的服务质量。
评价方法:通过网管系统/测试仪表对网络系统进行长期监测(至少一周),选择任意网络上的两个
51
GB/—2017
满
智
科
技
端点,监测其端到端时延,网络平均最大端到端延迟时间应小于100ms,该值越小越好;监测其端到端
抖动,网络平均最大端到端抖动应小于50ms,该值越小越好;监测其端到端丢包率,网络平均最大端到
端丢包率应小于%,该值越小越好;监测其端到端收敛时间,网络平均最大端到端收敛时间应小于
50ms,该值越小越好。
此外,还需要对网络进行监控,监测政务网络内部交换容量,该值越大越好;监测内部网络包转发
率,该值越大越好。
网络的长期服务质量监测可以采用网管的监测日志作为佐证。
评价指标:网络互联互通性能
指标含义:提供传输网与IP网络的互联互通,并满足相应的传输质量要求。
评价方法:选择电子政务公共平台的任意两个不同的域,域A和域B,在域A和域B之间,对SDH
光接口互通、SDH光接口开销、GFP封装互通、点到点以太网专线业务互通、点到多点以太网专线业务
互通、互通业务长期性能进行测试,测试结果应满足国家相关标准的要求;选择电子政务公共平台的任
意两个不同网络的两个IP设备,设备A和设备B,在设备A和设备B之间,对网间连通性、网间传输质
量、网间可用率、BGP路由收敛时间进行测试,测试结果应满足国家相关标准的要求。此外,服务提供
机构承诺电子政务平台所用设备均支持标准的设备互通协议,如、RRPP、SEP等,从而实现环网
设备的互联互通。
评价指标:业务弹性
指标含义:服务提供机构承诺用户动态扩展或缩减业务开展所需资源的时间及最大扩展容量。
评价方法:基于业务开展需要,服务提供机构承诺用户在指定时间内可以动态扩展或缩减业务开展
所需的各种资源及资源的最大扩展容量。资源类型包括:计算、存储、带宽、并发用户数等。
如果扩展速度有阈值的,需注明每一类资源类型,某一阈值下的扩展速度:如在xGB或y%下的
存储资源,可以满足每1GB需要z小时的扩展或减少速度;在某一阈值以上的扩展速度:比如在xGB
或y%以上的存储资源,需要较长的时间扩容,z天的准备;如果扩展速度没有阈值的,说明具体的扩展
速度即可;每次最大和最小扩展或减少的容量,每次最大能扩展或减少x 容量,最小y 容量。
示例:服务提供机构承诺用户,可以满足计算资源20%的容量,24h完成;100%的容量需要2天;每次最大可扩展
100%容量,最小10GB的容量。
评价指标:业务可用性
指标含义:按月统计,在合同期内用户业务可用时间的概率,即每月实际可用时间/每月(实际可用
时间+服务不可用时间)。其中服务不可用时间的定义为从用户无法使用服务或是订阅的服务无法正
常运行算起,到服务恢复至正常水平结束的时间。如果超过x 分钟则计入服务不可用时间,x 数值和
具体的服务/业务有关。
评价方法:服务提供机构承诺用户%的可用性,即用户每月业务可用时间应为30天×24h×
60min×%=,即存在=的不可用时间。并且在
服务不可用的统计单元为单台云主机算,服务不可用时间规定为业务不可用5min以上算一次服务不
可用,计入不可用时间,低于5min不可用不计入不可用时间。
评价指标:平台管理可用性
指标含义:电子政务公共平台对于多厂商设备、多系统架构、多平面的统一管理能力。
评价方法:电子政务公共平台应可对不同厂商、多种架构的平台资源,如数据模型、数据库、虚拟资
源、计算资源、存储资源、网络资源、软件资源等进行统一的资源申请、分配、监控、调度和管理,实现统一
61
GB/—2017
满
智
科
技
的拓扑、报表、链路、性能、告警、安全和日志管理。
评价指标:存储系统可用性
指标含义:服务提供机构承诺存储系统的接口、功能、架构符合国际/国内主流标准,与用户已有系
统兼容,保障用户存储系统平滑扩容。
评价方法:服务提供机构承诺存储系统使用国际主流的系统架构,兼容各类存储系统接口,如
FCoE、iSCSI、FC等,兼容各类硬盘类型,如SAS、NL-SAS、SATA、SSD等,兼容标准的存储调用协议,
如SMI-S;能够使用自动精简配置、多节点能力负载均衡等技术支持用户业务,用户可在多种语言界面
(应包括简体中文)下对存储系统进行管理。
评价指标:存储系统响应能力
指标含义:服务提供机构承诺存储系统能够提供的响应性能力、IOPS、读写带宽、扩容速度、最大节
点数等指标满足用户的需求。
评价方法:在电子政务公共平台内,选择任一主机,进行多种数据块大小(IOSize)进行混合读写
(顺序、随机、混合),存储系统的读写次数IOPS应不小于10万,存储系统的读写带宽应不低于10GB/S,
存储系统的平均响应时间应不大于30ms;对常见文件系统(例如NFS、CIFS等)进行读写操作,存储系
统的每秒操作数应不低于10万;存储系统的多节点并行恢复数据不小于1TB/h;存储系统的容量、性
能随节点增加而线性增长,存储系统的节点扩容时间不大于1min/节点,最大节点数不小于150个。
存储系统在投入实际运行之前应提供权威的测试报告。
评价指标:异地容灾服务可用性
指标含义:按照国家标准建立异地容灾系统,容灾系统能够实现正常的系统备份和切换功能,灾备
中心灾难恢复能力应≥3级。
评价方法:在电子政务公共平台内虚拟出一定数量(最多1000个)虚拟机,使用容灾系统对这些虚
拟机进行容灾,容灾备份与恢复的数据应正确无误;使用测试工具对异地容灾系统进行RTO测试,
RTO应小于4h;使用测试工具对异地容灾系统进行RPO测试,RPO应可设置于15min~1440min,
容灾数据备份与恢复应正确无误;在电子政务公共平台内进行异地容灾数据恢复,平台内运行的各类业
务应正常进行无中断;在异地容灾数据恢复过程中,人为制造系统故障点,异地容灾系统应该能够自动
进行故障的切换。
评价指标:业务容灾可用性
指标含义:按照国家标准建立业务容灾系统,容灾系统能够实现业务层面的系统备份和切换功能。
评价方法:对业务容灾系统进行RTO测试,关键业务的RTO应保持在分钟级;对业务容灾系统进
行RPO测试,关键业务的RPO应可忽略不计。
评价指标:数据库软件的效率
指标含义:评估所采用的数据库管理系统产品在时间特性、资源利用特性以及性能标准依从性方面
的水平。
评价方法:评估数据库产品给定数据量下的查询时间、文本数据导入导出时间、索引创建时间、故障
切换时间、基于各类接口的连接时间、各种模式的备份恢复时间等关键时间特性;评估数据库产品在某
种特定的软件、硬件以及网络环境下,在承受一定的负载压力情况下的数据库产品的内存和CPU占用
率、内存泄漏和性能衰减等指标水平;基于典型的业务应用,选取适合的TPC性能基准,模拟业务逻辑,
进行性能基准测试。
71
GB/—2017
满
智
科
技
评价指标:平台用户容量
指标含义:平台支持的最大在线用户数量。
评价方法:使用测试工具模拟用户登录平台并使用平台的各种业务,模拟用户的数量应该可以达到
平台的设计值。
评价指标:多用户模式
指标含义:多用户模式指一个单独的软件实例可以为多个用户或组织服务。一个支持多用户的应
用需要在设计上能对它的数据和配置信息进行虚拟分区,从而使得每个使用这个应用的用户或组织能
使用到一个单独的虚拟实例,并且可以对这个虚拟实例进行定制化。
评价方法:检查应用采用了哪种方式(如:单实例-单用户、多实例、单实例-多用户)实现多用户模
式;检查应用实例是否可由用户自主定制(如自定制用户界面、工作流、业务逻辑等),是否没有对其他用
户造成影响;检查应用的安全隔离机制,检查一个用户使用应用是否会对同一个应用的其他用户造成影
响,能否访问到其他用户的数据;检查应用的身份验证机制和授权机制,检查该应用中的用户能否正确
地进行身份认证,不同权限的用户,能否只得到相应的权限。
评价指标:应用可配置性
指标含义:允许用户根据自己的情况对平台提供的应用进行配置。
评价方法:应允许用户根据自己的情况对应用界面、应用数据、应用业务规则和应用业务流程进行
配置。
服务响应性指标评测
评价指标:服务的及时响应性
指标含义:服务应按SLA要求及时响应用户服务请求,响应时间应在用户的可接受范围之内。
评价方法:检查用户的正常服务请求是否在SLA规定的时间内及时得到响应和处理,或统计并比
较及时响应的服务请求的数量与总的服务请求数量。
评价指标:服务互动沟通机制
指标含义:服务提供方互动沟通机制(包括投诉处理、用户满意度调查、服务报告和服务状态等)的
建立和实施状况。
评价方法:对服务提供方的互动沟通机制的建立与实施情况进行检查。
评价指标:服务投诉解决率
指标含义:服务投诉是否得到有效解决的比率。
评价方法:统计并比较得到有效处理的投诉数量和收到的投诉数量。
评价指标:机房资源配置及时性
指标含义:服务提供机构应按SLA要求及时响应用户对于机房资源的请求,响应时间应在用户的
可接受范围之内。
评价方法:检查用户的正常机房资源配置请求是否在SLA规定的时间内及时得到响应和处理,服
务提供机构应给出不同类型机房资源配置的响应时间,并检查通过机房的运维日志进行核实。
81
GB/—2017
满
智
科
技
评价指标:网络资源配置及时性
指标含义:服务提供机构应按SLA要求及时响应用户对于网络资源的请求,响应时间应在用户的
可接受范围之内。
评价方法:检查用户的正常的网络资源配置请求是否在SLA规定的时间内及时得到响应和处理,
服务提供机构应给出不同类型网络资源配置的响应时间,并检查通过机房的运维日志进行核实。
评价指标:计算资源配置及时性
指标含义:服务提供机构应按SLA要求及时响应用户对于计算资源的请求,响应时间应在用户的
可接受范围之内。
评价方法:检查用户的正常的计算资源配置请求是否在SLA规定的时间内及时得到响应和处理,
服务提供机构应给出不同类型计算资源配置的响应时间,并检查通过机房的运维日志进行核实。
评价指标:虚拟机迁移时间
指标含义:服务提供机构承诺用户完成虚拟机迁移的时间,在物理机轻负载(CPU 利用率小于
15%)情况下,虚拟机完成在线迁移时间<30s,虚拟机完成离线迁移时间<60s。
评价方法:从开始实施虚拟机的在线迁移起记录时刻1,到虚拟机完成在线迁移并可再次提供服务
并记录时刻2,时刻1与时刻2之间间隔应不超过30s。
从开始实施虚拟机的离线迁移起记录时刻1,到虚拟机完成离线迁移可再次提供服务并记录时刻
2,时刻1与时刻2之间间隔应不超过60s。
虚拟机迁移时间可以查验迁移日志作为佐证。
评价指标:应用迁移时间
指标含义:服务提供机构承诺用户完成应用迁移的时间,根据不同的应用迁移场景,服务提供机构
应在承诺时间内完成应用迁移而不会影响到用户业务的正常使用。
评价方法:从服务提供机构开始实施应用的迁移,到应用完成迁移并可再次对用户提供服务,其时
间应不超过服务提供机构所承诺的完成时间。应用迁移包括整体迁移、租用物理资源迁移、租用虚拟资
源迁移和应用改造迁移四种,需要对四种场景进行分别评测。
对于整体迁移,服务提供机构承诺用户完成应用从源端整体迁移至电子政务公共平台。
对于租用物理资源迁移,服务提供机构承诺用户完成应用从源端(物理服务器、虚拟服务器等)整体
迁移至目标端(电子政务公共平台上的服务器、存储、网络资源等物理资源)。
对于租用虚拟资源迁移,服务提供机构承诺用户完成应用从源端(物理服务器、虚拟服务器)整体迁
移到目标端(电子政务公共平台上的虚拟服务器、虚拟存储、虚拟网络资源等虚拟资源)。
对于应用改造迁移,服务提供机构承诺用户完成应用在开发、测试等系列调试工作完成后迁移至电
子政务公共平台。
评价指标:业务资源配置及时性
指标含义:应按SLA要求及时响应用户对于业务资源的请求,响应时间应在用户的可接受范围
之内。
评价方法:检查用户的正常的业务资源配置请求是否在SLA规定的时间内及时得到响应和处理,
服务提供机构应给出不同类型业务资源配置的响应时间,并检查通过机房的运维日志进行核实。
评价指标:物理资源配置自动化
指标含义:物理设备进入或移出电子政务公共平台时,应进行针对设备进行自动化配置,防止影响
91
GB/—2017
满
智
科
技
用户业务。
评价方法:物理设备进入电子政务公共平台后,与运维管理系统连通后,运维管理系统自动发现服
务器的配置信息,包括:名称,位置,管理IP,BIOS,CPU主频、个数,内存大小,硬盘容量,网卡个数,网
口个数等。物理设备的的增加不会影响现有的用户业务。
物理设备在移出电子政务公共平台后,运维管理系统应能够发现该设备的离开,并动态调整相应的
物理资源,物理设备的移出不会影响现有的用户业务。
评价指标:部署服务请求的回应性
指标含义:对于部署服务的请求在规定的时间内予以响应。
评价方法:可以请求多个部署服务,统计电子政务公共平台的平均响应时间并与SLA的承诺响应
时间进行对比。通过查验日志来检查来核实平均响应时间。
评价指标:运维事件响应率及解决率
指标含义:对于运维事件按照不同的响应级别要求在规定的时间内予以响应并加以解决。
评价方法:查看运维日志,统计运维事件的出现次数、响应次数和解决程度,根据得到的数据进行计
算。一般情况下,运维事件解决率能够满足用户要求且大于95%,响应率为100%。
运维事件响应率=运维事件响应次数/运维事件总数×100%;
运维事件解决率=完全解决的运维事件/运维事件总数×100%。
评价指标:业务开通响应性
指标含义:对于业务开通的请求在规定的时间内予以响应。
评价方法:可以请求多个业务,统计电子政务公共平台的平均响应时间并与SLA的承诺响应时间
进行对比。通过查验日志来检查来核实平均响应时间。
评价指标:定制化服务响应及时性
指标含义:用户可根据自己的个性化需要定制相应的服务并获得相应的服务资源,无需和每个资源
提供者进行交互协商,定制完成后,相应的功能应符合SLA相关要求,电子政务公共平台能够在SLA
的要求的时间内及时响应用户对于该定制化服务的请求。
评价方法:检查电子政务公共平台能否提供按需定制化服务,对于按需定制化服务是否有定制相应
的工作流程,检查该工作流程是否符合相应的标准;检查对于用户定制化服务是否有相应的保密措施;
为用户制定定制服务时,检查是否会对其他用户造成影响;检查定制化服务是否符合SLA标准,或是否
按照SLA规范进行管理;检查对于该服务的用户正常服务请求是否在SLA规定的时间内得到响应和
处理。
服务安全性指标评测
评价指标:数据/信息保密性
指标含义:服务提供机构应使用国家密码管理部门发布的指定商用密码算法对硬件和信息(如存
储、服务器系统、信息流)进行加密解密,保证用户数据安全。
评价方法:评价者模拟非授权用户获取到资源池的加密数据,验证所获取的数据是否为采取了保密
措施,是否可以轻易破译加密信息而获取到明文信息,若能破译,则该指标验证为无效,未能保证数据/
信息的保密性;若不能破译,则该指标验证为有效,数据/信息的保密性良好。
02
GB/—2017
满
智
科
技
评价指标:数据的可销毁性
指标含义:服务提供机构承诺在用户要求删除数据或设备在弃置、转售前必须将其所有数据彻底删
除,并无法复原。
评价方法:用户数据彻底删除的场景不包括服务提供机构为未及时续费用户的数据保留一定时间,
以防止用户由于某些原因无法及时续费导致重要数据被删除。在用户要求删除数据或设备在弃置、转
售前,服务提供机构将采取高级清零操作彻底删除用户所有数据,并无法复原,硬盘报废时将消磁。
测试前,选择某些无用的数据,先找到该数据的存储位置,执行对该数据的彻底销毁任务,执行完成
后在其存储位置查看该数据,应该查不到该数据。
评价指标:数据/信息隔离性
指标含义:服务提供机构应承诺针对不同用户数据/信息应有有效的隔离等手段保证用户数据/信
息相互隔离,保证同一资源池用户数据/信息互不可见。
评价方法:访谈管理员,询问是否对用户的数据/信息采用了隔离等手段保证用户数据/信息的安
全,是否对同一资源池的不同用户数据/信息进行了隔离;对用户的主要数据/信息做隔离性测试,评价
者模拟非授权用户通过嗅探工具获取资源池的传输数据,查看其是否采用了有效隔离措施保证用户数
据/信息的隔离性。
评价指标:数据的知情权
指标含义:服务提供机构应承诺用户数据存储位置和使用的知情程度。
评价方法:服务提供机构应承诺用户数据存储位置和使用的知情,应向用户提供数据存储的详细信
息:数据存储在哪些数据中心;数据存储所在数据中心的地理位置,应给出数据中心的具体名称;原始数
据的拷贝数量;原始数据是否有冷备份;备份的数据所存储的数据中心位置;数据存储的位置是否可选,
如果可选则给出可选的方式;用户所有数据包括备份所在数据中心的当地法律相关规定;用户数据的使
用人和使用的数据类型,数据类型包括日志、用户个人信息等;包括除了用户自己的程序会访问自己的
数据外,是否还存在其他访问来源,如果有则需要列出详细来源,如在什么情况下,管理员人为阅读,或
者由政府监管程序读取;承诺用户数据是否存在跨境流动,是否用于国外业务,哪些类型数据有跨境流
动;用户数据是否有机器人自动分析,如果有则需要列出用于什么业务,如邮件的内容用于机器数据分
析提供精准广告等。
示例:服务提供机构告之用户:用户的数据存在一个数据中心。有3个备份,存储在另一个数据中心。用户有权选
择本身数据的数据中心位置,无权选择备份数据的数据中心位置。两个数据中心所在地的法律遵守相关法律。用户所
有数据不会提供给任意第三方,除政府监管部门监管审计需要。用户所有数据不会存在国外数据中心或用于国外业务
或数据分析。用户的行为日志会用于某AA业务的机器人自动数据分析,但不会对外呈现用户个人信息数据。
评价指标:数据库数据隔离
指标含义:根据用户的实际情况,采取不同的数据库数据隔离方式,常见的方式有独立数据库-独立
数据表、共享数据库-独立数据表和共享数据库-共享数据表三种。
评价方法:检查每一种数据隔离方式可以提供的用户数量为多少,每个用户可以分配得到的存储空
间为多少,可以支持并行的用户数量,每个用户的数据备份能力以及数据恢复能力;检查数据隔离开发
设计文档与相关资料,并检查数据库与数据结构是否与文档描述相符;检查数据库的安全性,是否使用
数据加密,是否有数据过滤措施,是否有保证数据连接可靠性的措施,是否采用相应的数据层安全隔离
模式(应用级别的访问控制、DBM访问级别),检查用户是否只能访问其相应权限的数据表;检查是否有
处理数据备份,数据恢复的措施,是否有足够的技术措施处理。
12
GB/—2017
满
智
科
技
对于“独立数据库-独立数据表”的隔离方式,检查对于每一个用户对有一个只属于该用户的数
据库。
对于“共享数据库-独立数据表”的数据隔离式,检查对于每一个用户属于同一个数据库,而且拥有
不同的表,检查应用采取哪些措施防止同一个数据库不同用户之间数据表互相访问,检查是否使用扩展
数据字段的扩展模式(保留表扩展,动态扩展子表,XML表字段扩展)。
对于“共享数据库-共享数据表”的数据隔离式,检查对于每一个用户属于同一个数据库,而且同属
于同一个数据表,检查应用采取哪些措施把不属于该用户的数据字段以及数据过滤掉,控制用户是否只
可以访问其相应的数据字段以及数据,检查是否使用扩展数据字段的扩展模式(保留表扩展、动态扩展
子表、XML表字段扩展)。
评价指标:资源、业务、网络与数据的分级权限
指标含义:不同的用户可能具有不同的权限,根据不同的权限,用户可以能够使用不同的资源、业
务、网络和数据。
评价方法:选择两个具备不同权限的用户,对同一资源、业务、网络和数据进行访问,查看这两个用
户的可访问程度。
评价指标:业务的可审查性
指标含义:对于政府部门等特殊行业用户,本指标定义为服务提供机构应承诺用户同意依法配合国
家监管机构、司法机构等政府部门的安全检查,符合相关数据安全管理规定等;对于普通用户,本指标定
义为服务提供机构承诺用户在必要的条件下由于合规或是安全取证调查等原因可以提供相关的信息:
如关键组件的运行日志、运维人员的操作记录。
评价方法:服务提供机构应明确向用户提供业务审查的详细信息,包括什么样的情况下,可以提供
数据审查,应提供什么样的文档记录等,服务提供机构应出具相应的文档资料。通过对业务运维日志的
核查,查看业务的日常审查记录。
示例:在X 条件下由于合规或是安全取证调查等原因可以提供相关的信息,如关键组件的运行日志、运维人员的操
作记录给用户。
评价指标:网络隔离与访问控制
指标含义:服务提供机构承诺在网络中为不同部门设置不同的隔离区域并对这些部门的访问在权
限上做限制。
评价方法:明确访问控制权限的具体内容,评价者模拟两个不同部门的用户A和B,检查A和B互
相通信和访问资源的控制程度是否越过访问权限所界定的控制范围,若越过所界定的控制范围,则该指
标验证为无效,若不能越过所界定的控制范围,则该指标验证为有效。
评价指标:网络安全防护服务与防病毒
指标含义:服务提供机构承诺对用户的网络、网站等提供安全防护服务和防病毒服务。
评价方法:为用户提供包括防病毒、防篡改、防泄密、防攻击、防瘫痪在内的五防服务;集成安装第三
方防病毒软件,防病毒要求支持磁盘、内存、进程的扫描;支持桌面用户手动发起对单个文件的病毒扫
描。对病毒木马、网络攻击等威胁事件的防护能力应大于99%;应能够正确识别病毒并采取指定防毒
措施,如隔离、删除等。
评价指标:用户接入认证
指标含义:服务提供机构承诺用户可以通过多种方式进行认证,电子政务平台提供统一身份认证和
22
GB/—2017
满
智
科
技
跨域认证以及数字证书。
评价方法:用户接入电子政务公共平台时,可以采用多种认证类型进行用户身份认证,如、
portal、MAC、PPPoE等,用户应可通过认证并接入平台,用户认证后应可进行自身网络统一资源的管
理和故障诊断。
对于多区域的用户,在统一的用户认证服务入口处进行用户认证,平台应正常认证并提供统一用户
数据源管理。
示例:在统一身份认证平台注册一个用户A,然后绑定权限,选择区域平台;在跨平台控制台里进行设置,选择允许
跨平台访问,设置统一身份认证的相关信息并指定区域平台范围和用户权限,利用用户A先后登陆不同的区域平台,并
进行权限范围内的操作。
评价指标:安全审计服务
指标含义:应提供安全审计相关功能且能覆盖到每个用户。
评价方法:查电子政务公共平台是否能够提供审计日志、潜在侵害分析、基本审计查阅和有限审计
查阅、安全审计数据统计、安全审计事件选择以及受保护的审计踪迹存储等功能;检查安全审计功能是
否覆盖到每一个用户;是否有对应用重要安全事件进行审计;是否可以对特定事件,提供指定方式的实
时报警。
评价指标:应用部署的安全性
指标含义:根据应用部署安全性的指标符合程度进行评估,包括软件结构、性能和信息等方面的
安全。
评价方法:当某个应用在电子政务公共平台部署完成之后,采用相关的评测工具对该应用的安全性
进行评测,检查该应用是否存在明显的安全漏洞,该应用的安全性应与平台的整体安全性要求相匹配。
评价指标:平台告警有效性
指标含义:可以对告警进行生成、查询、导出、归并等操作,为用户提供全面有效的告警信息。
评价方法:用户可设置不同等级的性能阈值和告警触发条件,对自身网络设备的性能及运行状态进
行周期性采集。当网络设备性能超过指定阈值或触发了相关告警条件,可通过告警面板、告警查询等方
式来显示网络中的异常情况,在拓扑上以不同的颜色进行显式提示;提供告警查询功能,告警查询后可
以进行导出、归并,告警在确认后可以执行清除或跳转定位到设备/面板等操作,并提供相应截图。
评价指标:国家要求的信息安全等级保护服务
指标含义:对提供服务的机房环境与设施、业务系统、网络、主机、接入等方面提供符合国家要求的
等级保护服务。
评价方法:服务提供机构在物理环境、业务系统、网络、主机以及接入等方面的安全防护措施应至少
提供等级保护三级的要求,对于有特殊要求的部门,可以提供更高的等级保护;定期提供业务系统本身
的等级保护与风险评估的测评,查验等级保护与风险评估报告。
评价指标:信息资源等级保护服务
指标含义:对电子政务平台上的各种信息资源按照其敏感程度和重要性提供不同的符合国家保密
要求的保护服务。
评价方法:服务提供机构应对存储在电子政务平台上的各种信息资源按照其重要性和敏感性进行
分级分类,并对不同级别的信息资源提供不同强度的保护措施,这些保护措施均符合国家对于不同种类
信息的保密要求;服务提供机构应定期提供信息资源等级保护与风险评估报告和定期检查报告。
32
GB/—2017
满
智
科
技
服务可靠性指标评测
评价指标:服务的可用性
指标含义:应按照SLA要求向用户提供持续的、可用的服务的能力。
评价方法:检查是否发生事故导致服务中断,一般情况下,服务可用性指标按照下式计算:
服务可用性=正常运行时间/(正常运行时间+服务中断时间)。
服务中断时间通过实际现场测量或者通过查看维护日志得到,需要定期对服务的运行状态进行
监测。
对于普通服务,建议其服务可用性为99%,即每年可以中断4d;对于基本服务,建议其服务可用性
为%,即每年可以中断9h;对于关键服务,建议其服务可用性为%,即每年可以中断5min。
注:ITIL建议使用“协议服务时间”来替代“服务总时间”,大多数系统可以安排维护期使得服务可以离线进行维护,
因此,在实际计算时,可以考虑采用“协议服务时间”。
评价指标:服务的恢复能力
指标含义:服务提供机构应承诺用户在服务不可用时在SLA约定时间内恢复服务的能力。
评价方法:服务提供机构承诺提供恢复手段或技术来恢复服务,如降级恢复、临时方案、彻底解决
等;明确在什么情况下选择哪种故障恢复手段;并告知用户,当出现故障时,用户是否可以选择恢复手
段,或者服务提供机构将优先选择哪种恢复手段;服务提供机构应具备故障监控、快速定位、自动化恢
复、告知等一系列故障管控体系。
示例:承诺由于统计或计费逻辑造成服务中断,可临时将统计计费下线优先保障用户的业务,系统架构设计上可以
支持降级,保证业务运行。
评价指标:数据存储的持久性
指标含义:服务提供机构承诺在合同期内数据保存不丢的概率,即每月完好数据/(每月完好数据+
每月丢失数据)。
评价方法:服务提供机构承诺存储系统能够自动升级,升级失败后可自动回退,从而保护用户业务
数据;存储系统应支持磁盘、电源、IO模块等的热插拔,在磁盘故障时可在不中断用户业务的情况下自
动检测该故障并隔离故障,磁盘可恢复故障应可自愈;存储系统应可实施多种数据保护方式,如备份、复
制、镜像、克隆、在线快照删除合并等,综合保护用户业务数据。合同期内每月存储文件的持久性为
%。意为每月用户10000个存储的数据块,合同期内每月数据不丢失的概率为%,即每月
只有1个数据块丢失的可能性。
评价指标:数据备份的高效可靠性
指标含义:服务提供机构承诺在合同期内进行现有平台数据的备份,保证在数据丢失时能够有效
找回。
评价方法:合同期内,服务提供机构因采取可靠的数据备份架构,如通过NAS、本地硬盘等。用户
增量备份最小可到1h,全量备份最小可到1d,保证数据的可靠备份。备份快照应可恢复到原虚拟机、
新虚拟机、以及制定虚拟机,方便用户受灾后数据转移。备份服务器集中统一管理的备份服务器数量应
不小于10个,每个备份系统支持的备份虚拟机数量应不超过200个,从而保证数据备份的高性能。
在进行评估时,可以选择某个不重要的业务系统,在执行完该业务系统的数据备份后,强行关闭/卸
载其现有的数据库,通过数据备份恢复其数据,继续使用该业务系统,查看该业务系统是否能够正常
运行。
42
GB/—2017
满
智
科
技
评价指标:数据容灾的高效可靠性
指标含义:服务提供机构承诺在遇到不可抗拒力(如洪水、地震、火灾等)造成数据丢失后,能够高效
可靠的找回数据。
评价方法:合同期内,服务提供机构应可为防止因不可抗力造成数据丢失,进行容灾演练,演练过程
中用户业务应不受影响,为保护用户投资,容灾系统应支持高、中、低端的存储阵列互通。在灾难发生
后,为保护用户灾备数据,在数据恢复时,容灾系统应支持设置不同的角色管理不同的容灾复制策略和
恢复计划,单平台支持的容灾管理站点数量应不小于32个,从而保证用户数据的快速高效恢复。
评价指标:操作系统运行的稳定性
指标含义:在有异常输入或压力条件下,操作系统能够继续正确运行的程度,尤其是从其上运行的
应用、硬件层或设备驱动器引入错误时。
评价方法:查阅操作系统运行日志,检查运行日志中系统稳定无故障运行的时间,要求无故障运行
时间年平均%;检查运行日志中操作系统的故障恢复记录情况,要求故障恢复时间不超过业务可用
性指标中所界定的可接受的业务不可用时间,即年平均。
评价指标:数据库系统运行的稳定性
指标含义:数据库管理系统应符合电子政务公共平台应用在长时间运行、备份恢复、数据库集群以
及高可用等方面的要求。
评价方法:查阅数据库系统运行日志,检查运行日志中系统无故障运行时间,要求无故障运行时间
达到年平均%;检查运行日志中数据库系统的故障恢复记录情况,要求故障恢复时间不超过业务可
用性指标所界定的可接受的业务不可用时间,即年平均。
评价指标:数据库系统运行的可靠性
指标含义:数据库管理系统能够有效监控自身的运行状态,自动发现数据库实例,能够对已设置的
数据库性能阈值进行监控和报警,保障数据库的高可靠性。
评价方法:可兼容多家数据库厂商,如Oracle/SQLServer/DB2/Sybase/Informix。设置数据库系
统监控阈值,在平台运行多厂家数据库系统,使用远程或agent终端登录数据库监控系统,数据库监控
系统应能够正确监控各类数据库性能参数,应可以自动发现数据库实例并纳入监控,当数据库性能X
达到阈值X1 时,应及时发出告警信息。
评价指标:中间件运行的可靠性
指标含义:具有高可用性,具有状态恢复机制和自动故障切换功能。
评价方法:验证进行状态恢复和自动故障恢复同时,始终保持其基础框架处于应用状态,保证系统
能够自动进行故障切换,并有效兼容应用系统和人为操作的错误。
评价指标:网络、网络设施及链路可靠性
指标含义:服务提供机构网络、网络设施及链路在规定条件下和规定时间内履行服务协议的能力。
评价方法:网络可靠性包括互联网双链路接入、多路由备份等;设施的可靠性包括交换机双链路接
入、服务器双链路接入、核心交换机虚拟集群、接入交换机堆叠、核心交换机与接入交换机之间链路捆
绑、交换机链路冗余等。
评价指标:业务资源的可靠性
指标含义:在业务资源出现故障或者拥塞的情况下,通过资源调度,业务资源仍然可以对外提供
52
GB/—2017
满
智
科
技
服务。
评价方法:用户在正常使用业务的过程中,制造人为故障,使该业务的所属资源停止服务,观察该用
户的业务是否会受到影响。
评价指标:灾备系统的有效性
指标含义:灾备系统在日常情况下的可用性,灾难防御方面可以防备小概率的地震、火灾等自然灾
害,也可以防止大概率的设备故障和逻辑故障,确保政务应用系统的连续稳定运行。
评价方法:检查灾备系统的工作日志,一方面确认灾备系统的正常工作,一方面确认灾备系统发挥
了正常作用。在非工作日时间,选择某个不重要的应用系统,模拟数据库系统瘫痪无法运行、数据文件
损坏或者丢失、存储设备故障等故障,检测灾备系统是否能够正常启动恢复该系统正常运行所需要的各
种数据。
评价指标:应急情况的响应措施
指标含义:针对出现的应急情况有必备的应对响应措施。
评价方法:检查相应的应急响应管理制度并调看相关运维日志来证实响应措施的合理性。
评价指标:应用迁移可靠性
指标含义:应用迁移过程中支持断点续传功能、分步骤迁移和源端主机性能控制,从而保证用户应
用迁移过程中的业务体验。
评价方法:对于断点续传功能,在电子政务平台内虚拟出若干个虚拟机,装载操作系统后进行应用
迁移,在应用迁移进行过程中人为制造中断,中断后继续进行迁移,迁移工具应能够识别中断点,并从中
断点开始继续传输数据;对于分步骤迁移功能,使用迁移工具设置若干个迁移步骤,完成步骤1后才能
进行步骤2,步骤2失败后,应可直接再次运行步骤2,而不是从步骤1重新开始;对于源端主机性能控
制,平台应能够设定迁移过程中源端主机所占用的CPU上限,占用的网宽上限值,从而减少因应用迁
移对用户正常业务带来的影响。
评价指标:运维人员流失率
指标含义:季度离职的运维人员占运维人员总体的比率。
评价方法:每季度统计运维人员的总数以及离职人员的总数,取二者的比率。
服务友好性指标评测
评价指标:服务接入访问的网络广泛性
指标含义:用户可以通过各种网络(包括移动和固定)接入电子政务平台并可以采用标准机制进行
访问来获得服务。
评价方法:用户在获得授权允许的情况下,可以通过电脑、智能手机、平板电脑、瘦/胖终端等终端接
入访问电子政务公共平台,并依据授权获得相应等级的服务;电子政务公共平台应对用户接入提供完善
的加密认证授权机制,确保用户在使用服务过程中的安全性和保密性。
评价指标:按需定制化服务
指标含义:在权限许可范围内,用户可根据自己的个性化需要定制相应的服务并获得相应的服务资
源,无需和每个资源提供者进行交互协商。
评价方法:检查电子政务平台能否提供按需定制化服务,对于为按需定制化服务是否有定制相应的
62
GB/—2017
满
智
科
技
工作流程,检查该工作流程是否符合相应的标准;检查对于用户定制的服务是否有相应的保密措施;为
用户制定定制服务时,检查是否会对其他用户造成影响。
评价指标:服务监控
指标含义:主动收集和报告服务的关键质量指标和关键绩效指标的测量情况。
评价方法:以自动化的方式收集和监测服务的运行状态相关数据,进行各种定量和定性的监测,包
括各种关键质量的指标、关键绩效的指标以及阈值。
评价指标:服务趋势分析
指标含义:主动进行服务趋势分析,如顾客满意度、服务要求的符合性、服务的特性与趋势等。
评价方法:检查应用服务趋势分析规范的建立和实施情况,是否有服务趋势分析的记录。
评价指标:操作的可追溯性
指标含义:服务中每一个操作应有记录可供追溯。
评价方法:选择某个服务,进行相关操作,在操作动作完成后,查看运维日志是否对此前的操作有
记录。
评价指标:运维事件的监控
指标含义:对各种运维事件进行主动监控,并形成必要的日志记录。
评价方法:查看运维日志,查看已经记录的运维事件。人为制造某个运维事件,在事件结束后,查看
运维日志对该事件是否有记录。
评价指标:人员团队的专业性
指标含义:具备了与服务相匹配的专业人员团队。
评价方法:分别计算取得相应专业资格认证的服务工程师的比率以及取得信息技术服务相关专业
本科及以上学历的服务工程师的比率,两种人员的比率都应满足服务使用机构的相关规定。
评价指标:运维保障兼容性
指标含义:服务提供机构承诺用户,为最大限度保护用户投资,电子政务公共平台对于各类厂商设
备应进行统一的管理和维护。
评价方法:对于不同厂商的设备进行统一管理,自定义厂商、设备类型、告警、性能指标。可对多个
不同架构的资源池进行管理和业务运营,如VMWare等。为扩大管理面,平台运维管理系统应可对多
个数据进行管理。
评价指标:运维系统的全局可视化实时监控
指标含义:提供实时的设备、网络、服务的运行状态的监控,并以可视化的方式进行显示,可以采用
大屏幕等方式对监控对象的状态做实时展示。
评价方法:在电子政务公共平台运行过程中,使用IT运维监控系统采集IT运维数据,数据应能够
显示平台的实时服务状态并支持服务水平的管理,可以对业务/应用系统运行状况、网络运行状况和机
房设施运行状况进行有效的监控。IT运维数据应可进行SLA管理,能够根据业务类型,如视频、数据
等进行综合打分。
评价指标:基于政务部门的可视化实时监控
指标含义:提供实时的政务部门用户、部门业务应用系统的运行状态的监控,并以可视化的方式进
72
GB/—2017
满
智
科
技
行显示,可以采用大屏幕等方式对监控对象的状态做实时展示。
评价方法:在电子政务公共平台运行过程中,可以选择性地对某政务部门用户和部门业务应用系统
的运行状态进行实时有效的监控并采集相应的运行数据。
评价指标:应急预案及演练
指标含义:提供必要的应急预案并按照规定进行一定次数的演练。
评价方法:查看服务提供机构制定的关于应急预案的文档资料,通过查看相应的运维日志来检查应
急预案的演练次数、演练记录、演练报告等。
应急预案包括对重大突发性事件的应急方案和灾难应急方案。
定期的应急预案及演练应该能够确保应急机制和相关计划能够满足用户的需求以及国家、部门的
相关标准和规章制度的要求。
定期的灾难演习应该能够确保灾难恢复机制和相关计划能够满足RTO和RPO的期望,以及服务
回迁到主站点对用户服务的影响最小。
评价指标:备份恢复演练
指标含义:提供必要的备份恢复方案并按照规定进行一定次数的演练。
评价方法:查看服务提供机构制定的关于备份恢复方案的文档资料,通过查看相应的运维日志来检
查备份恢复的演练次数、演练记录、演练报告等。
定期的备份恢复演习应该能够确保电子政务公共平台能够采用备份数据进行正常工作,不存在数
据无法恢复的盲点,通过定期的演练以提前发现电子政务公共平台中存在的各种问题。
评价指标:服务报告
指标含义:按照用户要求定期提交各种服务运行状态的报告。
评价方法:按照用户要求定期提供系统运行状况、系统评估状况、服务状况(包括服务目录、服务内
容、服务对象等)等的周报、月报、季报、年报等,以及其他不定期报告(如重大事件的请示报告)和方案
(如应急响应、资产购置安装等)。
评价指标:服务内容的告知
指标含义:通过电子邮件、网页、短信、电话等多种方式/渠道向用户通知各种服务的内容。
评价方法:按照事件种类与预先的设置,在服务中的各种事件可以通过电子邮件、网页、短信、电话
等多种方式向/渠道用户通报。
示例:提示应用软件的更新下载、应急预案的演练、重大突发性网络故障、应用系统瘫痪、新应用上线等。
评价指标:平台App库
指标含义:平台通过专门的 WebPortal提供平台App库,便于向用户提供各种应用和服务交互。
评价方法:平台通过专门的 WebPortal提供平台App库,集中向用户告知各种线上应用服务,包
括软件下载、软件更新提示与推送、在线人工服务等,用户在注册后可以获得App中心的各种服务。此
外,平台App库还向用户提供服务目录与内容,实现与用户之间的服务交互,可以完成服务受理、登记
和交付等功能。
9 基础设施资源利用率评测方法
机房设施利用率评测
评测指标:机房集中率
指标含义:电子政务公共平台内被整合的机房数量占各部门已建所有机房总数的百分率。
82
GB/—2017
满
智
科
技
评测方法:
统计该区域内各部门已建机房总数(DE);
统计该区域内整合后的机房个数(CR);
机房集中率=1-(CR/DE)×100%。
对于两个连续的建设阶段而言,DE为电子政务公共平台建设前一个建设阶段各个部门所拥
有机房的总数,而CR为后一个建设阶段各部门拥有的机房总数。
评测指标:机房动力电使用率
指标含义:电子政务公共平台机房的实际动力电功率与设计功率的比率。
评测方法:
统计区域内机房的实际动力电功率(PP);
机房用电设计功率为(PD);
动力电使用率=(PP/PD)×100%。
注:统计一周的平均功率。
评测指标:机房空调功率占比
指标含义:电子政务公共平台机房内的空调功率与机房总功率的比率。
评测方法:
统计区域内某些典型机房的实际总功率PZ(统计一周内的平均功率);
统计区域内某些典型机房内空调的总功率为PC(统计一周内的平均功率);
空调功率占比=(PC/PZ)×100%。
评测指标:统一运维监控覆盖率
指标含义:电子政务公共平台网络及其上承载的应用、机房和硬件设施进行监控的覆盖比率。
评测方法:
纳入统一监控的应用数量(S);
电子政务公共平台网络中运行的所有应用(AS);
纳入统一监控的机房数量(R);
电子政务公共平台的所有机房(AR);
纳入统一监控的硬件设备数量(H);
电子政务公共平台网络中运行的所有硬件设备(AH);
应用监控率=(S/AS)×100%;
机房环境监控率=(R/AR)×100%;
硬件设备监控率=(H/AH)×100%。
评测指标:主机的托管率
指标含义:一个区域内所有主机的托管比率。
评测方法:
统计该区域内正在使用的所有物理主机的总数量(M);
统计该区域内采用了托管方式的物理主机的总数量(N);
主机托管率=(N/M)×100%。
注:托管主机通常情况下不纳入电子政务平台的统一网管系统,由用户自己进行维护,或者是由其他的签约
机构进行远程维护。
92
GB/—2017
满
智
科
技
评测指标:机房PUE
指标含义:一个机房消耗的所有能源与机房内IT负载使用的能源之比。
评测方法:
在某机房的供电入线上挂功率计,测量总功率P1;
在某机房的UPS出线上挂功率计,测试UPS的输出功率P2;
机房的PUE=P1/P2。
改造的旧机房PUE应不超过2,新建机房的PUE应不超过。理论上,PUE值越接近于1
越好。
注1:根据测试需要,PUE可以为一个月、一个季度、半年或者全年的统计值。
注2:对于机房PUE的评测,可以考虑选择多个机房进行评测,也可以选择某个有代表性的机房来评测,或者
选择整个数据中心进行评测。
网络资源利用率评测
评测指标:出口链路带宽利用率
指标含义:电子政务公共平台机房内核心路由器/交换机的出口链路的带宽使用情况。
评测方法:
该区域电子政务网核心路由器/交换机的出口链路带宽(BB);
通过网管系统查看核心路由器/交换机上出口链路的实际业务使用带宽,统计一个工作日内的
业务平均带宽(UB)和峰值带宽(PB);
平均带宽利用率=(UB/BB)×100%;
峰值带宽利用率=(PB/BB)×100%。
评测指标:网络互联互通率
指标含义:电子政务公共平台可互联互通的网络数量占各部门所有已建网络总数量的百分率。
评测方法:
统计该区域内实现互联互通网络的个数(NE);
统计该区域内各部门已建网络的总数(DE);
网络互联互通率=(NE/DE)×100%。
计算资源利用率评测
评测指标:主机计算资源利用率
指标含义:主机的CPU和内存使用率。
评测方法:
选择统计区域内的一组业务比较繁忙的虚拟服务器组,统计该组内虚拟机的CPU利用率和内存
利用率,一般取一天的平均利用率数据(仅仅取工作时间的数据,取样间隔根据需要可以选择1min、
2min、5min、10min等,样本数量应足够多且覆盖整个正常工作时间,对所有样本取算术平均值得到
最终的平均利用率),记录该组内虚拟机的CPU利用率和内存利用率的实际值,并计算虚拟机的平均
利用率及利用率的波动范围。
选择统计区域内的一组业务比较繁忙的物理服务器组,统计该组内物理主机的CPU利用率和内
存利用率,一般取一天的平均利用率数据(仅仅取工作时间的数据,取样间隔根据需要可以选择1min、
2min、5min、10min等,样本数量应足够多且覆盖整个正常工作时间,对所有样本取算术平均值得到最
03
GB/—2017
满
智
科
技
终的平均利用率),记录该组内物理主机的CPU利用率和内存利用率的实际值,并计算物理主机的平
均利用率及利用率的波动范围。
评测指标:计算型服务器的虚拟化率
指标含义:一个区域内所有计算型服务器的虚拟化程度。
评测方法:
统计该区域正在使用的所有计算型服务器的总数量(M),统计该区域采用了虚拟化技术的正
在使用的所有计算型服务器的总数量(N),服务器虚拟化占比=(N/M)×100%。
统计该区域内采用了虚拟化技术的所有正在使用的计算型服务器CPU的总核数(Y),统计该
区域内所有计算型服务器上虚拟CPU的总核数(S),CPU虚拟化率=(S/Y)×100%。
统计该区域内采用了虚拟化技术的所有正在使用的计算型服务器内存的总数(A),统计该区
域内所有计算型服务器上虚拟内存的总数(B),内存虚拟化率=(B/A)×100%。
存储资源利用率评测
评测指标:磁盘利用率
指标含义:一个区域内存储设备的磁盘平均利用率。
评测方法:
统计该区域内所有存储设备的原始存储容量T(完成RAID后的容量);
统计该区域内所有存储设备的实际使用容量P;
磁盘利用率=(P/T)×100%。
暂定:磁盘利用率在30%以下为低,30%~50%为适中,50%~70%为优良,70%以上为过量。
评分从高到低依次为:优良、适中、过量、低。
安全可靠化率评测
评测指标:安全可靠资产比率
指标含义:电子政务网络中使用安全可靠软硬件的资产比率。
评测方法:
统计电子政务网络中安全可靠软件和硬件设备的资产价值P;
统计电子政务网络中所有软件和硬件设备的资产价值T;
安全可靠资产比率=(P/T)×100%。
评测指标:网络设备及安全设备的安全可靠化比率
指标含义:电子政务网络中使用安全可靠网络/安全设备的比率。
评测方法:
针对不同的网络设备,分别进行计算,包括交换机、路由器、防火墙、网络安全设备等(类别可以
根据实际情况进行细分),以交换机为例:
统计该区域内所有交换机的数量T;
统计该区域内所有安全可靠交换机的数量P;
交换机的安全可靠化率=(P/T)×100%
注:网络交换机,使用设备厂商提供的标准查询命令进行检测,如#displayversion命令检测;网络防火墙检测,使用
设备厂商提供的标准查询命令进行检测,如#displayversion命令,网络安全设备包括入侵检测设备、VPN网
关、防病毒网关、漏洞扫描设备等。
13
GB/—2017
满
智
科
技
评测指标:主机设备的安全可靠化比率
指标含义:电子政务网络中使用安全可靠主机设备的比率。
评测方法:
针对不同的主机设备及其内部部件,分别进行计算,包括服务器主机(内存、主板、BIOS芯
片)、存储设备等(类别可以根据实际情况进行细分)。
以服务器主机为例:
统计该区域内所有服务器主机的数量T;
统计该区域内所有安全可靠服务器主机的数量P;
服务器主机的安全可靠化率=(P/T)×100%。
以内存为例:
统计该区域内所有设备上的内存条数T;
统计该区域内所有设备上使用安全可靠内存条的数量P;
内存的安全可靠化率=(P/T)×100%。
记录实际值
注:服务器主机、PC计算机型号检测,使用dmidecode|grep‘ProductName’命令;内存检测,使用dmidecode|
grep-A16‘MemoryDevice$’命令;主板检测,使用dmidecode|grep-A16“SystemInformation$”命令;BIOS
芯片检测,使用dmidecode-tbios命令;存储设备检测,使用dmidecode|grep‘ProductName’命令。
评测指标:系统软件的安全可靠化比率
指标含义:电子政务网络中使用安全可靠系统软件的比率。
评测方法:
针对不同的系统软件,分别进行计算,包括操作系统、数据库软件、应用服务器中间件、虚拟化
软件等(类别可以根据实际情况进行细分),以操作系统为例:
统计该区域内所有操作系统的数量T;
统计该区域内所有安全可靠操作系统的数量P;
操作系统的安全可靠化率=(P/T)×100%。
记录实际值
注:操作系统检测,使用uname-a或cat/etc/issue|grepLinux命令;数据库检测,不同数据库会略有不同,可以使
用通用的标准SQL查询语句,如select*fromv$version;虚拟化软件检测,采用人工现场检查方法;应用服务
器中间件检测方法,对不同厂家产品采用不同命令。
评测指标:常用支撑软件的安全可靠化比率
指标含义:电子政务公共平台中使用安全可靠常用支撑软件的比率。
评测方法:
针对不同的常用支撑软件,分别进行计算,包括平台支撑软件、安全支撑软件、运维管理软件等
(类别可以根据实际情况进行细分),以安全支撑软件为例:
统计该区域内所有安全支撑软件的数量T;
统计该区域内所有安全可靠的安全支撑软件的数量P;
安全支撑软件的安全可靠化率=(P/T)×100%。
注:安全支撑软件主要包括:安全管理平台、安全审计平台、虚拟机安全防护系统、数据库加解密引擎池系统等,采
用功能测试的方法,确认软件功能的可用性及版本属性,确认实际运行中的安全支撑软件是安全可靠的软件;
运维管理软件主要包括:运维监控系统、运维流程管理系统、虚拟机资源监控系统等,采用功能测试的方法,确
认软件功能的可用性及版本属性,确认实际运行中的运维管理软件是安全可靠的软件。
23
GB/—2017
满
智
科
技
附 录 A
(规范性附录)
电子政务公共平台服务使用满意度评价表
本附录给出了电子政务公共平台服务使用满意度评价表,见表所示。
表 电子政务公共平台服务使用满意度评价表
项目 服务内容 得分
服务态度
1.对服务提供机构服务支持人员的服务态度和服务意识的满意度
2.对服务提供机构技术服务人员与服务使用者沟通效果的满意度
3.对服务提供机构值班人员的服务态度及意识的满意度
4.对服务提供机构客服售后支持热线的拨通率和等待时长的满意度
5.对服务提供机构技术服务人员服务规范性的满意度
服务能力
1.对服务提供机构服务支持人员专业技能的满意度
2.对服务提供机构提供的运维服务的稳定性和速度的满意度
3.对服务提供机构提供运维服务的应用系统稳定性的满意度
4.对服务提供机构故障诊断与解决的技术水平的满意度
5.对服务提供机构提供解决方案效果的满意度
6.对服务提供机构提供应急响应能力的满意度
服务时效
1.对服务提供机构事件响应的时效性的满意度
2.对服务提供机构处理问题的时效性的满意度
服务管理
1.对服务提供机构服务管理规范性的满意度
2.对服务合同履行效果的满意度
3.对服务提供机构提供的相关培训的满意度
4.对服务提供机构提供的服务报告的满意度
5.对服务提供机构服务流程的满意度
服务便捷性
1.对服务提供机构分析用户需求、主动推送相关信息和服务的满意度
2.对服务提供机构围绕用户服务需求、将相关服务事项和信息资源进行关联向用
户提供展示的满意度
3.对服务提供机构政务移动应用的满意度
意见与建议
用户代表签字及盖章:
日期:
总体服务得分
33
GB/—2017
满
智
科
技
附 录 B
(规范性附录)
服务质量评估报告样本
基本信息
基本信息样本参见表。
表 基本信息
评测单位: 评测负责人:
被评测服务提供机构:
单位联系人: 联系人电话:
评测时间:
最终得分: 星级评定:
服务提供质量评测指标
服务提供质量评测指标样本见表。
表 服务提供质量评测指标
一级指标 二级指标 测评数据 说 明
1.服务准确性
服务实现的完备性
服务的可度量性
网络接入性能
业务功能符合性
数据可迁移性
应用部署的准确性
2.服务有效性
服务的升级更新
网络的长期服务质量
网络互联互通性能
业务弹性
业务可用性
平台管理可用性
存储系统可用性
存储系统响应能力
异地容灾服务可用性
43
GB/—2017
满
智
科
技
表(续)
一级指标 二级指标 测评数据 说 明
2.服务有效性
业务容灾可用性
数据库软件的效率
平台用户容量
多用户模式
应用可配置性
3.服务响应性
服务的及时响应性
服务互动沟通机制
服务投诉解决率
机房资源配置及时性
网络资源配置及时性
计算资源配置及时性
虚拟机迁移时间
应用迁移时间
业务资源配置及时性
物理资源配置自动化
部署服务请求的回应性
运维事件响应率及解决率
业务开通响应率
定制化服务响应及时性
4.服务安全性
数据/信息保密性
数据的可销毁性
数据/信息保密性
数据的知情权
数据库数据隔离
资源、业务、网络与数据的分级权限
业务的可审查性
网络隔离与访问控制
网络安全防护服务与防病毒
用户接入认证
安全审计服务
应用部署的安全性
平台告警有效性
国家要求的信息安全等级保护服务
信息资源等级保护服务
53
GB/—2017
满
智
科
技
表(续)
一级指标 二级指标 测评数据 说 明
5.服务可靠性
服务的可用性
服务的恢复能力
数据存储的持久性
数据备份的高效可靠性
数据容灾的高效可靠性
操作系统运行的稳定性
数据库系统运行的稳定性
数据库系统运行的可靠性
中间件运行的可靠性
网络、网络设施及链路可靠性
业务资源的可靠性
灾备系统的有效性
应急情况的响应措施
应用迁移可靠性
运维人员流失率
6.服务友好性
服务接入访问的网络广泛性
按需定制化服务
服务监控
服务趋势分析
操作的可追溯性
运维事件的监控
人员团队的专业性
运维保障兼容性
运维系统的全局可视化实时监控
基于政务部门的可视化实时监控
应急预案及演练
备份恢复演练
服务报告
服务内容的告知
平台App库
基础设施资源利用率评测指标
基础设施资源利用率评测指标样本见表。
63
GB/—2017
满
智
科
技
表 基础设施资源利用率评测指标
一级指标 二级指标 测评数据 说 明
机房设施利用率
机房集中率
机房动力电使用率
机房空调功耗占比
统一运维监控覆盖率
主机托管率
机房PUE
网络资源利用率
出口链路带宽利用率
网络整合率
计算资源利用率
主机计算资源利用率
计算型服务器的虚拟化率
存储资源利用率 磁盘利用率
安全可靠化率
安全可靠资产比率
网络及安全设备的安全可靠化比率
主机设备的安全可靠化比率
系统软件的安全可靠化比率
常用支撑软件的安全可靠化比率
服务使用满意度评价结果
服务使用机构根据实际情况填写“电子政务公共平台服务使用满意度评价表”(见表)。
“电子政务公共平台服务使用满意度评价表”总分为100分。
测评公式和测评结果
****年**月**日~****年**月**日,由******评估机构*******
***对*********电子政务公共平台服务提供机构的服务提供质量**个指标、基础设施
资源利用率**个指标进行了现场测试评估,具体指标测评结果如和所示。
通过综合评估:
服务提供质量为X 级
基础设施资源利用率为Y 级
服务使用满意度为Z 级
最终综合评估结果按照电子政务公共平台服务质量的评估水平划分标准(A、B、C、D、E、F)来判
断,**********电子政务公共平台的服务质量水平为“**”级。
改进建议
改进建议部分,应根据实际情况多角度、多层次地对被评估地区的电子政务公共平台服务质量存在
的问题做出分析。
73
GB/—2017
满
智
科
技
附 录 C
(资料性附录)
评价指标使用方法案例
概述
本附录说明如何计算获得评价指标的各级权重。
为了方便起见,采用简化的表格进行计算,使用者可以根据下面的示例进行完整表格的计算,计算
方法相同。
确定评价指标集合
某管理机构组织评估方对某电子政务公共平台服务质量进行评价,评价从服务提供质量、基础设施
资源利用率、服务使用满意度三个方面进行,确定评价指标如表所示。
表 确定评价指标集合(示例)
一级
指标
一级指
标权重
二级
指标
二级指
标权重
三级指标
三级指
标权重
服务提
供质量
A1
服务准确性 B11
服务有效性 B12
服务实现的完备性 C111
服务的可度良性 C112
业务弹性 C121
业务可用性 C122
基础设
施资源
利用率
A2
网络资源利用率 B21
计算资源利用率 B22
出口链路带宽利用率 C211
网络互联互通率 C221
主机计算资源利用率 C212
计算型服务器的虚拟化率 C222
服务
满意度
A3
服务态度 B31
服务时效 B32
对服务提供机构服务支持人员的服务态度和
服务意识的满意度
C311
对服务提供机构技术服务人员与服务使用者
沟通的效果的满意度
C321
对服务提供机构事件响应的时效性的满意度 C312
对服务提供机构处理问题的时效性的满意度 C322
确定评语集合
根据各部分服务质量,可分为以下六个等级:
1) A;
83
GB/—2017
满
智
科
技
2) B;
3) C;
4) D;
5) E;
6) F。
由此确定的评语集合为:
V= A,B,C,D,E,F{ }
各等级根据打分结果的划分准则见。
确定评价指标权重
确定一级指标集合{A1,A2,A3}的权重
设填写后的判断矩阵为A= aij{ }n×n,n=3,利用表4,可得判断矩阵A的元素值,a11=1,a12=
1
5
,
a21=5(A2比A1明显重要),a22=1,a13=5,a31=
1
5
(A1比A3明显重要),a23=5,a32=
1
5
(A2比A3明显重
要),判断矩阵A如表所示。
表 判断矩阵A及各元素权重
矩阵A A1 A2 A3 权重
A1 1 1/5 5 A1=
A2 5 1 5 A2=
A3 1/5 1/5 1 A3=
根据公式Ai=
1
n∑
n
j=1
aij
∑
n
k=1
akj
计算权重
A1=
1
3
×(
1
1+5+
1
5
+
1
5
1
5
+1+
1
5
+
5
5+5+1
)=
A2=
1
3
×(
5
1+5+
1
5
+
1
1
5
+1+
1
5
+
5
5+5+1
)=
A3=
1
3
×(
1
5
1+5+
1
5
+
1
5
1
5
+1+
1
5
+
1
5+5+1
)=
即权向量为V={,,}。
对以上判断矩阵进行一致性检验。求解得到矩阵A的最大特征值λmax为,带入一致性指标公
式CI:CI=(λmax-n)/(n-1),求解CI=(-3)/(3-1)=,根据表5得RI=,
计算一致性比例:CR=CI/RI=
CR>,认定这个判断矩阵的一致性不能接受,需要对判断矩阵进行修正。
经过修正,设修正后的判断矩阵如表所示。
93
GB/—2017
满
智
科
技
表 修正后的判断矩阵A及各元素权重
矩阵A A1 A2 A3 权重
A1 1 1/5 1 A1=
A2 5 1 5 A2=
A3 1 1/5 1 A3=
根据公式Ai=
1
n∑
n
j=1
aij
∑
n
k=1
akj
计算权重
A1=
1
3
×(
1
1+5+
1
5
+
1
5
1
5
+1+
1
5
+
1
1+5+1
)=
A2=
1
3
×(
5
1+5+
1
5
+
1
1
5
+1+
1
5
+
5
1+5+1
)=
A3=
1
3
×(
1
1+5+
1
5
+
1
5
1
5
+1+
1
5
+
1
1+5+1
)=
即权向量为V={,,}。
对以上判断矩阵进行一致性检验。求解得到矩阵A的最大特征值λmax为3,带入一致性指标公式
CI:CI=(λmax-n)/(n-1),求解CI=(3-3)/(3-1)=0,根据表5得RI=,
计算一致性比例:CR=CI/RI=0
CR<,认定这个判断矩阵的一致性是可以接受的。
确定二级指标权重
确定二级指标{B11,B12}的权重
设填写后的判断矩阵为B1= bij{ }n×n,n=2,利用表4,可得判断矩阵B1的元素值为:
b11=1,b12=
1
5
,b21=5(B12比B11明显重要),b22=1,判断矩阵B1如表所示。
表 判断矩阵B1及各元素权重
矩阵B1 B11 B12 权重
B11 1 1/5 B11=
B12 5 1 B12=
根据公式B1i=
1
n∑
n
j=1
bij
∑
n
k=1
bkj
计算权重
B11=
1
2
×(
1
1+5
+
1
5
1+
1
5
)=
04
GB/—2017
满
智
科
技
B12=
1
2
×(
5
1+5
+
1
1+
1
5
)=
即权向量为V1={,}。
对以上判断矩阵进行一致性检验。求解得到矩阵B1的最大特征值λmax为2,带入一致性指标公式
CI:CI=(λmax-n)/(n-1),求解CI=(2-2)/(2-1)=0,根据表5得RI=0,
计算一致性比例:CR=0
CR<,认定这个判断矩阵的一致性是可以接受的。
确定二级指标{B21,B22}的权重
设填写后的判断矩阵为B2= bij{ }n×n,n=2,利用表4,可得判断矩阵B2的元素值为:b11=1,b22=1,
b12=b21=1(B21与B22同等重要),如表所示。
表 判断矩阵B2及各元素权重
矩阵B2 B21 B22 权重
B21 1 1 B21=
B22 1 1 B22=
根据公式B2i=
1
n∑
n
j=1
bij
∑
n
k=1
bkj
计算权重
B21=
1
2
×(
1
1+1
+
1
1+1
)=
B22=
1
2
×(
1
1+1
+
1
1+1
)=
即权向量为V2={,}。
对以上判断矩阵进行一致性检验。求解得到矩阵B2的最大特征值为2,带入一致性指标公式CI:
CI=(λmax-n)/(n-1),求解CI=(2-2)/(2-1)=0,根据表5得RI=0,
计算一致性比例:CR=0
CR<,认定这个判断矩阵的一致性是可以接受的。
确定二级指标{B31,B32}的权重
设填写后的判断矩阵为B3= bij{ }n×n,n=2,利用表4,可得判断矩阵B3的元素值为:
b11=1,b12=
1
5
,b21=5(B32比B31明显重要),b22=1,判断矩阵B3如表所示。
表 判断矩阵B3及各元素权重
矩阵B3 B31 B32 权重
B31 1 1/5 B31=
B32 5 1 B32=
根据公式B3i=
1
n∑
n
j=1
bij
∑
n
k=1
bkj
计算权重
14
GB/—2017
满
智
科
技
B31=
1
2
×(
1
1+5
+
1
5
1+
1
5
)=
B32=
1
2
×(
5
1+5
+
1
1+
1
5
)=
即权向量为V3={,}。
对以上判断矩阵进行一致性检验。求解得到矩阵B3的最大特征值λmax为2,带入一致性指标公式
CI:CI=(λmax-n)/(n-1),求解CI=(2-2)/(2-1)=0,根据表5得RI=0,
计算一致性比例:CR=0
CR<,认定这个判断矩阵的一致性是可以接受的。
确定三级指标权重
确定三级指标{C111,C112}的权重
设填写后的判断矩阵为C11= cij{ }n×n,n=2,利用表4,可得判断矩阵C11的元素值为:
c11=1,c12=
1
5
,c21=5(C112比C111明显重要),c22=1,判断矩阵C11如表所示。
表 判断矩阵C11及各元素权重
矩阵C11 C111 C112 权重
C111 1 1/5 C111=
C112 5 1 C112=
根据公式C11i=
1
n∑
n
j=1
cij
∑
n
k=1
ckj
计算权重
C111=
1
2
×(
1
1+5
+
1
5
1+
1
5
)=
C112=
1
2
×(
5
1+5
+
1
1+
1
5
)=
即权向量为V11={,}。
对以上判断矩阵进行一致性检验。求解得到矩阵C11的最大特征值λmax为2,带入一致性指标公式
CI:CI=(λmax-n)/(n-1),求解CI=(2-2)/(2-1)=0,根据表5得RI=0,
计算一致性比例:CR=0
CR<,认定这个判断矩阵的一致性是可以接受的。
确定三级指标{C121,C122}的权重
设填写后的判断矩阵为C12= cij{ }n×n,n=2,利用表4,可得判断矩阵C12的元素值为:
c11=1,c12=
1
5
,c21=5(C122比C121明显重要),c22=1,判断矩阵C12如表所示。
24
GB/—2017
满
智
科
技
表 判断矩阵C12及各元素权重
矩阵C12 C121 C122 权重
C121 1 1/5 C121=
C122 5 1 C122=
根据公式C12i=
1
n∑
n
j=1
cij
∑
n
k=1
ckj
计算权重
C121=
1
2
×(
1
1+5
+
1
5
1+
1
5
)=
C122=
1
2
×(
5
1+5
+
1
1+
1
5
)=
即权向量为V12={,}。
对以上判断矩阵进行一致性检验。求解得到矩阵C12的最大特征值λmax为2,带入一致性指标公式
CI:CI=(λmax-n)/(n-1),求解CI=(2-2)/(2-1)=0,根据表5得RI=0,
计算一致性比例:CR=0
CR<,认定这个判断矩阵的一致性是可以接受的。
确定三级指标{C211,C212}的权重
设填写后的判断矩阵为C21= cij{ }n×n,n=2,利用表4,可得判断矩阵C21的元素值为:c11=1,c22=
1,c12=c21=1(C211与C212同等重要),如表所示。
表 判断矩阵C21及各元素权重
矩阵C21 C211 C212 权重
C211 1 1 ρ21=
C212 1 1 ρ22=
根据公式C21i=
1
n∑
n
j=1
cij
∑
n
k=1
ckj
计算权重
C211=
1
2
×(
1
1+1
+
1
1+1
)=,
C212=
1
2
×(
1
1+1
+
1
1+1
)=
即权向量为V21={,}。
对以上判断矩阵进行一致性检验。求解得到矩阵C21的最大特征值为2,带入一致性指标公式CI:
CI=(λmax-n)/(n-1),求解CI=(2-2)/(2-1)=0,根据表5得RI=0,
计算一致性比例:CR=0
CR<,认定这个判断矩阵的一致性是可以接受的。
34
GB/—2017
满
智
科
技
确定三级指标{C221,C222}的权重
设填写后的判断矩阵为C22= cij{ }n×n,n=2,利用表4,可得判断矩阵C22的元素值为:
c11=1,c12=
1
5
,c21=5(C222比C221明显重要),c22=1,判断矩阵C22如表所示。
表 判断矩阵C22及各元素权重
矩阵C22 C221 C222 权重
C221 1 1/5 C221=
C222 5 1 C222=
根据公式C22i=
1
n∑
n
j=1
cij
∑
n
k=1
ckj
计算权重
C221=
1
2
×(
1
1+5
+
1
5
1+
1
5
)=
C222=
1
2
×(
5
1+5
+
1
1+
1
5
)=
即权向量为V22={,}。
对以上判断矩阵进行一致性检验。求解得到矩阵C22的最大特征值λmax为2,带入一致性指标公式
CI:CI=(λmax-n)/(n-1),求解CI=(2-2)/(2-1)=0,根据表5得RI=0,
计算一致性比例:CR=0
CR<,认定这个判断矩阵的一致性是可以接受的。
确定三级指标{C311,C312}的权重
设填写后的判断矩阵为C31= cij{ }n×n,n=2,利用表4,可得判断矩阵C31的元素值为:c11=1,c22=
1,c12=c21=1(C311与C312同等重要),如表所示。
表 判断矩阵C31及各元素权重
矩阵C31 C311 C312 权重
C311 1 1 C311=
C312 1 1 C312=
根据公式C31i=
1
n∑
n
j=1
cij
∑
n
k=1
ckj
计算权重
C311=
1
2
×(
1
1+1
+
1
1+1
)=
C312=
1
2
×(
1
1+1
+
1
1+1
)=
即权向量为V31={,}。
对以上判断矩阵进行一致性检验。求解得到矩阵C31的最大特征值为2,带入一致性指标公式CI:
44
GB/—2017
满
智
科
技
CI=(λmax-n)/(n-1),求解CI=(2-2)/(2-1)=0,根据表5得RI=0,
计算一致性比例:CR=0
CR<,认定这个判断矩阵的一致性是可以接受的。
确定三级指标{C321,C322}的权重
设填写后的判断矩阵为C32= cij{ }n×n,n=2,利用表4,可得判断矩阵C32的元素值为:
c11=1,c12=
1
5
,c21=5(C322比C321明显重要),c22=1,判断矩阵C32如表所示。
表 判断矩阵C32及各元素权重
矩阵C32 C321 C322 权重
C321 1 1/5 C321=
C322 5 1 C322=
根据公式C32i=
1
n∑
n
j=1
cij
∑
n
k=1
ckj
计算权重
C321=
1
2
×(
1
1+5
+
1
5
1+
1
5
)=
C322=
1
2
×(
5
1+5
+
1
1+
1
5
)=
即权向量为V32={,}。
对以上判断矩阵进行一致性检验。求解得到矩阵C32的最大特征值λmax为2,带入一致性指标公式
CI:CI=(λmax-n)/(n-1),求解CI=(2-2)/(2-1)=0,根据表5得RI=0,
计算一致性比例:CR=0
CR<,认定这个判断矩阵的一致性是可以接受的。
确定最终权重结果
通过上述计算,可以得到各个服务指标的最终权重结果,如表所示。
表 最终权重结果
一级
指标
一级指
标权重
二级指标
二级指
标权重
三级指标
三级指
标权重
服务提
供质量
A1=
服务准确性 B11=
服务有效性 B12=
服务实现的完备性 C111=
服务的可度良性 C112=
业务弹性 C121=
业务可用性 C122=
基础设
施资源
利用率
A2=
网络资源利用率 B21=
计算资源利用率 B22=
出口链路带宽利用率 C211=
网络整合率 C221=
主机计算资源利用率 C212=
计算型服务器的虚拟化率 C222=
54
GB/—2017
满
智
科
技
表 (续)
一级
指标
一级指
标权重
二级指标
二级指
标权重
三级指标
三级指
标权重
服务
满意度
A3=
服务态度 B31=
服务时效 B32=
对服务提供机构服务支持人员的服务
态度和服务意识的满意度
C311=
对服务提供机构技术服务人员与服务
使用者沟通的效果的满意度
C321=
对服务提供机构事件响应的时效性的
满意度
C312=
对服务提供机构处理问题的时效性的
满意度
C322=
具体评价过程
确定评语集合
评估方组织N 个成员按照测试结果对每个二级指标进行打分,满分100分。根据打分结果,按照
评语等级划分准则确定每个成员对每个三级指标的打分等级。
假设评估方有10个成员,对每个指标的打分结果统计如表所示。
表 10个成员的打分统计结果(示例)
一级指标 二级指标 三级指标
打分等级统计
A B C D E F
服务提
供质量
服务准确性
服务有效性
服务实现的完备性 3人 3人 2人 1人 1人 无
服务的可度良性 1人 2人 2人 2人 3人 无
业务弹性 5人 2人 1人 1人 无 1人
业务可用性 4人 1人 2人 无 2人 1人
基础设
施资源
利用率
网络资源利用率
计算资源利用率
出口链路带宽利用率 3人 2人 1人 1人 1人 2人
网络整合率 3人 3人 2人 1人 1人 无
主机计算资源利用率 1人 2人 2人 2人 3人 无
计算型服务器的虚拟化率 5人 2人 1人 1人 无 1人
服务
满意度
服务态度
服务时效
对服务提供机构服务支持人员的服务态度
和服务意识的满意度
4人 1人 2人 无 2人 1人
对服务提供机构技术服务人员与服务使用
者沟通的效果的满意度
3人 2人 1人 1人 1人 2人
对服务提供机构事件响应的时效性的满意度 5人 2人 1人 1人 无 1人
对服务提供机构处理问题的时效性的满意度 3人 3人 2人 1人 1人 无
64
GB/—2017
满
智
科
技
确定各指标的等级得分比例
通过表的打分结果,可以统计各个指标的打分等级比例,如表所示。
表 各指标的打分等级比例统计
一级指标 二级指标 三级指标
打分等级比例统计
A B C D E F
服务提
供质量
服务准确性
服务有效性
服务实现的完备性 0
服务的可度良性 0
业务弹性 0
业务可用性 0
基础设
施资源
利用率
网络资源利用率
计算资源利用率
出口链路带宽利用率
网络整合率 0
主机计算资源利用率 0
计算型服务器的虚拟化率 0
服务
满意度
服务态度
服务时效
对服务提供机构服务支持人员的服务态度
和服务意识的满意度
0
对服务提供机构技术服务人员与服务使用
者沟通的效果的满意度
对服务提供机构事件响应的时效性的满意度 0
对服务提供机构处理问题的时效性的满意度 0
综合评价
计算三级指标评价结果
对于多层次的指标体系,先从最底层指标开始。
1) 评价C11的三级指标:
根据打分结果,C11的三级指标等级得分矩阵为R11=
æ
è
ç
ö
ø
÷
前面计算出的判断矩阵C11的权向量为C11= ( )
得各部分的总体得分为:
S11=C11×R11= ( )×
æ
è
ç
ö
ø
÷
=()。
2) 评价C12的三级指标:
根据打分结果,C12的三级指标等级得分矩阵为R12=
æ
è
ç
ö
ø
÷,
前面计算出的判断矩阵C12的权向量为C12= ( )
得各部分的总体得分为:
S12=C12×R12
74
GB/—2017
满
智
科
技
= ( )×
æ
è
ç
ö
ø
÷=()。
3) 评价C21的三级指标:
根据打分结果,C21的三级指标等级得分矩阵为R12=
æ
è
ç
ö
ø
÷,
前面计算出的判断矩阵C21的权向量为C12= ( )
得各部分的总体得分为:
S21=C12×R12
= ( )×
æ
è
ç
ö
ø
÷=()。
4) 评价C22的三级指标:
根据打分结果,C22的三级指标等级得分矩阵为R22=
æ
è
ç
ö
ø
÷,
前面计算出的判断矩阵C22的权向量为C22= ( )
得各部分的总体得分为:
S22=C22×R22
= ( )×
æ
è
ç
ö
ø
÷=()。
5) 评价C31的三级指标:
根据打分结果,C31的三级指标等级得分矩阵为R31=
æ
è
ç
ö
ø
÷,
前面计算出的判断矩阵C31的权向量为C31= ( )
得各部分的总体得分为:
S31=C31×R31
= ( )×
æ
è
ç
ö
ø
÷=()。
6) 评价C32的三级指标:
根据打分结果,C32的三级指标等级得分矩阵为R32=
æ
è
ç
ö
ø
÷,
前面计算出的判断矩阵C32的权向量为C32= ( )
得各部分的总体得分为:
S32=C32×R32
= ( )×
æ
è
ç
ö
ø
÷=()。
计算二级指标评价结果
1) 评价B1的二级指标:
B1的二级指标评价结果可由三级指标C11和C12计算获得:
二级指标S1=B1×
S11
S12
æ
è
ç
ö
ø
÷= ( )×
æ
è
ç
ö
ø
÷
=()。
2) 评价B2的二级指标:
B2的二级指标评价结果可由三级指标C21和C22计算获得:
84
GB/—2017
满
智
科
技
二级指标S2=B2×
S21
S22
æ
è
ç
ö
ø
÷= ( )×
æ
è
ç
ö
ø
÷
=()。
3) 评价B3的二级指标:
B3的二级指标评价结果可由三级指标C31和C32计算获得:
二级指标S3=B3×
S31
S32
æ
è
ç
ö
ø
÷= ( )×
æ
è
ç
ö
ø
÷
=()。
计算一级指标综合得分
一级指标总体得分为:
S=A×
S1
S2
S3
æ
è
ç
ç
ç
ö
ø
÷
÷
÷
=()×
æ
è
ç
ç
ç
ö
ø
÷
÷
÷
=()。
其中A为一级指标的权向量,S为一级指标的总体得分等级,S1为A1所有二级指标的综合等级得
分,S2为A2所有二级指标的综合等级得分,S3为A3所有二级指标的综合等级得分。
评语集合为:V={A,B,C,D,E,F},综合评价结果等级为S=(
),将评价结果等级映射到评语集合,如表所示。
表 最终得分结果(示例)
评语集合 A B C D E F
得分结果
按照最大隶属原则,maxS( )=( )=,
因此,由表映射关系可得:总体评价等级为A级。
注:各指标的权重在不同的评估应用场景下可能不同,在计算指标权重时,根据专家意见重新构造判断矩阵,根据
判断矩阵计算指标权重的计算过程与本案例相同。当评估时的二级指标各等级得分比例变动时,即对应的得
分矩阵的数值改变,将变动后的得分矩阵重新代入总体得分计算公示进行重新计算即可。
GB/—2017
满
智
科
技
7102—
1
77043
T/
B
G
中 华 人 民 共 和 国
国 家 标 准
基于云计算的电子政务公共平台管理规范
第1部分:服务质量评估
GB/—2017
*
中 国 标 准 出 版 社 出 版 发 行
北京市朝阳区和平里西街甲2号(100029)
北京市西城区三里河北街16号(100045)
网址:
服务热线:400-168-0010
2017年8月第一版
*
书号:155066·1-56404
版权专有 侵权必究
满
智
科
技
