国家科学数据共享工程技术标准 XXXXXX—2005 科学数据共享工程质量管理规范 中华人民共和国科学技术部 二〇〇五年五月
前言 制定本规范旨在指导“科学数据共享工程”数据、服务、运行管理及共享工程建设的质量管理。 本规范由中华人民共和国科学技术部基础研究司提出并负责解释。 本规范起草工作由中国农业科学院作物科学研究所、浙江大学等单位参加。 本规范主要起草人:曹永生、孔繁胜、刘必红等。 I
目 次 1范围.................................................................................................................4 2规范性引用文件..............................................................................................4 3定义.................................................................................................................5 4总则.................................................................................................................9 “科学数据共享工程”质量管理.................................................................9 质量描述.....................................................................................................10 质量评价.....................................................................................................12 质量控制.....................................................................................................13 5数据质量........................................................................................................14 数据质量描述基本原理.............................................................................14 数据质量描述组件..........................................................................14 数据质量定量元素与数据质量定量子元素....................................15 数据质量非定量元素.......................................................................18 识别数据质量.............................................................................................19 识别定量的数据质量信息...............................................................19 识别非定量的质量信息...................................................................23 数据质量评价过程....................................................................................24 概述.................................................................................................24 过程组件.........................................................................................24 数据质量评价方法....................................................................................26 数据质量评价方法分类..................................................................26 直接评价方法.................................................................................27 间接评价方法.................................................................................27 数据质量控制.............................................................................................27 数据质量控制原则..........................................................................27 数据质量控制规范..........................................................................28 数据质量概要测试包...........................................................................31 数据质量控制方法..........................................................................32 报告数据质量信息.....................................................................................32 概述.................................................................................................32 数据质量评价报告.........................................................................33 6服务质量........................................................................................................36 服务质量描述基本原理.............................................................................36 服务质量描述组件..........................................................................36 服务质量定量元素与服务质量定量子元素....................................37 服务质量非定量元素.......................................................................39 识别服务质量.............................................................................................40 识别定量的服务质量信息...............................................................40 1
识别非定量的服务质量信息...........................................................44 服务质量评价过程....................................................................................44 概述.................................................................................................44 过程组件.........................................................................................45 服务质量评价方法....................................................................................46 服务质量评价方法分类..................................................................46 直接评价方法..................................................................................47 间接评价方法.................................................................................47 服务质量控制.............................................................................................47 服务质量控制原则..........................................................................47 服务质量控制规范..........................................................................48 服务质量控制方法..........................................................................51 报告服务质量信息....................................................................................52 概述..................................................................................................52 服务质量评价报告.........................................................................52 7运行管理质量................................................................................................57 运行管理质量描述基本原理......................................................................57 运行管理质量描述组件...................................................................57 运行管理质量定量元素...................................................................58 运行管理质量非定量元素...............................................................59 识别运行管理质量.....................................................................................60 识别定量的运行管理质量信息.......................................................60 识别非定量的运行管理质量信息...................................................62 运行管理质量评价过程............................................................................63 概述.................................................................................................63 过程组件.........................................................................................63 运行管理质量评价方法............................................................................65 运行管理质量评价方法分类..........................................................65 直接评价方法..................................................................................66 间接评价方法.................................................................................66 运行管理质量控制.....................................................................................66 运行管理质量控制原则...................................................................66 运行管理质量控制规范...................................................................67 运行管理质量控制方法...................................................................69 报告运行管理质量信息............................................................................70 概述..................................................................................................70 运行管理质量评价报告...................................................................70 8建设质量........................................................................................................75 建设质量描述基本原理.............................................................................75 建设质量描述组件..........................................................................75 2
建设质量定量元素..........................................................................76 建设质量非定量元素.......................................................................77 识别建设质量.............................................................................................78 识别定量的建设质量信息...............................................................78 识别非定量的建设质量信息...........................................................80 建设质量评价过程....................................................................................81 概述.................................................................................................81 过程组件.........................................................................................81 建设质量评价方法....................................................................................83 建设质量评价方法分类..................................................................83 直接评价方法..................................................................................84 间接评价方法.................................................................................84 建设质量控制.............................................................................................84 建设质量控制原则..........................................................................84 建设质量控制规范..........................................................................85 建设质量控制方法..........................................................................87 报告建设质量信息....................................................................................88 概述..................................................................................................88 建设质量评价报告..........................................................................88 编制说明..........................................................................................................93 3
4 国家科学数据共享工程技术标准 XXXXXX—2004 科学数据共享工程质量管理规范 1范围 本规范阐述了质量描述的基本原理,详细说明了识别及报告质量信息的基本方法,规范了质量控制的基本原则与方法。 本规范适用于“科学数据共享工程”数据、服务、运行管理及建设的质量管理。 2规范性引用文件 下列文件中的条款通过本标准的引用而成为本标准的条款。凡是注日期的引用文件,其随后所有的修改单(不包括勘误的内容)或修订版均不适用于本标准。然而,鼓励根据本标准达成协议的各方研究是否可使用这些文件的最新版本。凡是不注日期的引用文件,其最新版本适用于本标准。 科学数据共享工程元数据内容标准 科学数据共享工程数据元标准化原则与方法 科学数据共享工程数据模式描述规则与方法 科学数据共享工程数据元目录 4
5 科学数据共享工程数据交换格式设计原则 科学数据共享工程科学数据分类与编码原则与方法 科学数据共享工程科学数据分类与编码 科学数据共享工程数据元注册与管理规范 科学数据共享工程目录服务规范 科学数据共享工程数据与服务注册规范 科学数据共享工程数据访问服务接口规范 科学数据共享工程元数据检索和提取协议 科学数据共享工程WEB服务应用规范 科学数据共享工程数据可视化服务接口规范 科学数据共享工程数据分发服务指南与规范 科学数据共享工程信息服务集成规范 科学数据共享工程科学数据中心建设规范 科学数据共享工程科学数据网建设规范 3定义 精度 观测值与真值或允许值之间的接近程度。 一致 满足指定的规范。 一致性质量层次 用来决定满足产品规范或用户需求中指定标准程度的质量结果5
6 门限值。 质量定量元素 描述质量的定量成分。 质量评价过程 用于应用和报告质量评价方法及结果的操作。 质量测量 对质量定量子元素或质量定量元素的评估。 例:某属性中正确值所占的比率。 质量非定量元素 描述质量的非定量成分。 质量结果 应用质量测量得到的值或值的集合,或用指定的一致性质量层次评价这些值或值的集合后得到的结果。 质量范围 被报告质量信息的范围或特点。 质量定量子元素 质量定量元素的组成部分,用于描述质量定量元素某一方面。 质量值类型 报告质量结果的值的类型。 质量值单位 报告质量结果的值的单位。 6
7 数据集 可识别的数据集合。 注:数据集可以是物理上位于大数据集内的,受空间范围或特征类型约束限制的一小部分数据。理论上,数据集可以小至大数据集内的某个特征或特征属性。 数据集系列 具有相同产品规范的数据集组成的集合。 直接评价方法 通过内部知识来评价质量的方法。 特征 对现实世界现象的抽象。 注:特征可为特征类型或特征实例。若仅指其中一项,须特别注明。 特征属性 特征的特性。 注:特征属性有名称、数据类型及值域。特征实例的特征属性也有值域内的一个属性值。 完全检查 检查质量范围内的所有个体。 非直接评价方法 通过外部知识来评价质量的方法。 7
8 数据项 可被独立描述或考虑的事物。 注:数据项可是数据集的任意部分,如特征、特征关系、特征属性或他们的组合。 元数据 关于数据的数据。 群体 被考虑的所有个体。 质量 产品满足规定的、隐含的需要的特征总和。 8
9 4总则 “科学数据共享工程”质量管理 “科学数据共享工程”质量管理主要是对“科学数据共享工程”的数据、服务、运行管理及建设的质量进行规范和控制。该规范参考GB/T 19000-2000及GB/T 19001-2000对“科学数据共享工程”进行质量管理。 该规范要求“科学数据共享工程”的质量管理必须识别相应产品规范或用户需求中的质量信息,在元数据、质量评价报告中形成正确的质量描述,并在这些规范上的质量结果均为“合格”。 图1为“科学数据共享工程”质量管理框架。 9
10 图1质量管理框架 质量描述 该规范认为产品规范或用户需求中包含质量信息。该规范通过识别其中的质量元素来描述质量信息。 10
11 质量描述可用来描述数据、服务、运行管理及建设的质量。 质量应当用以下两个组件来描述: 质量定量元素 质量非定量元素 每个质量定量元素可细分为多个质量定量子元素。每个质量定量子元素用多个质量定量子元素描述子描述。 质量定量元素、质量定量子元素及质量定量子元素描述子描述数据、服务、运行管理、建设满足相应规范中预先设定的标准的程度并提供定量的质量信息。 质量非定量元素提供非定量的质量信息。 图2为质量信息框架。 11
12 图2质量信息框架 质量评价 质量评价过程是产生和报告质量结果的一系列步骤。 图3描述了评价和报告质量结果的过程流。 12
13 图3评价与报告质量结果 质量控制 质量控制大体上可分为自查、第三方检查及项目组验收三个步骤。 质量控制的对象为:数据、服务、运行管理、建设及对它们的质量描述。 13
14 5数据质量 该部分阐述了数据质量描述的基本原理,详细说明了识别及报告数据质量信息的基本方法,规范了数据质量评价的过程、方法及数据质量评价报告的内容。 该部分适用于“科学数据共享工程”各种数据的质量评价;也适用于描述和评价一个数据集在产品规范规定的指标内的质量信息;同时可依据本标准确定某数据集质量,判断该数据是否满足特定应用;也可用于描述其数据质量需求。 数据质量描述基本原理 数据质量描述组件 质量描述可用于数据集系列、数据集或数据集内具有相同特征的一部分数据。 一个数据集的质量应当用以下两个组件来描述: 数据质量定量元素 数据质量非定量元素 数据质量定量元素、数据质量定量子元素及数据质量定量子元素描述子描述数据集满足产品规范中预先设定的标准的程度并提供定量的质量信息。 数据质量非定量元素提供非定量的质量信息。 数据质量非定量元素在评价数据集在不同于预期应用的特定应用中的质量时很有用。 质量信息的质量即质量信息的可靠性。该类型信息记录在“数据14
15 质量评价报告”(见)中。 图4为数据质量信息框架。 图4数据质量信息框架 数据质量定量元素与数据质量定量子元素 数据质量定量元素 下列数据质量定量元素,若可用,应被用来描述数据集满足预先设定在产品规范中的标准的程度。 完整性:特征、特征属性及特征关系存在或不存在。 15
16 逻辑一致性:数据结构(包括概念的、逻辑的或物理的数据结构)、属性及他们之间的相互关系符合逻辑规则的程度。 位置精度:特征的位置精度。 时间精度:时间属性及特征之间的时间关系的精度。 专题精度:定量属性的精度、非定量属性的正确性、特征分类的正确性及特征之间相互关系的正确性。 用户可新建附加数据质量定量元素以便描述无法用以上定量元素描述的数据质量定量信息。 数据质量定量子元素 下列与数据质量定量元素相对应的数据质量定量子元素,若可用,应被用来描述数据集的定量质量信息。 完整性 多余:数据集中有多余数据。 缺少:数据集中缺少应有的数据。 逻辑一致性: 概念一致性:符合概念模式规则。 值域一致性:值在值域范围内。 格式一致性:数据存储与数据集物理结构的一致性。 16
17 拓扑一致性:数据集拓扑关系的正确性。 位置精度: 绝对精度:坐标值与其可接受的坐标值或真值之间的接近程度。 相对精度:特征相对位置与其可接受的相对位置或真值之间的接近程度。 栅格数据位置精度:栅格数据位置与其可接受的值或真值之间的接近程度。 时间精度: 时间测量精度:时间测量的正确性。 时间一致性:有序事件或有序序列的正确性。 时间正确性:数据在与时间有关的方面的正确性。 专题精度: 分类正确性:特征或其属性的分类相对于分类标准的正确性。 非定量属性正确性:非定量属性的正确性。 定量属性精度:定量属性的精度。 对任意数据质量定量元素,可新建附加数据质量定量子元素。 17
18 数据质量定量子元素描述子 对每个可用的数据质量定量子元素,应记录其质量信息。每个数据质量定量子元素的完全的质量信息用下列7个数据质量描述子来记录: 数据质量范围 数据质量测量 数据质量评价过程 数据质量结果 数据质量值类型 数据质量值单位 数据质量日期 数据质量非定量元素 下列数据质量非定量元素,若可用,应被用来描述数据集的非定量的质量信息: 目的 用途 数据志 目的描述数据集的创建原因和其预定的使用目的。 用途描述使用过该数据集的应用。数据生产者或其它数据使用者18
19 用“用途”来描述数据集的使用情况。 数据志描述数据集的历史,即数据集从搜集、获取、汇编到现状的整个生命周期。 数据志包含两部分: 描述数据集起源的源信息; 描述数据集生命周期中的事件或转换的处理步骤或历史信息(包括连续性或周期性地维护数据集的处理过程)。 附加数据质量非定量元素描述以上数据质量非定量元素没有描述的非定量的质量信息。 识别数据质量 识别定量的数据质量信息 概述 描述识别定量质量信息的过程。有些子条款并不对所有情形都适用。 识别可用的数据质量定量元素 可用于数据集的所有数据质量定量元素都应当被识别。有些数据质量定量元素也许不能用于某一特定类型的数据集。 注意:数据质量定量元素可用性应当由参考数据集产品规范来决19
20 定。 新建附加数据质量定量元素 若该标准所列的数据质量定量元素没有充分描述某一质量部件,则应当命名并定义附加数据质量定量元素。附加数据质量定量元素的命名和定义应当被包括为数据集质量信息的一部分。 识别可用的数据质量定量子元素 应识别每个可用数据质量定量元素的所有可用数据质量定量子元素(每个可用数据质量定量元素至少有一可用数据质量定量子元素)。有些可用数据质量定量元素的数据质量定量子元素也许对某一特定类型的数据集不可用。 注意:数据质量定量子元素的可用性应当由参考数据集产品规范来决定。 新建附加数据质量定量子元素 若该标准所列的数据质量定量子元素没有充分描述数据质量的某一方面,则应当命名并定义附加数据质量定量子元素。附加数据质量定量子元素的命名和定义应被包括为数据集质量信息的一部分。 20
21 使用数据质量定量子元素描述子 数据质量范围 对每个可用数据质量定量子元素,必须识别至少一个数据质量范围。数据集范围可以是该数据集所属的数据集系列、该数据集、或是该数据集内具有某些相同特征的一小部分。若数据质量范围不能被识别,则其数据质量范围为该数据集。 注意:数据质量范围的决定应参考数据集的产品规范及数据质量非定量元素提供的非定量的质量信息。 在同一数据集内,质量也可有所不同。故对每个可用数据质量定量子元素,应当识别多个数据质量范围,以便更全面地描述定量的质量信息。数据质量范围应被充分描述。下列可被用来描述数据质量范围: 层次(数据集所属的数据集系列、数据集或数据集内具有某些相同特征的一小部分。); 数据项类型(特征类型、特征属性及特征间的相互关系。)或特定数据项(特征实例、属性值及特征间的关系实例); 地理范围; 时间范围(时间帧及时间帧精度)。 数据质量测量 每个数据质量范围有一个数据质量测量。数据质量测量应当简要描述并命名(若名称存在)应用于该数据质量范围所规定的测试类型,21
22 并应当包含边界或限制参数。 该标准认为数据集的质量应当由多个测试来衡量。单个数据质量测量不能充分评价由某一数据质量范围所限定的数据的数据质量,也不能为数据集的所有可能的应用提供一个测量。多个数据质量测量组合起来能提供有用信息。故对某数据质量范围限定的数据,应提供多个数据质量测量。 数据质量评价过程 每个数据质量测量有一数据质量评价过程。数据质量评价过程应当描述(或引用文档描述)将数据质量测量应用到数据质量范围所限定的数据的方法,并应当包含报告该方法的报告。 数据质量结果 每个数据质量测量有一个数据质量结果。数据质量结果应为以下两者中的一个: 将数据质量测量应用到数据质量范围所限定的数据后得到的值或值的集合; 将数据质量测量应用到数据质量范围所限定的数据后得到值或值的集合,用一指定的可接受的一致性质量层次评价这些值或值的集合后得到的结果。该数据质量结果为“通过”或“不通过”。 这两种类型的数据质量结果都应当被提供。 22
23 数据质量值类型 每个数据质量结果有一个数据质量值类型。 注意:“通过”或“不通过”的数据质量类型为“布尔变量”。 数据质量值单位 每个数据质量结果有一个数据质量值单位(若存在)。 数据质量日期 每个数据质量测量应当有一个数据质量日期。 识别非定量的质量信息 识别可用的数据质量非定量元素 数据集的目的总是可用的。 数据集生产者所知道的所有用途都是可用的。 数据集的数据志总是可用的。在极少数情况下,也许不知道数据志的相关信息。要么报告数据志,要么报告缺少数据志的原因。 数据质量范围所限定的数据集内的一小部分数据的数据志可与数据集其它部分的数据志不同。对数据质量范围所限定的数据集内具有不同数据志的小部分数据,应当提供其数据志并将其作为数据集非定量的质量信息的一部分,以便完全记录非定量的质量信息。 23
24 新建附加数据质量非定量元素 若该标准所列的数据质量非定量元素没有充分描述非定量数据质量的某一方面,则应当命名并定义新的数据质量非定量元素。附加数据质量非定量元素的命名和定义应当被包括为数据集质量信息的一部分。 数据质量评价过程 概述 数据质量评价过程是产生和报告数据质量结果的一系列步骤。质量评价过程可用在静态数据集上,也可用在动态数据集上。 过程组件 过程流 图5描述了评价和报告数据质量结果的过程流。 24
25 图5评价与报告数据质量结果 步骤 表1描述了处理步骤。 25
26 表1 处理步骤 步骤 动作 描述 1 识别可用的数据质量定量据识别数据质量定量元素、数据质量定元素、数据质量定量子元素量子元素及数据质量范围。若产品规范或及数据质量范围。 用户需求有测试需要,重复该步。 2 识别数据质量测量 对每个测试,识别数据质量测量、数据质量值类型及数据质量值单位(若存在)。 3 选择并运用数据质量评价对每个被识别的数据质量测量,选择数据方法 质量评价方法。 4 决定数据质量结果 结果为:定量数据质量结果、数据质量值或数据质量值集合、数据质量值单位及数据质量日期。 5 决定一致性 若产品规范或用户需求中已指定一致性质量层次,将其与数据质量结果相比较后可决定一致性。一致性数据质量结果(“通过”或“不通过”)是定量数据质量结果与一致性质量层次比较后的结果。 数据质量评价方法 数据质量评价方法分类 数据质量评价过程要运用一种或多种数据质量评价方法。数据质量评价方法可分为两类:直接方法及间接方法。直接方法通过比较数据与内部或外部参考信息来决定数据质量。间接方法使用与数据相关的信息推断或估计数据质量,如:使用数据志信息。 26
27 直接评价方法 直接评价方法可分为自动或手工评价方法,还可分为完全检查或取样方法。 完全检查测试数据质量范围内的所有数据项。 取样测试数据质量范围内足够的数据项来获得数据质量结果。取样方法类型、取样率及取样的详细过程描述要在质量评价报告中报告。 使用取样时,应分析数据质量结果的可靠性,特别是在使用小样本,或取样方法不是随机取样时。 间接评价方法 间接评价方法根据外部知识评价数据集的质量。外部知识包括,但并不限于,数据质量非定量元素、数据集的其它质量报告、或关于产生该数据集的数据的质量报告。 注意:仅在直接评价方法不可用时才用间接评价方法。 数据质量控制 数据质量控制原则 数据质量控制的对象为:数据、数据质量描述及数据质量评价报告。 任何纳入“科学数据共享工程”的数据必须与“数据质量概要测试包”一致。 27
28 数据质量控制规范 数据质量描述概要测试包 “数据质量描述概要测试包”用来测试对数据集的质量描述的正确性。对数据集的质量描述都必须通过该测试包的所有测试。 测试一:组件测试 1)测试目的:证实质量组件都在质量描述中。 2)测试方法:检查质量描述,证实数据质量定量元素、数据质量定量子元素及数据质量定量子元素描述子已被用来描述定量的质量信息; 检查质量描述,证实数据质量非定量元素已被用来描述非定量的质量信息。 3)参考:。 测试二:正确性测试 1)测试目的:证实质量描述的正确性。 2)测试方法:检查质量描述,证实其数据质量定量元素及数据质量定量子元素在该标准中,或是用户附加的以便用来描述不在该标准中的数据质量组件或方面。 检查质量描述,证实该标准中的数据质量定量子元素描述子已被用来描述定量的质量信息。 28
29 检查质量描述,证实其数据质量非定量元素在该标准中,或是用户附加的以便用来描述不在该标准中的非定量的数据质量信息。 3)参考:,。 测试三:定量的质量可用性测试 1)测试目的:证实定量质量描述的可用性。 2)测试方法:识别产品规范中与定量质量相关的语句并用它们来识别可用的数据质量定量元素及其可用的数据质量定量子元素。比较这些数据质量定量子元素与质量描述中所用的数据质量定量子元素,确保该数据集可用的所有数据质量定量子元素都已被识别并被用在质量描述中。 3)参考:。 测试四:非定量的质量可用性测试 1)测试目的:证实非定量的质量描述的可用性。 2)测试方法:证实可用的数据质量非定量元素被用来描述非定量的质量信息。 3)参考:。 测试五:排斥性测试 1)测试目的:证实质量描述中的附加元素是排斥性的,证实关于附加元素的信息已被充分提供。 29
30 2)测试方法:检查所有附加数据质量定量元素,证实每个都描述了该标准中数据质量定量元素没有描述的定量质量信息。 检查所有附加数据质量定量子元素,证实每个都描述了该标准中数据质量定量子元素没有描述的定量质量信息。 检查所有附加数据质量非定量元素,证实每个都描述了该标准中数据质量非定量元素没有描述的非定量质量信息。 3)参考:,及。 测试六:数据质量定量子元素描述子使用正确性 1)测试目的:证实数据质量定量子元素描述子使用正确。 2)测试方法:比较该标准及每个可用数据质量定量子元素(包括附加数据质量定量子元素)所提供的质量信息,证实数据质量定量子元素描述子的使用符合该标准。 3)参考:。 测试七:在元数据中报告数据质量信息 1)测试目的:证实质量描述已在元数据中报告。 2)测试方法:证实定量的质量信息已按“科学数据共享工程元数据内容标准”在元数据中报告; 证实非定量的质量信息已按“科学数据共享工程元数据内容标准”在元数据中报告。 3)参考:。 30
31 测试八:用“数据质量评价报告”报告定量的质量信息 1)测试目的:证实定量质量描述已用“数据质量评价报告”报告。 2)测试方法:证实定量质量信息已用符合“报告数据质量信息”要求的“数据质量评价报告”报告。 3)参考:。 数据质量概要测试包 1)测试目的:保证纳入“科学数据共享工程”的数据及其质量描述的质量。 2)测试方法:任何纳入“科学数据共享工程”的数据必须提供与一致的元数据及质量评价报告。质量描述必须识别以下数据规范中的所有质量信息,并在这些数据规范上的数据质量结果均为“合格”。 科学数据共享工程数据元标准化原则与方法 科学数据共享工程数据模式描述规则与方法 科学数据共享工程数据元目录 科学数据共享工程数据交换格式设计原则 科学数据共享工程科学数据分类与编码原则与方法 科学数据共享工程科学数据分类与编码 3)参考:。 31
32 数据质量控制方法 数据质量控制大体上可分为自查、第三方检查及项目组验收三个步骤。 自查:数据集生产者自查认为数据及其质量描述完全符合“数据质量概要测试包”的所有要求,才能将其提交给第三方检查。 第三方检查:第三方检查认为数据集生产者提交的数据及其质量描述完全符合“数据质量概要测试包”的所有要求,才能将其提交给项目组检查。否则,详细指出错误,将材料返回给数据集生产者让其修改。 项目组检查:项目组检查认为数据集生产者提交的数据及其质量描述完全符合“数据质量概要测试包”的所有要求,才能将其纳入“科学数据共享工程”。否则,详细指出错误,将材料返回给数据集生产者让其修改。 报告数据质量信息 概述 定量数据质量信息应按《科学数据共享工程元数据内容标准》在元数据中报告。 定量数据质量信息还要用“数据质量评价报告”报告。 非定量数据质量信息应按《科学数据共享工程元数据内容标准》在元数据中报告。 32
33 当多个数据质量结果被综合成单个数据质量结果来报告数据集质量时,综合数据质量结果应报告成元数据并被包含在数据质量评价报告中。其数据质量结果类型为“综合”。 注意:非定量数据质量信息不在“数据质量评价报告”中报告。 数据质量评价报告 表2为质量评价报告内容。 表2中表头及代码含义如下: 编号:给表中每个条款编号。 名称:报告条款名称。 定义∕内容:定义或描述条款内容。 条件:描述报告该条款的必要条件,或需要该条款的条件。其编码及含义如下: 必选:表示必须有该条款。 条件:规定条件被满足时必须有该条款。 可选:该条款是可选的。 33
34 表2 数据质量评价报告 编名称 定义∕内容 条件 号 1 质量报告 报告章节 必选 报告名称 报告名称 必选 报告范围 该报告所评价数据集的范围 可选 2 数据质量测量 报告章节 必选 数学描述 数据质量测量的数学描述 必选 数据质量测量值 数据质量测量值 必选 数据质量测量值单数据质量测量值单位 必选 位 可靠度 计算的或估计的数据质量测量的可可选 靠性或可信度 可信度单位 可信度单位 可选 3 一致性的可信度 报告章节 可选 一致性结果可信度 一致性结果的可信度 必选 一致性结果可信度一致性结果可信度的单位或值类型 必选 单位 参考文档 一致性评价所参考的文档信息 可选 4 质量评价方法信息 报告章节 必选 方法类型 质量评价方法类型(直接、间接) 必选 检查策略 所用检查策略信息(完全、取样) 必选 5 数据质量评价方法 报告章节 必选 假定 开发和应用该数据质量评价方法的可选 隐含假定信息 处理算法 为确定该数据质量结果,怎样处理必选 了数据 34
35 编名称 定义∕内容 条件 号 参数信息 数据质量评价方法所用参数信息 可选 参数定义 所用参数定义 必选 参数值 所用参数值 必选 参数单位 参数单位 必选 完全检查方法 完全检查方法信息 用完全检查方法时必选 完全检查过程 完全检查过程详细描述 必选 数据项描述 怎样定义数据项 必选 参考文档 完全检查所参考的文档 可选 取样方法 取样方法信息 用取样方法时必选 取样方法类型 取样方法类型 必选 取样过程 取样过程详细描述 必选 取样比率 样本占群体的比率 用划分时必选 6 综合质量 报告章节 有综合质量时 综合质量值 综合质量值 必选 综合质量值单位 综合质量值单位 必选 综合方法 综合方法详细描述 必选 时间 综合时间 可选 综合质量报告 综合质量评价报告 可选 7 其它 报告章节 可选 35
36 6服务质量 该部分阐述了服务质量描述的基本理论,详细说明了识别及报告服务质量信息的基本方法,规范了服务质量评价的过程、方法及服务质量评价报告的内容。 该部分适用于“科学数据共享工程”各种服务的质量评价;也适用于描述和评价服务在服务规范规定的指标内的质量信息;同时可依据本标准确定服务的质量,判断是否满足特定应用;也可用于描述服务质量需求。 服务质量描述基本原理 服务质量描述组件 我们用服务质量描述组件来描述服务的质量信息。 服务的质量应当用以下两个组件来描述: 服务质量定量元素 服务质量非定量元素 服务质量定量元素、服务质量定量子元素及服务质量定量子元素描述子描述服务满足服务规范中预先设定的标准的程度并提供定量的质量信息。 服务质量非定量元素提供非定量的质量信息。 质量信息的质量即质量信息的可靠性。该类型信息记录在“服务质量评价报告”(见)中。 图6为服务质量信息框架。 36
37 图6服务质量信息框架 服务质量定量元素与服务质量定量子元素 服务质量定量元素 下列服务质量定量元素,若可用,应被用来描述服务满足预先设定在服务规范中的标准的程度。 完整性:特征、特征属性及特征关系存在或不存在。 逻辑一致性:服务项的数据结构(包括概念的、逻辑的或物理的数据结构)、属性及他们之间的相互关系符合逻辑规则的程度。 37
38 用户可新建附加服务质量定量元素以便描述无法用以上定量元素描述的服务质量定量信息。 服务质量定量子元素 下列与服务质量定量元素相对应的服务质量定量子元素,若可用,应被用来描述服务的定量质量信息。 完整性 缺少:缺少应有的服务或服务接口。 逻辑一致性: 结果一致性:服务结果与相应规范规定的预期结果的一致性。 格式一致性:服务接口与相应规范规定的接口的一致性。 效率一致性:服务效率与相应规范规定的效率的一致性。 对任意服务质量定量元素,可新建附加服务质量定量子元素。 服务质量定量子元素描述子 对每个可用的服务质量定量子元素,应记录其质量信息。每个质量定量子元素的完全的质量信息用下列7个质量描述子来记录: 服务质量范围 38
39 服务质量测量 服务质量评价过程 服务质量结果 服务质量值类型 服务质量值单位 服务质量日期 服务质量非定量元素 下列服务质量非定量元素,若可用,应被用来描述服务的非定量的质量信息: 目的 用途 日志 目的描述服务的创建原因和其预定的使用目的。 用途描述使用过该服务的应用。服务提供者、服务使用者用“用途”来描述服务的使用情况。 日志描述服务的历史,即服务从建立、运行到现状的整个生命周期。 日志包含两部分: 描述服务起源的源信息; 39
40 描述服务生命周期中的事件或转换的处理步骤或历史信息(包括连续性或周期性地维护服务的处理过程)。 附加服务质量非定量元素描述以上质量非定量元素没有描述的非定量的服务质量信息。 识别服务质量 识别定量的服务质量信息 概述 描述识别定量服务质量信息的过程。有些子条款并不对所有情形都适用。 识别可用的服务质量定量元素 可用于服务的所有服务质量定量元素都应当被识别。有些服务质量定量元素也许不能用于某一特定类型的服务。 注意:服务质量定量元素可用性应当由参考服务规范来决定。 新建附加服务质量定量元素 若该标准所列的服务质量定量元素没有充分描述某一质量部件,则应当命名并定义附加服务质量定量元素。附加服务质量定量元素的命名和定义应当被包括为服务质量信息的一部分。 40
41 识别可用的服务质量定量子元素 应识别每个可用服务质量定量元素的所有可用服务质量定量子元素(每个可用服务质量定量元素至少有一可用服务质量定量子元素)。有些可用服务质量定量元素的服务质量定量子元素也许对某一特定类型的服务不可用。 注意:服务质量定量子元素的可用性应当由参考服务规范来决定。 新建附加服务质量定量子元素 若该标准所列的服务质量定量子元素没有充分描述服务质量的某一方面,则应当命名并定义附加服务质量定量子元素。附加服务质量定量子元素的命名和定义应被包括为服务质量信息的一部分。 使用服务质量定量子元素描述子 服务质量范围 对每个可用服务质量定量子元素,必须识别至少一个服务质量范围。范围可以是与该服务相关的多个服务、该服务或是该服务内具有某些相同特征的一小部分。若服务质量范围不能确定,则其服务质量范围为该服务。 注意:服务质量范围的决定应参考服务的规范及服务质量非定量元素提供的非定量的质量信息。 在同一服务内,质量也可有所不同。故对每个可用服务质量定量41
42 子元素,应当确定多个服务质量范围,以便更全面地描述定量的质量信息。服务质量范围应被充分描述。下列可被用来描述服务质量范围: 层次(与该服务相关的多个服务、该服务、或该服务内具有某些相同特征的一小部分。); 服务项类型(特征类型、特征属性及特征间的相互关系。)或特定服务项(特征实例、特征值及特征间的关系实例); 地理范围; 时间范围(不同时间段内的服务)。 用户范围(对不同用户或不同类型的用户的服务)。 服务质量测量 每个服务质量范围有一个测量。测量应当简要描述并命名(若名称存在)应用于该服务质量范围所规定的测试类型,并应当包含边界或限制参数。 该标准认为服务的质量应当由多个测量来衡量。单个服务的测量不能充分评价由某一服务质量范围所限定的服务的服务质量,也不能为服务的所有可能的应用提供一个测量。多个服务测量组合起来能提供有用信息。故对某服务质量范围限定的服务,应提供多个服务质量测量。 服务质量评价过程 每个测量有一质量评价过程。质量评价过程应当描述(或引用文42
43 档描述)将测量应用到质量范围所限定的服务的方法,并应当包含报告该方法的报告。 服务质量结果 每个测量有一个服务质量结果。质量结果应为以下两者中的一个: 将测量应用到服务质量范围所限定的服务后得到的值或值的集合; 将测量应用到服务质量范围所限定的服务后得到值或值的集合,用一指定的可接受的一致性质量层次评价这些值或值的集合后得到的结果。该服务质量结果为“通过”或“不通过”。 这两种类型的质量结果都应当被提供。 服务质量值类型 每个服务质量结果有一个服务质量值类型。 注意:“通过”或“不通过”的质量类型为“布尔变量”。 服务质量值单位 每个服务质量结果有一个服务质量值单位(若存在)。 服务质量日期 每个测量应当有一个质量日期。 43
44 识别非定量的服务质量信息 识别可用的质量非定量元素 服务的目的总是可用的。 服务提供者所知道的所有用途都是可用的。 服务的日志总是可用的。在极少数情况下,也许不知道日志的相关信息。要么报告日志,要么报告缺少日志的原因。 服务质量范围所限定的服务内的一小部分服务的日志可与服务其它部分的日志不同。对服务质量范围所限定的服务内具有不同日志的小部分服务,应当提供其日志并将其作为服务非定量的质量信息的一部分,以便完全记录非定量的质量信息。 新建附加服务质量非定量元素 若该标准所列的质量非定量元素没有充分描述非定量质量的某一方面,则应当命名并定义新的服务质量非定量元素。附加服务质量非定量元素的命名和定义应当被包括为服务质量信息的一部分。 服务质量评价过程 概述 服务质量评价过程是产生和报告服务质量结果的一系列步骤。服务质量评价过程可用在静态服务上,也可用在动态服务上。 44
45 过程组件 过程流 图7描述了评价和报告服务质量结果的过程流。 图7评价与报告服务质量结果 步骤 表3描述了处理步骤。 45
46 表3处理步骤 步骤 动作 描述 1 识别可用的服务质量定量据确定服务质量定量元素、服务质量定元素、服务质量定量子元素量子元素及服务质量范围。若产品规范或及服务质量范围。 用户需求有测试需要,重复该步。 2 识别服务质量测量 对每个测试,确定服务质量测量、服务质量值类型及服务质量值单位(若存在)。 3 选择并运用服务质量评价对每个被识别的服务质量测量,选择服务方法 质量评价方法。 4 决定服务质量结果 结果为:定量服务质量结果、服务质量值或服务质量值集合、服务质量值单位及服务质量日期。 5 决定一致性 若服务规范或用户需求中已指定一致性质量层次,将其与服务质量结果相比较后可决定一致性。一致性服务质量结果(“通过”或“不通过”)是定量服务质量结果与一致性质量层次比较后的结果。 服务质量评价方法 服务质量评价方法分类 服务质量评价过程要运用一种或多种服务质量评价方法。服务质量评价方法可分为两类:直接方法及间接方法。直接方法通过比较服务与内部或外部参考信息来决定服务质量。间接方法使用与服务相关的信息推断或估计服务质量,如:使用日志信息。 46
47 直接评价方法 直接评价方法可分为自动或手工评价方法,还可分为完全检查或取样。 完全检查需要测试服务质量范围所限定的所有个体的每个服务项。 取样需要测试群体中足够的服务项来获得服务质量结果。 取样过程应在质量评价报告中报告。 使用取样时,应分析服务质量结果的可靠性,特别是在使用小样本,或取样方法不是随机取样时。 间接评价方法 间接评价方法根据外部知识评价服务的质量。外部知识包括,但并不限于,服务质量非定量元素及服务的其它质量报告。 注意:仅在直接评价方法不可用时才用间接评价方法。 服务质量控制 服务质量控制原则 服务质量控制的对象为:服务、服务质量描述。 任何纳入“科学数据共享工程”的服务必须与“服务质量概要测试包”一致。 47
48 服务质量控制规范 服务质量描述概要测试包 “服务质量描述概要测试包”用来测试对服务的质量描述的正确性。对服务的质量描述都必须通过该测试包的所有测试。 测试一:组件测试 1)测试目的:证实质量组件都在质量描述中。 2)测试方法:检查质量描述,证实服务质量定量元素、服务质量定量子元素及服务质量定量子元素描述子已被用来描述定量的质量信息; 检查质量描述,证实服务质量非定量元素已被用来描述非定量的质量信息。 3)参考:。 测试二:正确性测试 1)测试目的:证实质量描述的正确性。 2)测试方法:检查质量描述,证实其服务质量定量元素及服务质量定量子元素在该标准中,或是用户附加的以便用来描述不在该标准中的服务质量组件或方面。 检查质量描述,证实该标准中的服务质量定量子元素描述子已被用来描述定量的质量信息。 检查质量描述,证实其服务质量非定量元素在该标准中,或是用48
49 户附加的以便用来描述不在该标准中的非定量的服务质量信息。 3)参考:,。 测试三:定量的质量可用性测试 1)测试目的:证实定量质量描述的可用性。 2)测试方法:识别产品规范中与定量质量相关的语句并用它们来识别可用的服务质量定量元素及其可用的服务质量定量子元素。比较这些服务质量定量子元素与质量描述中所用的服务质量定量子元素,确保该服务可用的所有服务质量定量子元素都已被识别并被用在质量描述中。 3)参考:。 测试四:非定量的质量可用性测试 1)测试目的:证实非定量的质量描述的可用性。 2)测试方法:证实可用的服务质量非定量元素被用来描述非定量的质量信息。 3)参考:。 测试五:排斥性测试 1)测试目的:证实质量描述中的附加元素是排斥性的,证实关于附加元素的信息已被充分提供。 2)测试方法:检查所有附加服务质量定量元素,证实每个都描49
50 述了该标准中服务质量定量元素没有描述的定量质量信息。 检查所有附加服务质量定量子元素,证实每个都描述了该标准中服务质量定量子元素没有描述的定量质量信息。 检查所有附加服务质量非定量元素,证实每个都描述了该标准中服务质量非定量元素没有描述的非定量质量信息。 3)参考:,及。 测试六:服务质量定量子元素描述子使用正确性 1)测试目的:证实服务质量定量子元素描述子使用正确。 2)测试方法:比较该标准及每个可用服务质量定量子元素(包括附加服务质量定量子元素)所提供的质量信息,证实服务质量定量子元素描述子的使用符合该标准。 3)参考:。 测试七:用“服务质量评价报告”报告质量信息 1)测试目的:证实质量描述已用“服务质量评价报告”报告。 2)测试方法:证实定量质量信息及非定量质量信息已用符合“报告服务质量信息”要求的“服务质量评价报告”报告。 3)参考:。 服务质量概要测试包 1)测试目的:保证“科学数据共享工程”服务及其质量描述的50
51 质量。 2)测试方法:“科学数据共享工程”的服务必须提供与一致的质量评价报告。质量描述必须识别以下规范中的所有服务质量信息,并在这些规范上的服务质量结果均为“合格”。 科学数据共享工程数据元注册与管理规范 科学数据共享工程目录服务规范 科学数据共享工程数据与服务注册规范 科学数据共享工程数据访问服务接口规范 科学数据共享工程元数据检索和提取协议 科学数据共享工程WEB服务应用规范 科学数据共享工程数据可视化服务接口规范 科学数据共享工程数据分发服务指南与规范 科学数据共享工程信息服务集成规范 3)参考:。 服务质量控制方法 服务质量控制大体上可分为自查、第三方检查及项目组验收三个步骤。 自查:服务提供者自查认为服务及其质量描述完全符合“服务质量概要测试包”的所有要求,才能将其提交给第三方检查。 第三方检查:第三方检查认为服务提供者提交的服务及其质量描述完全符合“服务质量概要测试包”的所有要求,才能将其提51
52 交给项目组检查。否则,详细指出错误,将材料返回给服务提供者让其修改。 项目组检查:项目组检查认为服务提供者提交的服务及其质量描述完全符合“服务质量概要测试包”的所有要求,才能将其纳入“科学数据共享工程”。否则,详细指出错误,将材料返回给服务提供者让其修改。 报告服务质量信息 概述 定量服务质量信息及非定量服务质量信息用与“服务质量评价报告”一致的“服务质量评价报告”报告。 当多个服务质量结果被综合成单个服务质量结果来报告服务质量时,综合服务质量结果应被包含在服务质量评价报告中。其服务质量结果类型为“综合”。 服务质量评价报告 表4为服务质量评价报告内容。 表4中表头及代码含义如下: 编号:给表中每个条款编号。 名称:报告条款名称 定义∕内容:定义或描述条款内容。 条件:描述报告该条款的必要条件,或需要该条款的条件。其编码及含义如下: 52
53 必选:表示必须有该条款。 条件:规定条件被满足时必须有该条款。 可选:该条款是可选的。 53
54 表4 服务质量评价报告 编名称 定义∕内容 条件 号 1 质量报告 报告章节 必选 报告名称 报告名称 必选 报告范围 该报告所评价的服务的范围 可选 2 服务质量报告章节 必选 测量 数学描述 服务质量测量的数学描述 必选 服务质量服务质量测量值 必选 测量值 服务质量服务质量测量值单位 必选 测量单位 可靠度 计算的或估计的服务质量测量的可靠性或可可选 信度 可信度单可信度单位 可选 位 3 一致性的报告章节 可选 可信度 一致性结一致性结果的可信度 必选 果可信度 一致性结一致性结果可信度的单位或值类型 必选 果可信度单位 参考文档 一致性评价所参考的文档信息 可选 4 质量评价报告章节 必选 方法信息 方法类型 质量评价方法类型(直接、间接) 必选 检查策略 所用检查策略信息(完全、取样) 必选 54
55 编名称 定义∕内容 条件 号 5 服务质量报告章节 必选 评价方法 假定 开发和应用该服务质量评价方法的隐含假定可选 信息 处理算法 为确定该服务质量结果,怎样处理了数据 必选 参数信息 该服务质量评价方法所用参数信息 可选 参数定义 所用参数定义 必选 参数值 所用参数值 必选 参数单位 参数单位 必选 完全检查完全检查方法信息 用完全检查方法 方法时必选 完全检查完全检查过程详细描述 必选 过程 参考文档 完全检查所参考的文档 可选 取样方法 取样方法信息 用取样方法时必选 取样方法取样方法类型 必选 类型 取样过程 取样过程详细描述 必选 取样比率 样本占群体的比率 用划分时必选 6 综合质量 报告章节 有综合质量时 综合质量综合质量值 必选 值 综合质量综合质量值单位 必选 值单位 55
56 编名称 定义∕内容 条件 号 综合方法 综合方法的详细描述 必选 时间 综合时间 可选 综合质量综合质量评价报告 可选 报告 7 非定量质报告章节 必选 量信息 目的 目的 必选 用途 用途 必选 日志 日志 必选 8 其它 报告章节 可选 56
57 7运行管理质量 该部分阐述了运行管理质量描述的基本理论,详细说明了识别及报告运行管理质量信息的基本方法,规范了运行管理质量评价的过程、方法及运行管理质量评价报告的内容。 该部分适用于“科学数据共享工程”运行管理的质量评价;也适用于描述和评价运行管理在管理规范规定的指标内的质量信息;同时可依据本标准确定运行管理的质量,判断是否满足特定应用;也可用于描述运行管理质量需求。 运行管理质量描述基本原理 运行管理质量描述组件 我们用运行管理质量描述组件来描述运行管理的质量信息。 运行管理的质量应当用以下两个组件来描述: 运行管理质量定量元素 运行管理质量非定量元素 运行管理质量定量元素及其描述子描述运行管理满足规范中预先设定的标准的程度并提供定量的质量信息。 运行管理质量非定量元素提供非定量的质量信息。 质量信息的质量即质量信息的可靠性。该类型信息记录在“运行管理质量评价报告”(见)中。 图8为运行管理质量信息框架。 57
58 图8运行管理质量信息框架 运行管理质量定量元素 运行管理质量定量元素 运行管理质量定量元素即运行管理规范中叙述定量质量信息的部分。 运行管理质量定量元素描述子 对每个可用的运行管理质量定量元素,应记录其质量信息。每个运行管理定量元素的完全的质量信息用下列7个质量描述子来记录: 58
59 质量范围 质量测量 质量评价过程 质量结果 质量值类型 质量值单位 质量日期 运行管理质量非定量元素 下列运行管理质量非定量元素,若可用,应被用来描述运行管理的非定量的质量信息: 目的 用途 日志 目的描述运行管理的创建原因和其预定的使用目的。 用途描述使用过该运行管理的应用。 日志描述运行管理的历史。 附加运行管理质量非定量元素描述以上质量非定量元素没有描述的非定量的运行管理质量信息。 59
60 识别运行管理质量 识别定量的运行管理质量信息 识别运行管理质量定量元素 对照所有与运行管理有关的规范,识别出描述定量质量信息的语句或语句部分,将其作为运行管理质量定量元素。 使用运行管理质量定量元素描述子 运行管理质量范围 对每个运行管理质量定量元素,必须识别至少一个运行管理质量范围。范围可以是与该运行管理相关的多个运行管理、该运行管理或是该运行管理内具有某些相同特征的一小部分。若运行管理质量范围不能确定,则其运行管理质量范围为该运行管理。 注意:运行管理质量范围的决定应参考运行管理的规范及运行管理质量非定量元素提供的非定量的质量信息。 在同一运行管理内,质量也可有所不同。故对每个可用运行管理质量定量元素,应当确定多个运行管理质量范围,以便更全面地描述定量的质量信息。运行管理质量范围应被充分描述。下列可被用来描述运行管理质量范围: 层次(与该运行管理相关的多个运行管理、该运行管理、或该运行管理内具有某些相同特征的一小部分。); 地理范围; 时间范围(不同时间段内的运行管理)。 用户范围(对不同用户或不同类型的用户的运行管理)。 60
61 运行管理质量测量 每个运行管理质量范围有一个测量。测量应当简要描述并命名(若名称存在)应用于该运行管理质量范围所规定的测试类型,并应当包含边界或限制参数。 该标准认为运行管理的质量应当由多个测量来衡量。单个运行管理的测量不能充分评价由某一运行管理质量范围所限定的运行管理的运行管理质量,也不能为运行管理的所有可能的应用提供一个测量。多个运行管理测量组合起来能提供有用信息。故对某运行管理质量范围限定的运行管理,应提供多个运行管理质量测量。 运行管理质量评价过程 每个测量有一质量评价过程。质量评价过程应当描述(或引用文档描述)将测量应用到质量范围所限定的运行管理的方法,并应当包含报告该方法的报告。 运行管理质量结果 每个测量有一个运行管理质量结果。质量结果应为以下两者中的一个: 将测量应用到运行管理质量范围所限定的运行管理后得到的值或值的集合; 将测量应用到运行管理质量范围所限定的运行管理后得到值或61
62 值的集合,用一指定的可接受的一致性质量层次评价这些值或值的集合后得到的结果。该运行管理质量结果为“通过”或“不通过”。 这两种类型的质量结果都应当被提供。 运行管理质量值类型 每个运行管理质量结果有一个运行管理质量值类型。 注意:“通过”或“不通过”的质量类型为“布尔变量”。 运行管理质量值单位 每个运行管理质量结果有一个运行管理质量值单位(若存在)。 运行管理质量日期 每个测量应当有一个质量日期。 识别非定量的运行管理质量信息 识别可用的质量非定量元素 运行管理的目的总是可用的。 运行管理提供者所知道的所有用途都是可用的。 运行管理的日志总是可用的。在极少数情况下,也许不知道日志的相关信息。要么报告日志,要么报告缺少日志的原因。 运行管理质量范围所限定的运行管理内的一小部分运行管理的日志可与运行管理其它部分的日志不同。对运行管理质量范围所限定62
63 的运行管理内具有不同日志的小部分运行管理,应当提供其日志并将其作为运行管理非定量的质量信息的一部分,以便完全记录非定量的质量信息。 新建附加运行管理质量非定量元素 若该标准所列的质量非定量元素没有充分描述非定量质量的某一方面,则应当命名并定义新的运行管理质量非定量元素。附加运行管理质量非定量元素的命名和定义应当被包括为运行管理质量信息的一部分。 运行管理质量评价过程 概述 运行管理质量评价过程是产生和报告运行管理质量结果的一系列步骤。 过程组件 过程流 图9描述了评价和报告运行管理质量结果的过程流。 63
64 图9评价与报告运行管理质量结果 步骤 表5描述了处理步骤。 64
65 表5处理步骤 步骤 动作 描述 1 识别可用的运行管理质量据确定运行管理质量定量元素及质量定量元素及质量范围。 范围。若运行管理规范或用户需求有测试需要,重复该步。 2 识别运行管理质量测量 对每个测试,确定运行管理质量测量、质量值类型及质量值单位(若存在)。 3 选择并运用运行管理质量对每个被识别的运行管理质量测量,选择评价方法 质量评价方法。 4 决定运行管理质量结果 结果为:定量运行管理质量结果、质量值或质量值集合、质量值单位及质量日期。 5 决定一致性 若运行管理规范或用户需求中已指定一致性质量层次,将其与运行管理质量结果相比较后可决定一致性。一致性质量结果(“通过”或“不通过”)是定量质量结果与一致性质量层次比较后的结果。 运行管理质量评价方法 运行管理质量评价方法分类 运行管理质量评价过程要运用一种或多种质量评价方法。运行管理质量评价方法可分为两类:直接方法及间接方法。直接方法通过比较运行管理与内部或外部参考信息来决定运行管理质量。间接方法使用与运行管理相关的信息推断或估计运行管理质量,如:使用日志信息。 65
66 直接评价方法 直接评价方法可分为自动或手工评价方法,还可分为完全检查或取样。 完全检查需要测试质量范围所限定的所有个体。 取样需要测试群体中足够的个体来获得质量结果。 取样过程应在质量评价报告中报告。 使用取样时,应分析质量结果的可靠性,特别是在使用小样本,或取样方法不是随机取样时。 间接评价方法 间接评价方法根据外部知识评价运行管理的质量。外部知识包括,但并不限于,运行管理质量非定量元素及运行管理的其它质量报告。 注意:仅在直接评价方法不可用时才用间接评价方法。 运行管理质量控制 运行管理质量控制原则 运行管理质量控制的对象为:运行管理、运行管理质量描述。 “科学数据共享工程”的运行管理必须与“运行管理质量概要测试包”一致。 66
67 运行管理质量控制规范 运行管理质量描述概要测试包 “运行管理质量描述概要测试包”用来测试对运行管理的质量描述的正确性。对运行管理的质量描述都必须通过该测试包的所有测试。 测试一:组件测试 1)测试目的:证实质量组件都在质量描述中。 2)测试方法:检查质量描述,证实运行管理质量定量元素及其描述子已被用来描述定量的质量信息; 检查质量描述,证实运行管理质量非定量元素已被用来描述非定量的质量信息。 3)参考:。 测试二:正确性测试 1)测试目的:证实质量描述的正确性。 2)测试方法:检查质量描述,证实其运行管理质量定量元素在该标准中。 检查质量描述,证实该标准中的运行管理质量定量元素描述子已被用来描述定量的质量信息。 检查质量描述,证实其运行管理质量非定量元素在该标准中。 3)参考:,。 67
68 测试三:定量的质量可用性测试 1)测试目的:证实定量质量描述的可用性。 2)测试方法:识别规范中与定量质量相关的语句并用它们来识别可用的运行管理质量定量元素。比较这些运行管理质量定量元素与质量描述中所用的运行管理质量定量元素,确保该运行管理可用的所有质量定量元素都已被识别并被用在质量描述中。 3)参考:。 测试四:非定量的质量可用性测试 1)测试目的:证实非定量的质量描述的可用性。 2)测试方法:证实可用的运行管理质量非定量元素被用来描述非定量的质量信息。 3)参考:。 测试五:运行管理质量定量元素描述子使用正确性 1)测试目的:证实运行管理质量定量元素描述子使用正确。 2)测试方法:比较该标准及每个可用运行管理质量定量元素所提供的质量信息,证实运行管理质量定量子元素描述子的使用符合该标准。 3)参考:。 68
69 测试六:用“运行管理质量评价报告”报告定量的质量信息 1)测试目的:证实质量描述已用“运行管理质量评价报告”报告。 2)测试方法:证实定量质量信息及非定量质量信息已用符合“报告运行管理质量信息”要求的“运行管理质量评价报告”报告。 3)参考:。 运行管理质量概要测试包 1)测试目的:保证纳入“科学数据共享工程”的运行管理的质量。 2)测试方法:“科学数据共享工程”的运行管理必须提供与一致的质量评价报告。质量描述必须识别以下规范中的所有运行管理质量信息,并在这些规范上的运行管理质量结果均为“合格”。 科学数据共享工程数据发布管理规则 科学数据共享工程运行管理规定 科学数据共享工程信息安全管理规范 3)参考:。 运行管理质量控制方法 运行管理质量控制大体上可分为自查、第三方检查及项目组验收三个步骤。 自查:管理者自查认为运行管理及其质量描述完全符合
70 “运行管理质量概要测试包”的所有要求,才能将其提交给第三方检查。 第三方检查:第三方检查认为运行管理及其质量描述完全符合“运行管理质量概要测试包”的所有要求,才能将其提交给项目组检查。否则,详细指出错误,将材料返回给管理者让其修改。 项目组检查:项目组检查认为运行管理及其质量描述完全符合“运行管理质量概要测试包”的所有要求,才能认为其合格。否则,详细指出错误,将材料返回给管理者让其修改。 报告运行管理质量信息 概述 定量的运行管理质量信息及非定量的运行管理质量信息应按“运行管理质量评价报告”报告。 当多个运行管理质量结果被总结成单个运行管理质量结果来报告运行管理质量时,总的运行管理质量结果应被包含在运行管理质量评价报告中。其运行管理质量结果类型为“总结”。 运行管理质量评价报告 运行管理质量评价报告报告定量质量信息及非定量的质量信息。 定量的质量信息报告所有定量质量元素及其描述子。 表6为运行管理质量评价报告内容。 表6中表头及代码含义如下: 70
71 编号:给表中每个条款编号。 名称:报告条款名称 定义∕内容:定义或描述条款内容。 条件:描述报告该条款的必要条件,或需要该条款的条件。其编码及含义如下: 必选:表示必须有该条款。 条件:规定条件被满足时必须有该条款。 可选:该条款是可选的。 71
72 表6 运行管理质量评价报告 编名称 定义∕内容 条件 号 1 质量报告 报告章节 必选 报告名称 报告名称 必选 报告范围 该报告所评价的质量范围 可选 2 质量测量 报告章节 必选 数学描述 质量测量的数学描述 必选 质量测量质量测量值 必选 值 质量测量质量测量值单位 必选 单位 可靠度 计算的或估计的质量测量的可靠性或可信度 可选 可信度单可信度单位 可选 位 3 一致性的报告章节 可选 可信度 一致性结一致性结果的可信度 必选 果可信度 一致性结一致性结果可信度的单位或值类型 必选 果可信度单位 参考文档 一致性评价所参考的文档信息 可选 4 质量评价报告章节 必选 方法信息 方法类型 质量评价方法类型(直接、间接) 必选 检查策略 所用检查策略信息(完全、取样) 必选 5 质量评价报告章节 必选 方法 72
73 编名称 定义∕内容 条件 号 假定 开发和应用该质量评价方法的隐含假定信息 可选 处理算法 为确定该质量结果,怎样处理了数据 必选 参数信息 该质量评价方法所用参数信息 可选 参数定义 所用参数定义 必选 参数值 所用参数值 必选 参数单位 参数单位 必选 完全检查完全检查方法信息 用完全检查方法 方法时必选 完全检查完全检查过程详细描述 必选 过程 参考文档 完全检查所参考的文档 可选 取样方法 取样方法信息 用取样方法时必选 取样方法取样方法类型 必选 类型 取样过程 取样过程详细描述 必选 取样比率 样本占群体的比率 用划分时必选 6 综合质量 报告章节 有总结结果时 综合质量综合质量值 必选 值 综合质量综合质量值单位 必选 值单位 综合方法 综合方法的详细描述 必选 综合时间 综合时间 可选 73
74 编名称 定义∕内容 条件 号 综合质量综合质量评价报告 可选 报告 7 非定量质报告章节 必选 量信息 目的 目的 必选 用途 用途 必选 日志 日志 必选 8 其它 报告章节 可选 74
75 8建设质量 该部分阐述了建设质量描述的基本理论,详细说明了识别及报告建设质量信息的基本方法,规范了建设质量评价的过程、方法及建设质量评价报告的内容。 该部分适用于“科学数据共享工程”建设的质量评价;也适用于描述和评价建设在规范规定的指标内的质量信息;同时可依据本标准确定建设的质量,判断是否满足特定应用;也可用于描述建设质量需求。 建设质量描述基本原理 建设质量描述组件 我们用建设质量描述组件来描述建设的质量信息。 建设的质量应当用以下两个组件来描述: 建设质量定量元素 建设质量非定量元素 建设质量定量元素及其描述子描述建设满足规范中预先设定的标准的程度并提供定量的质量信息。 建设质量非定量元素提供非定量的质量信息。 质量信息的质量即质量信息的可靠性。该类型信息记录在“建设质量评价报告”(见)中。 图10为建设质量信息框架。 75
76 图10建设质量信息框架 建设质量定量元素 建设质量定量元素 建设质量定量元素即建设规范中叙述定量质量信息的部分。 建设质量定量元素描述子 对每个可用的建设质量定量元素,应记录其质量信息。每个建设定量元素的完全的质量信息用下列7个质量描述子来记录: 质量范围 76
77 质量测量 质量评价过程 质量结果 质量值类型 质量值单位 质量日期 建设质量非定量元素 下列建设质量非定量元素,若可用,应被用来描述建设的非定量的质量信息: 目的 用途 日志 目的描述建设的创建原因和其预定的使用目的。 用途描述使用过该建设的应用。 日志描述建设的历史。 附加建设质量非定量元素描述以上质量非定量元素没有描述的非定量的建设质量信息。 77
78 识别建设质量 识别定量的建设质量信息 识别建设质量定量元素 对照所有与建设有关的规范,识别出描述定量质量信息的语句或语句部分,将其作为建设质量定量元素。 使用建设质量定量元素描述子 建设质量范围 对每个建设质量定量元素,必须识别至少一个建设质量范围。范围可以是与该建设相关的多个建设、该建设或是该建设内具有某些相同特征的一小部分。若建设质量范围不能确定,则其建设质量范围为该建设。 注意:建设质量范围的决定应参考建设规范及建设质量非定量元素提供的非定量的质量信息。 在同一建设内,质量也可有所不同。故对每个可用建设质量定量元素,应当确定多个建设质量范围,以便更全面地描述定量的质量信息。建设质量范围应被充分描述。下列可被用来描述建设质量范围: 层次(与该建设相关的多个建设、该建设、或该建设内具有某些相同特征的一小部分。); 地理范围; 时间范围(不同时间段内的建设)。 用户范围(对不同用户或不同类型的用户的建设)。 78
79 建设质量测量 每个建设质量范围有一个测量。测量应当简要描述并命名(若名称存在)应用于该建设质量范围所规定的测试类型,并应当包含边界或限制参数。 该标准认为建设的质量应当由多个测量来衡量。单个建设的测量不能充分评价由某一建设质量范围所限定的建设的建设质量,也不能为建设的所有可能的应用提供一个测量。多个建设测量组合起来能提供有用信息。故对某建设质量范围限定的建设,应提供多个建设质量测量。 建设质量评价过程 每个测量有一质量评价过程。质量评价过程应当描述(或引用文档描述)将测量应用到质量范围所限定的建设的方法,并应当包含报告该方法的报告。 建设质量结果 每个测量有一个建设质量结果。质量结果应为以下两者中的一个: 将测量应用到建设质量范围所限定的建设后得到的值或值的集合; 将测量应用到建设质量范围所限定的建设后得到值或值的集合,用一指定的可接受的一致性质量层次评价这些值或值的集合后得到79
80 的结果。该建设质量结果为“通过”或“不通过”。 这两种类型的质量结果都应当被提供。 建设质量值类型 每个建设质量结果有一个建设质量值类型。 注意:“通过”或“不通过”的质量类型为“布尔变量”。 建设质量值单位 每个建设质量结果有一个建设质量值单位(若存在)。 建设质量日期 每个测量应当有一个质量日期。 识别非定量的建设质量信息 识别可用的质量非定量元素 建设的目的总是可用的。 建设者所知道的所有用途都是可用的。 建设的日志总是可用的。在极少数情况下,也许不知道日志的相关信息。要么报告日志,要么报告缺少日志的原因。 建设质量范围所限定的建设内的一小部分建设的日志可与建设其它部分的日志不同。对建设质量范围所限定的建设内具有不同日志的小部分建设,应当提供其日志并将其作为建设非定量的质量信息的80
81 一部分,以便完全记录非定量的质量信息。 新建附加建设质量非定量元素 若该标准所列的质量非定量元素没有充分描述非定量质量的某一方面,则应当命名并定义新的建设质量非定量元素。附加建设质量非定量元素的命名和定义应当被包括为建设质量信息的一部分。 建设质量评价过程 概述 建设质量评价过程是产生和报告建设质量结果的一系列步骤。 过程组件 过程流 图11描述了评价和报告建设质量结果的过程流。 81
82 图11评价与报告建设质量结果 步骤 表7描述了处理步骤。 82
83 表7处理步骤 步骤 动作 描述 1 识别建设质量定量元素及据确定建设质量定量元素及质量范围。质量范围。 若建设规范或用户需求有测试需要,重复该步。 2 识别建设质量测量 对每个测试,确定建设质量测量、质量值类型及质量值单位(若存在)。 3 选择并运用建设质量评价对每个被识别的建设质量测量,选择质量方法 评价方法。 4 决定建设质量结果 结果为:定量建设质量结果、质量值或质量值集合、质量值单位及质量日期。 5 决定一致性 若建设规范或用户需求中已指定一致性质量层次,将其与建设质量结果相比较后可决定一致性。一致性质量结果(“通过”或“不通过”)是定量质量结果与一致性质量层次比较后的结果。 建设质量评价方法 建设质量评价方法分类 建设质量评价过程要运用一种或多种质量评价方法。建设质量评价方法可分为两类:直接方法及间接方法。直接方法通过比较建设与内部或外部参考信息来决定建设质量。间接方法使用与建设相关的信息推断或估计建设质量,如:使用日志信息。 83
84 直接评价方法 直接评价方法可分为自动或手工评价方法,还可分为完全检查或取样。 完全检查需要测试质量范围所限定的所有个体。 取样需要测试群体中足够的个体来获得质量结果。 取样过程应在质量评价报告中报告。 使用取样时,应分析质量结果的可靠性,特别是在使用小样本,或取样方法不是随机取样时。 间接评价方法 间接评价方法根据外部知识评价建设的质量。外部知识包括,但并不限于,建设质量非定量元素及建设的其它质量报告。 注意:仅在直接评价方法不可用时才用间接评价方法。 建设质量控制 建设质量控制原则 建设质量控制的对象为:建设、建设质量描述。 “科学数据共享工程”的建设必须与“建设质量概要测试包”一致。 84
85 建设质量控制规范 建设质量描述概要测试包 “建设质量描述概要测试包”用来测试对建设的质量描述的正确性。对建设的质量描述都必须通过该测试包的所有测试。 测试一:组件测试 1)测试目的:证实质量组件都在质量描述中。 2)测试方法:检查质量描述,证实建设质量定量元素及其描述子已被用来描述定量的质量信息; 检查质量描述,证实建设质量非定量元素已被用来描述非定量的质量信息。 3)参考:。 测试二:正确性测试 1)测试目的:证实质量描述的正确性。 2)测试方法:检查质量描述,证实其建设质量定量元素在该标准中。 检查质量描述,证实建设质量定量元素描述子已被用来描述定量的质量信息。 检查质量描述,证实其建设质量非定量元素在该标准中。 3)参考:,。 85
86 测试三:定量的质量可用性测试 1)测试目的:证实定量质量描述的可用性。 2)测试方法:识别产品规范中与定量质量相关的语句并用它们来识别可用的建设质量定量元素。比较这些建设质量定量元素与质量描述中所用的建设质量定量元素,确保该建设可用的所有质量定量元素都已被识别并被用在质量描述中。 3)参考:。 测试四:非定量的质量可用性测试 1)测试目的:证实非定量的质量描述的可用性。 2)测试方法:证实可用的建设质量非定量元素被用来描述非定量的质量信息。 3)参考:。 测试五:建设质量定量元素描述子使用正确性 1)测试目的:证实建设质量定量元素描述子使用正确。 2)测试方法:比较该标准及每个可用建设质量定量元素所提供的质量信息,证实已说明使用质量定量元素描述子的规则。 3)参考:。 测试六:用“建设质量评价报告”报告定量的质量信息 1)测试目的:证实定量质量描述已用“建设质量评价报告”报86
87 告。 2)测试方法:证实定量质量信息及非定量质量信息已用符合“报告建设质量信息”要求的“建设质量评价报告”报告。 3)参考:。 建设质量概要测试包 1)测试目的:保证“科学数据共享工程”建设的质量。 2)测试方法:“科学数据共享工程”的建设必须提供与一致的质量评价报告。质量描述必须识别以下规范中的所有建设质量信息,并在这些规范上的建设质量结果均为“合格”。 科学数据共享工程科学数据中心建设规范 科学数据共享工程科学数据网建设规范 3)参考:。 建设质量控制方法 建设质量控制大体上可分为自查、第三方检查及项目组验收三个步骤。 自查:建设者自查认为建设及其质量描述完全符合“建设质量概要测试包”的所有要求,才能将其提交给第三方检查。 第三方检查:第三方检查认为建设及其质量描述完全符合“建设质量概要测试包”的所有要求,才能将其提交给项目组检查。否则,详细指出错误,将材料返回给建设者让其修改。 87
88 项目组检查:项目组检查认为建设及其质量描述完全符合“建设质量概要测试包”的所有要求,才能认为其合格。否则,详细指出错误,将材料返回给建设者让其修改。 报告建设质量信息 概述 定量的建设质量信息及非定量的建设质量信息应按“建设质量评价报告”报告。 当多个建设质量结果被总结成单个建设质量结果来报告建设质量时,总的建设质量结果应被包含在建设质量评价报告中。其建设质量结果类型为“总结”。 建设质量评价报告 建设质量评价报告报告定量质量信息及非定量的质量信息。 表8为建设质量评价报告内容。 表8中表头及代码含义如下: 编号:给表中每个条款编号。 名称:报告条款名称 定义∕内容:定义或描述条款内容。 条件:描述报告该条款的必要条件,或需要该条款的条件。其编码及含义如下: 必选:表示必须有该条款。 88
89 条件:规定条件被满足时必须有该条款。 可选:该条款是可选的。 89
90 表8 建设质量评价报告 编名称 定义∕内容 条件 号 1 质量报告 报告章节 必选 报告名称 报告名称 必选 报告范围 该报告所评价的质量范围 可选 2 质量测量 报告章节 必选 数学描述 质量测量的数学描述 必选 质量测量质量测量值 必选 值 质量测量质量测量值单位 必选 单位 可靠度 计算的或估计的质量测量的可靠性或可信度 可选 可信度单可信度单位 可选 位 3 一致性的报告章节 可选 可信度 一致性结一致性结果的可信度 必选 果可信度 一致性结一致性结果可信度的单位或值类型 必选 果可信度单位 参考文档 开发和应用质量评价方法所参考的文档信息 可选 4 质量评价报告章节 必选 方法信息 方法类型 质量评价方法类型 必选 检查策略 所用检查策略信息 必选 5 质量评价报告章节 必选 方法 90
91 编名称 定义∕内容 条件 号 假定 开发和应用该质量评价方法的隐含假定信息 可选 处理算法 为确定该质量结果,怎样处理了数据 必选 参数信息 该质量评价方法所用参数信息 可选 参数定义 所用参数定义 必选 参数值 所用参数值 必选 参数单位 参数单位 必选 完全检查完全检查方法信息 用完全检查方法 方法时必选 完全检查完全检查过程详细描述 必选 过程 参考文档 完全检查参考的文档 可选 取样方法 取样方法信息 用取样方法时必选 取样方法取样方法类型及取样过程描述 必选 类型 取样过程 取样过程详细描述 必选 取样比率 样本占群体的比率 用划分时必选 6 总结 报告章节 有总结结果时 总结值 总结值 必选 总结值单定量值单位 必选 位 总结方法 总结方法的详细描述 必选 总结时间 总结时间 可选 总结质量总结质量评价报告 可选 91
92 编名称 定义∕内容 条件 号 报告 7 非定量质报告章节 必选 量信息 目的 目的 必选 用途 用途 必选 日志 日志 必选 8 其它 报告章节 可选 92
93 编制说明 科学数据应用需求的不断增长,使科学数据共享的需求也越来越迫切,而标准的制定是数据共享的前提和基础。针对现状,科技部决定组织实施“科学数据共享工程”,计划建成功能强大、结构合理的国家科学数据中心群及数据共享网络体系,实现我国科学数据的全面共享。 为了规范“科学数据共享工程”的质量管理,保证共享数据、服务、运行管理及共享工程建设的质量,“科学数据共享工程”标准化研究组决定制定《科学数据共享工程质量规范》。 在编制过程中,主要参考了下列国内外标准: GB/T 19000-2000 质量管理体系―基础与术语 GB/T 19001-2000 质量管理体系―要求 ISO19113 Geographic information―Quality principles ISO19114 Geographic information―Quality evaluation procedures 中国可持续发展信息共享数据质量控制(初稿) 该规范认为“科学数据共享工程”的质量主要包括产品本身的质量及对产品的质量描述的质量。该规范认为这两方面的质量都必须合格。该规范在此基础上建立了“科学数据共享工程”质量管理框架。“科学数据共享工程”的质量管理必须识别相应产品规范或用户需求中的质量信息,在元数据、质量评价报告中形成正确的质量描述,并93
94 在这些规范上的质量结果均为“合格”。 该规范阐述了质量描述的基本原理,详细说明了识别及报告质量信息的基本方法。该规范给出的是质量描述、质量评价的通用方法,而不是给出产品需要满足的最小质量标准。故能灵活地处理不同产品的不同质量问题,又能处理不同用户对同一产品的不同质量要求问题。 该规范先在总则中规范了质量管理的大体框架,然后,分别对数据、服务、运行管理及建设的质量管理进行规范。对每个规范,从质量描述、质量评价及质量控制等几个方面来组织内容。该规范明确了质量控制的具体操作,用户只要按照这些步骤操作并参考其中已指出的相关条款即可。 94