《农业网络信g)2oo5年第11期 研究与开发
元数据与数据元的内涵及其应用
王 丹 。王文生
(中国农业科学院 农业信息研究所,北京 100081)
摘 要:本文详细论述了元数据和数据元的概念、定义、用途、两者的区别和联系,两者的字典标准格式的相同与不同之处
以及它们的应用。
关键词:数据元;元数据;元数据应用 ;元数据互操作
中图分类号 :TP392 文献标识码:A 文章编码:1672-6251(2005)11一oo27一o4
The connotation and application of metadata and data element
WANG Dan,WANG Wen-sheng
(Institute of Agriculture Information of CAAS,Beijing 100081,China)
Abstract:In the paper,the conception of metadata and data element,the definition of metadata and data element,the pur。
pose of metadata and data element,the difference between metadata and data element,the difference between the dictionar-
ies standard form at of metadata and data element and the application were discussed.
Key words:Data element;The specification of data element;Th e management of data element;Th e dictionary of data element
目前在信息资源建设中如何保证有效地实现信息
资源的共享和业务协同,使之互通、互连、互操作,数据
的组织标准就格外重要,尤其是元数据的规范标准是
网络信息组织的重要标准。在国家科技部“十五重大科
技项目——科学数据共享工程”的技术标准中涉及的
信息组织标准近20个,涉及到元数据标准就有“科学
数据共享核心元数据”、“元数据标准化基本原则和方
法”、“科学数据共享元数据标准”,涉及到数据元标准
有 “数据元标准化基本原则和方法”、“公用数据元目
录”等等。在科技部农村开发中心主持的“农村科技信
息共享平台”中也制定了“农村科技信息数据元规范标
准”。那么元数据和数据元到底有什么区别和联系,又
如何应用于信息资源的共享和业务协同工作,本文将
给以阐述。
l 元数据与数据元的概念
1.1 元数据的概念
元数据 (Metadata)又称诠译数据 ;对数据而言 ,元
数据就是数据更复杂的状态 ;对数据交流过程而言,元
数据所传送的是被交流数据的意义及其相关环境;对
数据的范围而言,元数据已超越了数据本身,它提供的
不仅仅是描述数据的数据项,还包括数据项存在的相
关环境。对数据的完整性而言,每个数据都有一定意
义,只有包括了元数据的数据才是完整的数据。
元数据的类型:根据元数据的功能分为管理型、描
述型、保存型、技术型、使用型五种类型。
元数据的属性 :元数据的属性有元数据的来源、元
数据生成的方式、元数据的本质、元数据的状态、元数
据的结构、元数据的语义、元数据的层次等。
1.2 数据元的概念
数据元是通过定义、标识、表示以及允许值等一系
列属性描述的数据单元。在特定的语义环境中被认为
是不可再分的最小数据单元。
数据元一般来说由三部分组成:对象类、特征和
表示。
(1)对象类 :思想、概念或真实世界中的事物的集
合,他们具有清晰的边界和含义,其特征和行为遵循同
样的规则。对象是人们希望研究、搜索和存储他们的相
关数据的事物,比如图书、人才、科技项目、订单等。
收稿 日期:2oo5—10—28;修回日期:2oo5—11一O7
作者简介:王 丹(1972-),女 ,硕士,研究方向:农业经济管理、农业信息分析。
王文生(1965一),男,博士,研究员,研究方向:农业 网络。
一 27 —
维普资讯
《农业网络信息》2005年第11期 研究与开发
(2)特性:对象类中的所有成员共同具有的一个有
别于其它的、显著的特征。特性是人们用来区分和描述
对象的一种手段。特性的例子包括颜色、性别 、年龄、收
入、地址等等。
(3)表示:描述了数据被表达的方式。表示是与数据
元的值域关系密切。一个数据元的值域是数据元的所
有允许值的集合。例如,对于“农业创收金额”这个数据
元,它的值域可以是一系列实数(带有货币单位)。如果
脱离值域,“农业创收金额”实际上是一个数据元概念,
即一个对象类与特性的组合。数据元的结构模型如图1
所示.
数据元概念 数据元 数据模型
图1 数据元的结构模型
数据由数据元概念和表示两部分组成。当一个表
示被联合到一个数据元概念时就能够产生数据元。根
据图 1中所示 ,数据元和数据元概念之间存在多对 1
的关系,也就是一个数据元必须对应一个数据元概念,
而一个数据元概念可以有多个数据元,数据元中的表
示是描述数据元中的数据元概念中的特性的。也就是
说在数据元中特性都具有且仅具有一个表示。
在数据元概念中,对象类和特性之间是一对一的
关系,一个对象类需要且只需要一个特性 (或者特性
类),一个特性(特性类)只描述一个对象类,当一个特
性和一个对象类建立关联时就产生了一个数据元概念。
与实体关系类的数据模型相比,模型中的实体相
当于数据元中的对象类,而实体的属性相当于数据元
中的特性和表示。
数据元基本属性:标识类属性、关系类属性、表示
类属性、管理类属性、附加类属性。
数据元的描述方法:数据元的每一类属性都是通
过名称、定义、约束、出现次数、数据类型和备注进
行描述。
2 元数据与数据元的定义
2.1 元数据的定义
典型实例有数据的重要特征(如作者名称、出版年等)、
用于数据定位的数据(如图书分类卡片、书籍的完全说
明、磁盘的标签、电视节目的时间和频道等)以及有助
于信息检索的数据(如文本描述、信息摘要、信息的关
键词和分类名称等)。元数据有代表性的几种定义:
(1)元数据是关于数据的结构化的数据。这个概
念突出了元数据的结构化特征。
(2)元数据是与对象相关的数据。对数据标识、数据
质量、表达方式、属性、产权、来源、获取方式等属性的
描述。
(3)元数据是对信息包裹的编码描述(如书目卡片、
MARC编码、都柏林核心元素、信息调查表等),元数据
之 目的在于对数据提供一个中间级别的描述。
(1)元数据,即代表性的数据,通常被定义为数据
之数据。它包含用于描述信息对象的内容和位置的数
据元素集,促进了网络环境中信息对象的发现和检索。
2.2 数据元的定义
数据元的定义:有关信息的数据单元。对应用系统
而言,在确定的相关环境中(应用系统)被认为不可再
细分的数据单元。对数据标准化而言,数据元通过使用
一 组属性来描述其定义、标识、表示和允许值的数据单
元。对数据库和文件而言,数据元是一个组织管理数据
的基本单元。因而,它必须然是组织内部数据库、文件
和事务集涉及,并用于建立与其他组织交流的事务集
的组成部分;对数据组织而言,一个数据的组织内部、
数据库或文件是由记录、字段和元组等组成,而记录、
字段和元组(子字段)是由数据元组成。数据元本身包
含有数字、字符、图像、声音等多类数据。
3 元数据与数据元的用途
3.1 元数据的用途
元数据是描述信息资源或数据等对象的数据,其
用途是:识别资源;评价资源;追踪资源在使用过程中
的变化;实现简单高效地管理大量网络化的数据;实现
数据资源的有效发现、查找、一体化组织和对使用资源
的有效管理。
3.2 数据元的用途
数据元是通过定义、标识、表示以及允许值等一系
列属性描述的数据单元,在特定的语义环境中被认为
是不可再分的最小的数据单元,其用途是用其规范的
一 系列属性描述元数据。能提供数据元的组织同时提
供数据元的元数据,将会使元数据的使用变得准确而
高效。
元数据是描述和限定其它数据的数据。元数据的
一 28 —
维普资讯
《农业网络信 $>>2oo5年第l1期 研究与开发
4 元数据与数据元的区别和联系
(1)元数据不可能涵盖理解数据元所要表示的数据
所必需的所有信息。例如,一个收集调查资料的组织将
会有许多关于如何收集数据的信息。这些诸如样本和
问卷设计等常常是理解数据所必要的。但是,样本和问
卷设计并不是用来表示和描述数据元的元数据的一部
分(源 自GB/T18391)。
(2)数据元的相关信息是任何一个 (组织的)元数
据 的一 个 完 整 的 组 成 部 分 。GB厂I1l8391.2至 GB/
T18391.6是这样描述元数据的:一个组织的数据元必
须具备元数据。这些元数据将便于用户理解和共享该
组织的数据。
(3)元数据的每一个元素都是一个数据元,用符合
数据元标准的元数据属性和描述方法来说明元数据。
(4)将元数据存储于一个库中,并使之条理化就需
要建模,建模就需要从数据元的注册系统中或库中获
取元数据。
(5)元数据,它是以一种一致、标准的方式来表达的
数据元。
(6】元数据与数据元字典格式均由行号、中文名称、
英文名称、标识符(短语)、定义、约束/条件、最大出现
次数、数据类型、数据的值域等属性组成。不同之处是
数据元字典格式中另有语境和同义词名称等属性。
结论 :元数据和数据元的定义是从不同角度论述
的。由于描述的侧重面不同,元数据和数据元的描述属
性也有些区别,但是元数据和数据元的字典格式是基
本一致的。有些标准文本中把数据元字典格式称为数
据元 目录,书写格式不是二维表格形式,不论如何称谓
和不同的表示形式,其描述属性是基本相同的。例如,
在农村科技信息共享平台的数据元字典 (目录)格式
中,每一个数据元用 11个描述属性:行号、中文名称、
英文名称、标识符、定义、同义名称/标识符、语境(数据
库)、约束条件、出现次数、数据类型、数据值域。而在科
学数据共享技术标准中的元数据字典格式有 9个属
性。这 9个属性两者完全一致,不同之处,前者增加了
同义名称/标识符和语境(数据库)两个属性,使之更具
有实用性。从元数据和数据元的规范用于实现数据共
享的角度出发,两者也没有差异。不论是元数据的应用
或数据元的应用,在本文统一用元数据的应用来描述。
5 元数据(数据元)的应用
不论在科学数据共享工程或是在农村科技信息共
享平台制定的元数据 (数据元)规范最终 目的是应
用,现从信息资源共享和业务协同工作的角度论述其
应用 。
5.1 元数据应用工程的基本架构
农村科技信息共享平台中的信息资源存储于互联
网上的网站,是分布式数据管理模式,其信息类型是多
种多样,又将应用在不同领域,因而出现了元数据应用
的规范问题。元数据应用的规范应遵循元数据应用工
程,所谓元数据应用工程是指建立相应的元数据应用
规则和流程,以便有序、有效、可靠和持续地编制和应
用元数据的过程 ,基本框架图 2所示:
图2 元数据应用工程基本框架图
5.2 元数据的应用策略
通过元数据的互操作,可以保障用户在分布式网
络信息资源中发现、检索和利用所需要的信息资源。具
体而言,元数据支撑分布式跨系统的信息检索;支撑跨
系统的信息资源整合;支撑跨系统的信息服务集成;支
持分布式网络环境下的用户管理和知识产权管理;支
持基于分布服务体系的动态系统机制。元数据互操作
作为分布式网络信息资源的信息服务的关键技术,其
互操作的应用策略是:
(1)建立“转接板”,实现元数据的相互转换。通过一
定的映射模板,实现两个(多个)元数据格式间元素的
直接转换,在农村科技信息共享元数据规范中已列出
了DC、USMARC和 CNMARC的字段对应关系,便于元
数据的转换和互操作。
(2)建立基于资源描述架构模式(DRF schema)和
扩展标识语言模式(XML schema)相结合的元数据互
操作机制。
(3)元数据复用。通过在一个元数据格式中复用另
一 个元数据格式的部分元素,利用不同元数据格式共
同描述复杂信息资源。
(4)元数据开放搜寻,通公共元数据搜寻协议和其
他元数据集,支持分布和异构数据对象的跨系统的信
息发现和检索。
(5)元数据语义转换,通过元数据语义定义和元数
一 29 —
维普资讯
《农业网络信息》2005年第11期 研究与开发
据概念集,支持两个元数据格式间元素通过语义分析
达到传递和转换。
5.3 元数据应用的技术架构
互操作是元数据应用的重要内容,互操作的目标
是为用户提供一致的服务,这些服务的最终作用对象
采用不同技术和异构的分布式系统,在不同的系统中
为了实现不同成员的“交谈”,需要联盟中所有成员在3
个方面达成共识。即技术(包括数据的输出格式,遵守
的协议,安全系统等)、资源内容(包括数据和元数据的
语法、语义的定义)和组织管理(包括数据的存储的方
法、访问控制、身份认证等)。以上 3个方面达成的一致
性协议,对各成员要求程度不同,最终实现的互操作的
程度就不同,提供给用户的服务程度也不同。William.
Y.Arms定义了3种层次互操作:
(1)联盟层:联盟层内部制定一系列的协议和规范,
要求所有成员都遵守这些协议,基于共同协议标准容
易实现互操作,并能提供功能强大的服务。如Z39.50就
实现了这个层次的互操作。
(2)采集层:这个层次的互操就是元数据采集的思
想。如OAI(Open Archives Initiative),OAI的核心互操
作策略是采集元数据。在采集模型中有两类脚色:元数
据发布方和服务提供方。拥有数据的元数据发布方发
布元数据,服务提供方采集元数据发布方的元数据,进
一 步加工处理后,存储在元数据库中并基于元数据库
对外提供增值服务。在数据的提供者与使用者之间,服
务提供方作为第三方为两者提供服务。
(3)搜索层:如果形式上不建立这种正规的联盟,只
是通过搜索完全开放的自由的访问网络资源,也可以
实现最基本的互操作,但是提供互操作的服务质量就
很差,网络资源基本不能实现共享。制订元数据规范和
字典标准格式的目的就在于此。
参考文献
【1】 杨德婷,阎保平.元数据互操作技术探讨叨.计算机应用研究,
2004,(1).
[2] 张晓林.元数据研究与应用【M】.北京:北京图书馆出版社,
20o2.
【3】 吴显义.我国元数据研究现状分析[J].情报科学,2004,(1).
[4】 刘 嘉.元数据导轮【M】.台湾:华艺出版社,2002.
[5] 刘碧松,房 庆.电子商务标准化指南【M】.北京:中国标准化出
版社 。2004.
[6】 王 丹,王文生,等.基于农村科技共享的元数据应用研究叨
农业 网络信息,2004,(9).
(上接第23页)好、易于移植、便于维护。将二者结合,既
能大大提高程序开发效率,又能使所开发的应用程序界
面友好、功能完善,这是今后开发应用型 GIS软件的主
要方法之一。
2002年一2o03年,新疆农五师81团棉田土壤肥力
信息管理与施肥推荐决策系统在农五师累计推广 13
万亩,亩平均增产皮棉9.46公斤,增产率7.75%,累计
新增总产值 1 220.05万元,经济效益 1 174.05万元。不
但提高了团场收益,而且增加了职工收入。
参考文献
【1] 侯顺艳,王 秀,薛绪掌,屈 平.土壤精准管理变量施肥地理信
息系统的应用研究叨.河北大学学报(自然科学版),2003,23
(2):193-198.
【2] 王 文,龚静怡.Delphi与Maplnfo集成开发应用GIS系统[J】.
微型电脑应用,1998,(5):66-69.
【3] 盛健东,蒋平安,等.基于GIS 的区域土壤养分管理与作物
推荐施肥信息系统研究叨.土壤,2003,(2):77-83.
【4] 施建平,鲁如坤,王德建.基于WEB的施肥决策支持数据库的
设计与建MJ].土壤,1999,31(6):299-303.
【5】 邹艳红,向南平,刘兴权.在Mapinfo系统中嵌套Access7.0的
方法叨.测绘通报,1999,(8):28-31.
[6】 张书慧,马成林,吴才聪,于春玲.地理信息系统在精确农业
变量施肥中的应用[J].农业机械学报,2003,34(3):92-96.
[7] ZHOU Lian-Qing,SHI Zhou AND Wang Ren-Chao,A GIS—
Based Database Management Package for Fertilizer Recommen-
dations in Paddr Fields,Pedosphere,2004,14(3):347-353.
【8】 聂 艳,周 勇,等.基于3S的土壤肥料专家系统研究[J].土
壤,20o3,35(4):339-343.
t9】 吕 新,魏亦农,李少昆.基于GIS土壤肥力信息管理及棉花
施肥推荐支持决策系统研究 [J].中国农业科学,2002,35(7):
883—887.
【10】 任印国,潘俊成,许新刚.Maplnfo与Delphi集成开发应用
GIS方法探讨[J].扬州职业大学学报,2003,7(2):30-33.
【11】 张书慧,马成林 ,于春玲.应用于精确农业变量 施肥地理信
息系统的开发研究叨.农业工程学报,20o2,18(2):153-158.
一 30 —
维普资讯