数字参考服务质量评估体系建立初探
郭晶
（上海交通大学图书馆 上海 200030）
摘要 随着图书馆网上实时参考服务的迅速崛起，为了保障其顺利可持续发展，有关数字参考服务质量评估标准的研究日益受到关注。文章根据国内外图书馆利用实时软件技术进行咨询服务涉及到的有关质量评价环节，从与之紧密相关的服务系统、服务过程、回答质量、用户满意程度、服务统计、成本测度和服务开放程度等七个方面考虑，提出了三级服务质量评估指标体系，并列出了具体指标项目。同时，根据层次分析法等评估方法，对数字参考服务质量评估的实际操作进行了探讨。
关键词 数字参考服务 质量评估 三级评估指标体系 层次分析法（AHP）
On the development
of the digital reference service quality evaluation system
Guo jing
(Shanghai Jiao Tong University libraries Shanghai 200030)
Abstract With the rapid rise of the libraries’ real-time reference services on the web, the study on the quality evaluation standards for digital reference services has been given more and more attention for its future stable development. Based on the quality evaluation process currently involved in the reference services by real-time software technology in the libraries at home and abroad and taking into consideration seven related aspects of service systems, service process, answers quality, user satisfactory degree, service statistics, cost measurement and service opening degree, this paper brings forward a three-level indicator system for service quality evaluation and sets out a detailed index. At the same time, this paper discusses the real operation on the digital reference service quality evaluation based on the analytical hierarchy process.
Key words digital reference services；quality evaluation ；
Three-level measurement indicator system； Analytical Hierarchy Process（AHP）
前言
随着数字图书馆的发展和应用，以计算机网络通讯和实时技术为依托的网上咨询服务越来越多地出现在图书馆的门户网站上。这种数字参考服务（digital reference service，或称虚拟参考服务virtual reference service、实时服务real-time service等），与传统参考服务的最大区别就是能依靠先进的网络工具和服务系统，在网上再现传统咨询服务的场景，与远程用户进行更为便捷的实时交流。从广义讲，这种基于web的数字参考咨询服务主要有五种形式（参见图1）：email信箱、BBS留言板或留言簿，在线填写的web表单，FAQ（frequently asked questions，常见问题解答）以及实时解答。咨询内容主要是利用图书馆或网上资源时遇到的问题，有的也包括读者荐书、意见和资源导航等。有的图书馆还提出了服务承诺，请读者监督。
咨询员
图1 图书馆数字参考咨询服务形式
网上咨询服务在整合了上述多种形式后，以其方便、快捷、全面的特征逐渐成为图书馆咨询服务的主导形式，其中，实时的数字参考服务又是最具代表形式和发展最受关注的网上服务项目。同时，数字参考服务的顺利进行依赖于有效的质量评估机制，但目前对其服务质量评估的策略远远不能满足发展要求，因而，建立一套行之有效的数字参考质量评估体系显得尤为重要。本文以国内外相关领域的研究和图书馆的实践为基础，探讨了针对数字参考服务的质量评估体系建立及具体实现方法。
1 研究现状
图书馆服务的质量评估标准研究最早可追溯到20世纪80年代，但有关数字参考服务的评价则集中在90年代后期，国外图书情报领域做了大量工作。著名的VRD项目组的syracuse大学信息研究所在原来为美国国家教育部设计的AskERIC服务的基础上，于1998年提出了“question interchange profile（QuIP）”，该标准是一个合作化数字参考系统共享与交换提问和回答信息的元数据描述标准，提供了一种跨平台、跨媒介地交换信息的通用表达方法。1999年，美国国会图书馆启动的knowledgeBit项目，经过大量各类型图书馆与项目的讨论、测试，形成关于数字参考处理管理的通用标准数据格式。2001年，ERIC和AnswerBase Corporation将该项目的研究成果作为“数字参考管理标准（digital reference management standard）提交给美国国家信息标准组织（NISO）。(1(VRD项目组也于2000年10月提出了“数字参考服务的质量因素（第4版）”。另外，佛罗里达州大学信息利用管理和政策学院于2001年3月-2002年7月建设的研究项目“Assessing quality in digital reference services”，也提出了一套用于评价数字参考服务的方法和质量标准。
国内相关研究不是很多，已有的成果主要在近一两年，如金更达先生的《图书馆服务质量评价实现探讨》(2(，提出了基于用户“期望——感知”的评价模型。目前，相关的国际标准和存在的评估模式只针对整个图书馆及信息服务等宏观角度，而缺少专门为数字参考服务制订的实际可行的标准。如美国国家标准局制订的ANSI/NISO Statistics>>中“Service and activity measures”一节；另外，国际标准化组织ISO(International Organization for Standardization)也于1998年制订了相关标准，如ISO11620:1998 （Information and documentation —— Library performance indicators：信息与文献——图书馆绩效指标）,其中关于参考咨询服务的评估指标主要在馆际互借和用户满意度两方面。[3]另外，Virtual Reference Desk于2000年提出的“Facets of VRD Quality”也提出了相关评估模式，这些指标都是衡量信息服务质量的重要参考依据。但是，对于数字参考服务这一具有广阔发展前景的图书馆服务模式，目前国际上却缺乏明确的可操作并制度化的标准。2001年，著名的VRD第三届数字参考年会的主题就是“Setting Standards and Making it real（建立标准并予以实现）”，探讨了数字参考服务标准化的有关问题，并得到了广泛的重视。[4]随着实时形式的数字参考服务的进一步发展，为了保障其顺利可持续进行，建立数字参考服务的质量评估体系已经迫在眉睫。
2 数字参考服务质量评估三级指标体系
根据目前图书馆基于web形式的数字参考服务现状，尤其是利用实时软件技术进行咨询服务涉及到的有关质量评估环节，[5]笔者从与之紧密相关的服务系统、服务过程、回答质量、用户满意程度、服务统计、成本测度和服务开放程度等七个方面考虑，提出了三级服务质量评估指标体系及具体指标项目（评估项目参见表1）。
七种数字参考服务测度标准及指标
⑴服务系统测度
对用于数字参考服务的各系统平台的软硬件标准进行测度，以考虑是否适应用户需求和实时服务发展的趋势，包含的指标主要有系统性能和执行标准两方面。
⑵服务过程测度
针对整个咨询问答过程所涉及到的各个环节，从服务初始到服务结束的评价以及相关的用户认证及服务政策等内容，包含的指标有服务程序、服务人员、服务政策、服务对象。
⑶回答质量测度
该指标主要针对咨询问题的回答程度和效果，进行回答质量测度，包含的指标有回答质量、答案价值、回答语言。
⑷用户满意程度
对接受服务的用户进行满意度问卷调查，是普遍使用、易于执行的一项评估指标。目前常见的问卷调查形式主要针对这一过程的测度标准设计，主要考虑的指标有：咨询员操作情况及效果、用户使用情况及效果。
⑸服务统计测度
根据用于数字参考服务的相关系统进行服务的跟踪统计报表等信息，能比较直观地反映出服务的效果。包含的统计指标有：实时咨询系统统计、其它服务系统如常见问题库和学习中心使用情况统计。
⑹成本测度
根据经济学指标，确定数字咨询服务所涉及到的各项支出收益情况。由于传统咨询服务对成本测度考虑不多，所以这项指标还有待于进一步完善。目前可考虑的指标主要有：单项参考服务成本、整个数字参考服务成本及与图书馆其他服务成本的关系。
⑺服务开放程度
服务开放程度简单说主要是指服务的影响范围和合作情况。对于一项数字参考服务来讲，其服务时间越长，服务人群越广，服务影响面越大，评价结果就越好。
三级服务质量评估指标体系及具体指标项目
表1列出了评价数字参考服务常用的具体指标，指标的确定综合了国内外有关研究及实践，并根据目前上海交通大学图书馆使用情况，具有一定的普遍性和可操作性，并且可以随着应用的深入进行补充。为了便于评估，确定的指标本着实用并易于比较评价的原则，在具体操作时，可以根据实际情况和需要，选择其中的一项或几项指标进行横向或纵向比较。
表1三级服务质量评估指标体系及具体指标项目
一级指标
二级指标
三级指标（具体评估项目）
备注
A服务系统测度
A1系统性能
A11稳定性
A12兼容性
A13易用性
A14可扩展性
A2执行标准
A21各项系统指标是否为国家标准
A22各项系统指标是否为国际标准
A23问答记录（知识库记录）形式是否符合元数据等标准
A24有无合作组织问题交换标准
B服务过程测度
B1服务形式
B11Email电子邮件咨询
B32专业技能；键盘技能；处理多重咨询任务的能力；快速查检技能；处理不同用户的能力；网上信息搜索能力；知识积累和更新能力
B12BBS留言版
B13Web咨询表单
B14FAQ问题库
B15实时解答
B2服务程序
B21服务易获取性
B22响应时间
B23服务程序的清晰通明度
B24用户认证制度
B3服务人员
B31解决问题的范围
B32工作人员培训及考核
B4服务政策
B41服务定期的总结与评价
B42制订合理的服务政策
B5服务对象
B51用户信息私密性
B52用户认知程度
C回答质量测度
C1回答质量
C11答案正确性
C32是否建立了统一的常用短语库（反应库）
C12交互性
C2答案价值
C21引导启发性
C22教育性
C23影响力
C3回答语言
C31规范性
C32统一性
C33语种多样性
D用户满意程度
D1咨询员操作情况及效果
D11回答准确性
D12回答反应速度，用时长度
D13服务态度
D2用户使用情况及效果
D21技术易用性
D22用户信心度
D23用户接受程度
D24服务效果
E服务统计测度
E1实时咨询系统
E11登陆用户信息统计
E11按天、月、IP地址进行统计分析
E12用户满意度调查报表
E2其它服务统计
E21知识库使用统计
E22学习中心课件统计
F成本测度
F1单项参考服务成本
F11执行一项咨询服务的支出收益情况
F2整个数字参考服务成本
F21维持数字参考服务所需的设施开销
F22该支出对图书馆其他支出的影响
G服务开放程度
G1服务范围
G11服务时间长度
G12服务地域范围
G2合作情况
G21是否为地区合作组织成员
G22是否为全球合作组织成员。
3评估操作方法探讨
目前针对数字参考服务质量评估工作主要采取的是问卷调查法及统计报表分析法，这类方法简便易行，但定性的成分所占比例较大，影响了评估结果的科学性。如果能和基于数学方法计算的定量方法结合起来，有利于评估结果的客观和准确。本文列举两种评估方法，在实践中可根据实际情况结合起来使用。
网上问卷调查及统计报表分析法
该方法以定性评估为基础，根据专家论证和相应的质量标准，确定调查内容，并发布在网上供用户填写。经过一段时间的数据积累，生成统计报表，再对报表进行分析。表2和表3分别是上海交大图书馆在实时解答后发送的用户满意度调查问卷（具体选项未列出）和统计报表，[6]问卷内容是根据上述指标体系中的D类指标的相应项目制订的。
表2 制订用户满意度调查问卷内容示例
问卷调查内容
对应三级指标体系的具体项目
您觉得这项服务使用起来如何？
D21技术易用性
您对我们的回答满意吗？
D11回答准确性；D13服务态度
您认为我们对提问的反应速度如何？
D12回答反应速度，用时长度
您喜欢用这种实时的聊天形式咨询问题吗？
D23用户接受程度
您认为这项服务对您利用图书馆有帮助吗？
D24服务效果
您还会再次使用这项服务吗？
D22用户信心度
表3 用户满意度调查问卷统计报表(
调查表
非常满意
比较满意
感觉一般
很不满意
有效问卷量
使用方便与否
89%
8%
3%
0%
124人
回答满意与否
75%
17%
4%
4%
123人
提问反应速度
74%
11%
7%
8%
125人
此方式喜欢与否
92%
8%
0%
0%
113人
有无帮助
90%
10%
0%
0%
110人
以后是否会用
93%
0%
7%
0%
127人
根据表3所列出的统计报表数字，可以清楚地了解用户对服务内容的反馈信息，从统计比率可以看出，用户对整体服务效果还是认可的。同时，通过统计分析，为评价并改善现有服务提供了依据。
层次分析法（Analytical Hierarchy Process，简称AHP）[7]
根据三级质量评估指标体系和AHP的建模要求，把一级指标作为目标层，二级指标作为准则层1，三级指标作为准则层2，可以建立相应的评估模型，该方法适于评价参考服务的整体质量或其中几项指标的质量标准，也适于不同单位数字参考服务质量情况的比较。下面以服务系统的评估为例，建立模型并给出相应的求解过程（参见图2）：
AHP模型的求解由以下三个步骤组成：[8]
⑴计算单一目标下同层各元素的单权重：计算自上而下逐层进行，如设上层为B，其下层为C，本文以C层为例说明单权重的计算方法。设B层目标的总权重为b1、b2…bm，其下层目标为C1、C2…Cn，相对于上层bk（k=1、2……m）的单权重表示为C1(k)，C2(k)…Cn（k）（k=1、2……m）。设C层目标中的前S个与B层中目标的Bk有关系，在Ci～Cj个目标中，由有关专家评价出Ci目标相对于Cj目标的相对重要性，记为Cij，评价结果用1～9自然数来表示，评估标准如下：
若认为Ci比Cj同等重要，则取Cij=1，Cji=1；
若认为Ci比Cj稍重要，则取Cij=3，Cji=1/3；
图2 运用AHP建立服务系统的评估模型
若认为Ci比Cj明显重要，则取Cij=5，Cji=1/5；
若认为Ci比Cj重要得多，则取Cij=7，Cji=1/7；
若认为Ci比Cj绝对重要，则取Cij=9，Cji=1/9；
若属于上述判断之间，则可取2，4，6，8和1/2，1/4，1/6，1/8，确定了Cij后，就能构造一个两两比较判断矩阵：(9(
Bk—C：
Bk C1 C2 … Cs
C1 1 C12 … C1s
C2 1/ C12 1 … C2s
… … … … …
Cs 1/ C1s 1/ C2s … 1
计算出单一目标Bk下的下层目标C1、C2，…Cn的单权重向量为：
W(k)=(C1(k),C2(k),…,Cs(k),Cs+1(k),…,Cn(k))r
(2)计算各层元素的总权重：
Ci=bk Ci（k） （i=1，2，…n）
(3)检验判断矩阵的一致性：
在计算权重的过程中，每一个判断矩阵都要进行一致性的检验，以保证矩阵的合理性。当判断矩阵满足< 时，则判断矩阵的一致性可以接受。
设有m个专家，并给定了各个指标的判断标准(，根据上述单权重的计算方法，可以计算出各层的单权重：A—Bi W0 =（,）T
B1—Ci W1=（,,,）T；
B2—Ci W2=（,,,）T
根据单权重的计算结果，得出准则层2对目标A的总权重：C=（,,,,,,,），再由专家对各项指标Ci用百分制打分，设某专家对Ci的打分为Vi，则该专家对服务系统的最终评分为F=，根据得分多少排序，进行比较评估。比如根据不同时间的服务评分情况，对服务质量进行纵向比较评价。
结语
综上所述, 建立数字参考服务质量评估体系能更好地促进图书馆网上实时服务的发展，为图书馆相应的决策、评估提供依据。在评估操作时，还可以运用加权评分法，对图书馆之间的相关服务质量进行横向比较分析。笔者提供了一种思路，希望能在有关的探讨和实践中进一步加以完善。
(该统计报表数字截止于2003年5月16日
(为了举例方便起见，该标准B和C、A和B的对应关系值为作者给出。实际操作中，应由有关专家给定。
参考文献
(1(潘卫.数字参考服务:发展与思考.大学图书馆学报,2002 (4):63～69
(2(金更达.图书馆服务质量评价实现探讨. 大学图书馆学报,2002 (3):49～54
[3] HYPERLINK " ，2003-03-16
[4]郭晶 林皓明.关于图书馆利用chat软件进行实时咨询服务的探讨.大学图书馆学报,2002(6):49～53
[5] HYPERLINK " ，2002-11-03
[6] HYPERLINK ":8080/virtual/skin/" :8080/virtual/skin/ ，2003-05-09
[7]陈伟.正确认识层次分析法(AHP).人类工效学,2000(2):32～35
[8]陈洪云 李贵春.层次分析法(AHP)在教学实验室评估标准中的应用.天津师大学报,2000(3):28～31
(9(王众托.系统工程引论.北京:电子工业出版社,1984
作者简介：
郭晶，女，助理馆员，上海交通大学图书馆咨询部工作。联系方式:jguo@
本文发表在《上海交通大学学报》2003年增刊
