CIPP与数字图书馆服务绩效评估

王 臻

（深圳南山图书馆，广东 深圳 518055）

王 臻 女，1979年生。本科学历，馆员。

数字图书馆就是虚拟的、没有围墙的图书馆，是基于网络环境下共建共享的可扩展的知识网络系统，是超大规模的、分布式的、便于使用的、没有时空限制的、可以实现跨库无缝链接与智能检索的知识中心。[1]绩效评估（绩效考核或绩效评价）是指按照一定的标准采用科学的方法检查和评定某一项目或人员所规定任务的履行程度，以确定其工作成绩的管理方法。鉴于此，笔者将作为科学管理的CIPP评估法应用于数字图书馆服务绩效评估，旨在对数字图书馆利用活动进行规范，指明其发展方向。

1 CIPP评估法

结合数字图书馆评估理论研究和实际应用，其服务绩效评估方法可选择CIPP评估法。[2]

1967年美国学者斯塔弗尔比姆（Stufflebeam，D.L.）提出了CIPP模型，又称决策导向型评价模型。CIPP评估模型由4项评估活动组成：背景评估（Context evaluation）、输入评估（Input evaluation）、过程评估（Process evaluation）、成果评估（Product evaluation），简称CIPP评估模型。图书馆界在20世纪90年代开始引入该评估模型，针对数字图书馆服务，CIPP评估法中背景评估主要考评数字图书馆项目制订的规划、目标的科学性、可行性以及具体实施情况；输入评估主要考评为达成项目的规划和目标所投入的资源及其运用情况，特别强调用户需求的满足、经费的合理使用和建立良好的工作组织几方面内容；过程评估主要考评定期反馈项目执行计划的有关情况，以调整和指导下一步工作；成果评估主要考评项目目标达成情况。运用CIPP评估法可以提升数字图书馆的服务效果。①通过评测用户的满意程度，可以了解数字图书馆的服务效果。②考察数字图书馆内部运作的效率，促使其运作方式更符合发展目标。③计算数字图书馆付出的人力、物力、财力等检测服务的效果，保持数字图书馆运作效益的平衡。因此，运用CIPP评估法既要注重经费投入、资源建设、人员、设施等输入资源，又要注重服务类型、质量等输出成果效益，并与质量管理研究有机结合起来；既要依据图书馆行业标准，强调规范化和标准化建设，又要重视用户或咨询馆员反馈，把数字图书馆在业务范围、组织结构、管理方式等方面发生的深刻变化最终都反映在数字图书馆服务质量上。[3]

2 CIPP在数字图书馆评价中的应用

2.1 信息服务综合评估体系

①信息提供服务：提供信息（全文、内容、摘要、索引、定题情报服务）的数量；提供信息的及时性；提供信息的准确性；用户对信息的满意度。②信息检索服务：信息检索的数量（公共联机目录检索、联机检索、互联网检索）；信息检索的及时性；信息检索的准确性；信息检索的用户满意度。③参考咨询服务：数字参考咨询服务；数字信息资源的使用指导。④数字信息服务的使用：每次服务的浏览数量/月；每次服务的下载量/月；每次服务的命中数量/月。⑤用户教育：用户教育的数量；用户教育的评估；用户教育程序的操作。⑥为用户提供便利：用户帮助以及提供在线信息服务应用表。

2.2 使用评估指标体系

①用户量度评估指标：注册用户数即已在用户注册表中注册过的用户数量；登录次数即图书馆被使用的次数（网页登录次数）；用户忠诚度即使用10次以上的用户数占总用户数的比率。②问题/回答量度评估指标：接受用户问题百分比，数字图书馆接受服务量所占服务总量的百分比；回答用户问题的百分比，数字图书馆响应中用户得到问题答案的数量占系统接受服务总量的百分比；问题征解百分比，需征解问题量占服务总量的百分比。

2.3 服务水平评估指标体系

①问题响应时间指标分析：数字图书馆系统管理员响应问题的时间以及将问题分配给咨询馆员的时间；咨询馆员响应问题的时间；系统管理员再次转发问题的时间；咨询馆员答复问题的时间；系统管理员转发咨询馆员回复的时间。②问题响应质量指标分析：数字图书馆系统管理员正确回答度；咨询馆员正确回答度；无答案量度；系统管理员对问题的响应度；咨询馆员对问题的响应度；咨询馆员回答量度；答案规范度。

2.4 咨询馆员评估指标体系

①咨询馆员评估指标。这一指标主要指咨询馆员应具备的素质：包括咨询馆员具有的图情专业或其他学科的知识背景；积累了一定的服务经验与技巧；能熟练运用常用检索工具和导航工具；热爱图书馆服务工作，并善于与用户交流和沟通，为用户提供有参考价值的意见；具有娴熟处理信息的能力，包括对信息的反应能力、应变能力、接收能力和处理能力。②培训情况指标。主要指咨询馆员对用户培训情况、系统管理员培训情况及咨询馆员自身培训情况。具体为有计划地举办各种形式的用户培训，使注册用户充分了解数字图书馆的特点与适用范围，同时不断发掘潜在用户；通过定期或不定期培训咨询馆员的奉献精神与敬业精神，提高对图书馆咨询服务规范掌握的熟练程度。③建立考核评价制度。根据档案用户打分、专家审核和服务周期长短等因素，对每一个服务问题及其答复进行评价。同时建立规范的咨询馆员淘汰机制。定期对咨询馆员进行审核与评估，对不符合要求的咨询馆员及时予以更换。

2.5 用户评估指标体系

①用户满意度，即接受数字图书馆服务的用户对服务的过程和结果的满意度。包括准确性、及时性、员工的行为、技术因素、物理设施等。用户满意度指标是数字图书馆服务绩效评估指标体系中较为重要的部分，主要考核和评价馆员及数字图书馆系统管理员的回答质量和服务情况。为客观评价此项指标应由用户评定打分。用户对服务回答质量的评估指标：系统回答的正确性；系统回答的时效性；档案服务的专业性；根据使用的情况，用户认为服务的综合性如何；系统回答的理解性；用户对回答速度的满意程度；用户对未得到答案的问题的看法。②用户对服务情况的评估指标：目前数字图书馆服务的状况；咨询馆员的服务水平；用户对咨询馆员的满意度；用户认为系统服务是否遵照标准规定时间回答了问题；用户提问是否都得到咨询馆员的响应；用户认为所付费用与所提供的服务是否相称；用户认为系统提供咨询服务所花费的时间是否恰当。需要指出的是，数字图书馆服务绩效评估指标体系以用户为中心，树立“用户第一、服务至上、公益性、人性化、服务一线化”的理念，需求在一线，服务在一线，效果在一线，一线的能力即是数字图书馆服务的“创新与品牌”。[4]因此，CIPP评估法在数字图书馆服务绩效评估中应用，应侧重服务的广度、咨询馆员正确回答度、答案规范度等，提高用户满意度。

2.6 个案分析

数字图书馆“分布式数字参考咨询系统服务评估指标体系”[5]如表1所示。其服务评估指标体系包括系统服务指标体系、服务水平评价指标体系、咨询队伍指标体系、用户满意指标体系。

表1 数字图书馆服务绩效评估指标体系

3 几点思考

3.1 定性与定量相结合，科学评估

CIPP评估法在数字图书馆服务绩效评估中应用需要对每个具体的评价指标设置加权系数，才能进行最终的评价。也可将每个指标分成“优、良、中、差”4个等级，每个等级按质量要求给出评估标准，并赋予相应分值使之量化，再根据指标权值和等级标准分值计算出咨询各项工作程序的质量得分，最后作出质量总评价。此外，评估者还可根据一定的目的选取适当的指标进行质量评定，对某项工作的程序做出改进。由于数字图书馆受多方面因素影响，因此，在实践中确立质量特征的有关数量标准比较困难，需要根据各数字图书馆服务情况、用户状况和系统特征进行全面考虑。只有在实践中不断研究和探索，逐步建立起科学的评估指标体系，才能有效地提高数字图书馆服务水平。需要指出的是，CIPP评估法在数字图书馆服务绩效评估中应用，需要对每个问题都有相应的定性描述和量化标准。在制定评估标准和具体分值时，应与本单位所执行的与本系统相配套的咨询服务管理规程结合起来考虑。

3.2 指标体系的应用

CIPP评估法在数字图书馆服务绩效中应用，采用一定的标准，评估某个数字图书馆系统的质量或是对若干个数字图书馆系统进行分析比较，必须要考虑到数字图书馆的具体环境，包括外部环境（社会、文化、政策、语言、用户等）和内部环境（目标、任务、基础设施、人力、财力等）。具体环境中的数字图书馆服务绩效评估还要以此指标体系为基础增删一些评价要素。

3.3 慎重选择评估者

CIPP评估法要注意整体效应，可分为上级评价、同等评价、自我评价、用户评价、专家评价5种形式，给出每种评价形式的权重，最后算出评价结果。需要指出的是，用户作为服务的对象，在评估上最具有发言权，用户评估所占的权重应当较大。

3.4 重视隐私权与版权保护

CIPP评估法在数字图书馆服务绩效评估中应用,目前普遍存在漠视隐私权与版权保护的评估问题。[6]管理者应认识到：数字图书馆服务绩效评估是为了规避数字图书馆在今后发展过程中可能承担的侵权和被侵权风险，及时预测，采取相应措施，以确保数字图书馆工作正常运转。因此，数字图书馆服务绩效评估要结合相关法律法规，对用户隐私权进行必要的保护，对数字信息资源的版权在合理使用或法定许可等情形下，以测定数字图书馆未来可能面临的版权风险。

3.5 完善评估反馈机制

建立与完善数字图书馆用户反馈功能目的在于从用户或咨询馆员的角度认识图书馆自身存在的差距，不断改善图书馆服务。一般数字图书馆咨询服务都设置评估反馈机制，如在数字图书馆网站醒目位置设置“用户留言”、“馆长信箱”或在用户提交咨询表单后，自动生成用户反馈表进行意见反馈。数字图书馆需要设立专门的数据库和管理人员，对用户或咨询馆员的反馈意见进行收集和整理，组织相关人员对反馈的问题进行分析，给予及时解决。

[1]李国庆.数字档案馆概论[M].北京：中国档案出版社，2003.

[2]朱小怡.数字档案馆建设理论与实践[M].上海：华东师范大学出版社，2007.

[3]姜晓.图书馆绩效评估方法评析[J].大学图书馆学报，2004（1）：6-9.

[4]张晓林.构建数字化知识化的信息服务模式[J].津图学刊，2003（6）：13-16，80.

[5]张娴，等.国家科学数字图书馆网络联合参考咨询服务质量控制及评价方案研究[J].现代图书情报技术，2005（11）：30-33.

[6]王晓军.数字图书馆评估模式探讨[J].图书情报知识，2007（4）：39-43.