4) evaluation of retrieval system
检索系统评价
5) information retrieval evaluation
信息检索评价
1.
This article discussed the difficulties that the traditional information retrieval evaluation measures encountered within the network environment first,then introduced the “relevancy category” and “first X precision” brought forward by two American researcher H.
本文讨论了网络信息环境下 ,传统的信息检索评价指标体系遇到的困难 ,介绍了两位美国研究人员H 。
补充资料:情报检索系统评价
从技术经济观点对情报检索系统的效果、费用与效益等进行定性与定量分析比较,以确定其优劣的工作项目。视需要与可能,采用下述3种方法。
效果评价 以费用、时间与质量作为准则,客观地衡量用户对系统所提供的检索结果的满意程度。根据投入产出法则,应使用户觉得所产生的效益是合理的。费用不仅是用户直接的付费,还要考虑用户同系统打交道时化费时间所换算的费用。并要考虑取得文献线索后,取得原始文献方便与否。时间是指系统的响应时间要短,而所提供的情报应尽可能是最新的。但对需要全面检索的用户来说,响应快慢有时无关紧要。质量是指用户是否得到他所要找的东西和得到的东西是否全面、准确;前者是针对检索某一篇文献,或回答某一实际问题,后者是针对一般文献检索。主要是用查全率与查准率来判定检索系统的性能。
费用/效果评价 即计算检出每篇相关文献的单位成本,可以根据检索结果与所需各项费用定量估算。其主要步骤是:①确定评价范围;②拟定评价计划;③具体进行评价;④结果的分析与解释;⑤根据评价结果改进系统或服务。在计算费用时要考虑固定费用与可变费用。评价的目的是在达到一定服务水平的前提下,判别哪一种方法或系统费用最小,或保持费用不变,和研究哪一种方法或系统更能提高性能水平。因此,在具体进行评价时,首先要明确所要达到的目标,达到此目标有哪些方法,用某种方法费用要多少,建立相应费用模式(公式、计算机程序或文字说明),规定评价标准,将各种方法或系统按满意程度排列,从中选出最佳者。对大多数情报机构建立数据库来说,要百分之百收全文献,几乎都做不到。如将收全程度从85%提高到100%,费用将急剧增加,这后面的15%的文献,可能要和前边85%文献需要同样多的费用,从费用/效果的观点来看,应事先确定一个现实的收藏范围目标,再确定那些最能达到此目标的期刊。在输入与输出之间权衡利弊时,要注意这样一条规律,即在输入步骤上节约,将导致输出步骤上负担加重,从而提高输出费用,反之亦然。因此,若查用量小,而输入量大,就应设法节约输入费用,把辅助性工作放在输出阶段。在输入要快的场合,标引工作就要采取较经济的方法。若输出要准确快速,则输入就要做得细微,不要追求节约。在考虑建库时,要进行调查,若已有某种数据库存在,尽管不太符合要求,也要尽可能利用它,而不要另建新库。
费用/效益评价 即探讨检索系统所提供结果的效益与系统运行费用之间的关系。若效益超过了费用,则获得这 一结果是合理的。 由于确定效益有一定主观性,用金钱来衡量效益是很困难的,因此,进行这一评价很不容易,一般采取下列步骤:①比较不同系统的服务费用;②若得不到预定检索结果,则估算有关人员在劳动生产率上可能产生的损失;③得到此种结果,对决策有何改进;④能否避免重复前人已做过的工作,或吸收其工作经验教训;⑤是否能促进发明创造或提高劳动生产率。具体作法是向用户征求对所提供结果的意见,看他们是否满意;也可访问用户或用信函询问进行细微的用户调查,以取得数据,说明用户满意程度与从检索结果中所得到的益处。
效果评价 以费用、时间与质量作为准则,客观地衡量用户对系统所提供的检索结果的满意程度。根据投入产出法则,应使用户觉得所产生的效益是合理的。费用不仅是用户直接的付费,还要考虑用户同系统打交道时化费时间所换算的费用。并要考虑取得文献线索后,取得原始文献方便与否。时间是指系统的响应时间要短,而所提供的情报应尽可能是最新的。但对需要全面检索的用户来说,响应快慢有时无关紧要。质量是指用户是否得到他所要找的东西和得到的东西是否全面、准确;前者是针对检索某一篇文献,或回答某一实际问题,后者是针对一般文献检索。主要是用查全率与查准率来判定检索系统的性能。
费用/效果评价 即计算检出每篇相关文献的单位成本,可以根据检索结果与所需各项费用定量估算。其主要步骤是:①确定评价范围;②拟定评价计划;③具体进行评价;④结果的分析与解释;⑤根据评价结果改进系统或服务。在计算费用时要考虑固定费用与可变费用。评价的目的是在达到一定服务水平的前提下,判别哪一种方法或系统费用最小,或保持费用不变,和研究哪一种方法或系统更能提高性能水平。因此,在具体进行评价时,首先要明确所要达到的目标,达到此目标有哪些方法,用某种方法费用要多少,建立相应费用模式(公式、计算机程序或文字说明),规定评价标准,将各种方法或系统按满意程度排列,从中选出最佳者。对大多数情报机构建立数据库来说,要百分之百收全文献,几乎都做不到。如将收全程度从85%提高到100%,费用将急剧增加,这后面的15%的文献,可能要和前边85%文献需要同样多的费用,从费用/效果的观点来看,应事先确定一个现实的收藏范围目标,再确定那些最能达到此目标的期刊。在输入与输出之间权衡利弊时,要注意这样一条规律,即在输入步骤上节约,将导致输出步骤上负担加重,从而提高输出费用,反之亦然。因此,若查用量小,而输入量大,就应设法节约输入费用,把辅助性工作放在输出阶段。在输入要快的场合,标引工作就要采取较经济的方法。若输出要准确快速,则输入就要做得细微,不要追求节约。在考虑建库时,要进行调查,若已有某种数据库存在,尽管不太符合要求,也要尽可能利用它,而不要另建新库。
费用/效益评价 即探讨检索系统所提供结果的效益与系统运行费用之间的关系。若效益超过了费用,则获得这 一结果是合理的。 由于确定效益有一定主观性,用金钱来衡量效益是很困难的,因此,进行这一评价很不容易,一般采取下列步骤:①比较不同系统的服务费用;②若得不到预定检索结果,则估算有关人员在劳动生产率上可能产生的损失;③得到此种结果,对决策有何改进;④能否避免重复前人已做过的工作,或吸收其工作经验教训;⑤是否能促进发明创造或提高劳动生产率。具体作法是向用户征求对所提供结果的意见,看他们是否满意;也可访问用户或用信函询问进行细微的用户调查,以取得数据,说明用户满意程度与从检索结果中所得到的益处。
说明:补充资料仅用于学习参考,请勿用于其它任何用途。
参考词条