启发式评估(heuristic evaluation)(3)
作者:Jakob Nielsen 来源:aliued.cn 发布时间:2009-08-27 13:03:00
测定评估人员的数量
理论上讲,单个评估人员可以针对一个用户界面进行启发式评估,但是多个项目的经验表明当只有单个评估人员的时候,评估的结果非常地差。6个我做过的项目平均下来,发现单个评估人员只找到了界面上35%的可用性问题。然而,由于不同的评估人员可以发现不同的问题,所以通过将多个评估人员做的评估结果整合起来可以大大提高评估的成果。图2显示了随着越来越多的评估人员的加入发现的可用性问题所占的比例。图中清楚地显示了在使用多于一个评估人员的时候有一个非常好的盈利点(Payoff)。看起来,推荐使用大概5个左右的评估人员是很合理的,当然必须至少3个。使用的评估人员的明确数量要看开销-利益分析的结果。明显地,在那些可用性已经是很差的案例中或者当由于系统的大量的广泛的使用可以预见巨大的赢利的时候,更多的评估人员可以投入使用。
图2:曲线显示了不同数量的评估人员通过启发式评估法找到的一个界面上的可用性问题的比例。曲线代表了6个启发式评估中的平均结果。
Nielsen和Landauer(1993)在下面的关于可用测试中可能发现的可用性问题的数量的预测方程的基础上引进了这样一个模型:
ProblemsFound (i) = N (1 - (1-l) i)
ProblemsFound (i)代表通过合计i个独立的评估人员的评估报告后发现的不同可用性问题的数量。N表示界面上的可用性问题的总数,I表示单个评估人员发现的可用性问题在全部问题中所占的比例。在6个案例分析中(Nielsen和Landauer 1993),I的值的范围在19%和 51%之间,平均值为34%。N的值的范围是在16和 50之间,平均值为33。使用这个方程得到的曲线与图2中的非常相似,虽然曲线的确切形状随着变量N和I的改变而改变,其中N和I根据不同项目的特点而改变。
为了确定评估人员的最理想数量,我们需要一个启发式评估的开销-利益的模型。这个模型中的第一个要素是通过考虑固定的和不定的开销来计算使用这个评估方法的开销。固定开销是指那些不管有多少个评估人员都需要支付的开销,包括设计评估方案需要的时间,准备材料,以及写评估报告或者交流评估的结果。不定开销是指每次一个新的评估人员加入时需要的额外的费用,包括那个评估人员的工资,分析评估人员报告的费用,以及在评估过程中所用到的电脑等其他资源。根据多个项目的公布的数据,一个启发式评估的固定开销在3,700美元和4800美元之间;每个评估人员的不定开销在410美元和900美元之间。
实际的固定和不定开销在不同的项目中明显不同,并依赖每个公司的开销结构以及被评估的界面的复杂程度。举个例子,如果一个项目中启发式评估的固定开销时4000美元,每个评估人员的不定开销时600美元,那么,在这个项目中使用i个评估人员进行启发式评估的总费用就是(4000+600i)美元。
启发式评估法的益处主要是可用性问题的发现,虽然在某种程度上可以获得一些持续的教育的益处,比如,评估人员可以通过比较他们自己的报告和其他评估人员的报告来提高自己对可用性的理解。对于上面的范例项目中,通过使用Nielsen和Landauer(1993)在多个公布的研究中的得出的一个数据,设想发现一个可用性问题值15,000美元。在真正的项目中,我们明显需要在预期的用户数量的基础上估计发现可用性问题的价值。对于在内部使用的软件,这个价值可以在用户生产力预期的提高的基础上进行估计;对于那些在开放市场上出售的软件,这个价值可以在由于更高的用户满意率或更好的Review Ratings而引起的销售的预期增长的前提下被评估。注意:真实的价值只来源于那些在软件出货之前真正解决的可用性问题。由于不可能解决所有的可用性问题,每个发现的问题的价值只是一个最后解决的问题的价值中一部分。
图3:曲线显示了在一个使用了上面讨论到的设想的范例项目中使用启发式评估所获得的利益是花费的多少部。这个例子中,评估人员的理想数量是4,并且获得的利益是花费的62倍。
图3显示了在这个范例项目中,不同数量的评估人员对应的利益和花费之间的不同比例。曲线表明当前项目中评估人员的最理想数量是4,这点证实了文章开头提到的启发式评估中最好使用3-5个评估人员的说法。在这个例子中,有4个评估人员的启发式评估花费6,400美元,并找到价值395,000美元的可用性问题。
参考书目
? Dykstra, D. J. 1993. A Comparison of Heuristic Evaluation and Usability Testing: The Efficacy of a Domain-Specific Heuristic Checklist. Ph.D. diss., Department of Industrial Engineering, Texas A&M University, College Station, TX.
? Jeffries, R., Miller, J. R., Wharton, C., and Uyeda, K. M. 1991. User interface evaluation in the real world: A comparison of four techniques. Proceedings ACM CHI’91 Conference (New Orleans, LA, April 28-May 2), 119-124.
? Molich, R., and Nielsen, J. (1990). Improving a human-computer dialogue, Communications of the ACM 33, 3 (March), 338-348.
? Nielsen, J. 1990. Paper versus computer implementations as mockup scenarios for heuristic evaluation. Proc. IFIP INTERACT90 Third Intl. Conf. Human-Computer Interaction (Cambridge, U.K., August 27-31), 315-320.
? Nielsen, J., and Landauer, T. K. 1993. A mathematical model of the finding of usability problems. Proceedings ACM/IFIP INTERCHI’93 Conference (Amsterdam, The Netherlands, April 24-29), 206-213.
? Nielsen, J., and Molich, R. (1990). Heuristic evaluation of user interfaces, Proc. ACM CHI’90 Conf. (Seattle, WA, 1-5 April), 249-256.
? Nielsen, J. 1992. Finding usability problems through heuristic evaluation. Proceedings ACM CHI’92 Conference (Monterey, CA, May 3-7), 373-380.
? Nielsen, J. (1994). Heuristic evaluation. In Nielsen, J., and Mack, R.L. (Eds.), Usability Inspection Methods. John Wiley & Sons, New York, NY.
猜你喜欢
- 浏览器:IE ,不支持firefoxfilter视觉滤镜的种类:Alpha(透明度) Blur(模糊) Chroma(指定颜色透明) Dro
- 一般来说,一个真正的、完整的站点是离不开数据库的,因为实际应用中,需要保存的数据很多,而且这些数据之间往往还有关联,利用数据库来管理这些数据
- 本文由伯乐在线 - 敏捷翻译的史莉萍翻译自《Creating an Effective Color-Scheme for Web Desig
- 虽然淘宝商城的名字中带有“商城”两字,但是很显然的,淘宝商城并不是一个B2C商城,淘宝商城仍只是一个C2C平台,充其量只是个收费版的淘宝。在
- 迭代器模式迭代器模式(Iterator Pattern)是一种常用的设计模式,用于遍历集合中的元素,不暴露集合的内部结构。迭代器模式将集合和
- blankzheng的blog:http://www.planabc.net/1、使用fieldset和legend标签在form中,我们经
- 一、控制用户存取 1、创建修改用户Creating Users Create/alter user new_user identified
- css当中有许多平时很少用的属性,但是这些属性有时候被发掘出来以后就会立刻引起一些人的追逐,首字大写就是这样一种效果。最近越来越多的blog
- 本文是关于人物角色的一些简单介绍,感谢瑶芝同学提供的大力帮助! 人物角色(Personas)作为一种技术
- HTML是万维网上发布超文本的通用语言[1]。从1982年Tim Berners-Lee简化SGML建立HTML的原始定义到2001年发布X
- 本文总结了asp初学者在学习asp过程中可能会碰到的常见问题,并做了详细的解答。1.如何用Asp判断你的网站的虚拟物理路径 答:使用Mapp
- test.asp 测试演示文件clsrsa.asp 实现rsa加密与解密的vbs类文件下面是代码:1. test.asp<%rem 文
- 将数据库中的信息存储至XML文件中:save.asp<!-- #include file="adovbs
- 教育信息化时代,考试成绩也要求上网公布。一次我将考试成绩制作成一个HTML文件,如图1所示,领导审查的意见是“将成绩按名次排列”,可是所有的
- 两行JavaScript代码的QQ窗口抖动效果<img id="win" style='pos
- 一、HACK以下两种方法几乎能解决现今所有HACK。1, !important 随着IE7对!important的支持, !imp
- slice 可以用来获取数组片段,它返回新数组,不会修改原数组。除了正常用法,slice 经常用来将 array-like 对象转换为 tr
- 提到SQL Server 2005证书,很多人可能以为它只是用来在传输数据的时候起到加密作用的,但在深入了解后,你会发现它的用处还有很多。
- 当数据库服务器变得十分繁忙导致性能下降时,你会怎么办?购买更多的硬件升级你的服务器,还是重新考虑数据库服务器设计使得数据库平台具备良好的可升
- 今天要做个搜索,用到了时间比较函数!以前多是直接比较时间,查询语句有长效率又不高~~~后来用了DateDiff函数,在调试的时候发现了一些问