我们用什么来衡量设计3：定量研究的风险（2）

风险4：过度简化的分析

为了获得好的统计结果，你必须严密控制实验的条件——严密到结果不足以推广和解决现实世界中的问题。

这是大学研究中的一个普遍问题，他们测试的目标常常是倾向于大学生而不是主流用户。同时许多学生并不是使用真正的网站进行测试（真正的网站常有着复杂多样的情景和上下文联系），他们往往用数张简化了的、只有简单内容的设计进行测试。

举个例子，可以非常容易搞一个研究来说明面包屑设计是无用的：给用户一个清晰的任务，要他们沿着一条直线到达目的地然后停在那里，这些用户会毫无疑问的忽 略所有的面包屑线索。实际上呢？面包屑在许多网站设计中都被推荐使用，不仅仅因为它十分轻量化，它更重要的意义在于对那些通过搜索引擎或者导向link直 接进入到网站深处的用户十分有帮助，而不是从头一步步走进来的用户。

狭隘的研究常忽略掉考虑宏观整体的可用性，例如重新访问行为、搜索引擎友好性、多用户决策等。类似这些的因素对设计的成功至关重要，如B2B或企业软件的设计。

风险5：扭曲了的测量尺度

通过在错误的时间帮助用户，或者使用错误的任务，我们可以很容易误导一个可用性研究。实际上只要有针对性的设计实验，我们可以证明任何我们想要的结果。这正是那些旨在表明一个厂家产品比竞争对手产品更好的赞助研究背后的原理。

即使实验者不欺诈，人们也很容易因为实验方法的弱点而受欺骗，如引导用户去注意屏幕上的特定细节。非常重要的事实是：你应该去询问一些设计元素，而不是引发用户的注意，从而改变他们的行为。

一项在线广告研究试图避免这种错误，不过却弄出了另一个错误来代替：这个实验没有公开要求用户对广告发表评论，他们要求用户评价一批页面的整体设计。实验后，研究者开始衡量用户对不同品牌的认知度，结果在页面上有banner的公司得到的更高的分数。

这个研究能够证明banner广告对品牌是有利的吗？即便它没有任何证据表明可以推动销售？不能。记住用户被要求直接对页面设计进行评价，这个动机使用户比平时更加仔细的去观察页面，特别当人们去评价设计的时候，他们会仔细检查页面上所有独立的设计元素，包括广告。

许多网页广告研究都具有误导性，因为大多数研究都来自广告代理机构。最常见的扭曲是新奇效果：每当介绍新广告格式时，它总伴随一项研究显示新类型的广告创 造了更多用户点击。当然，因为新玩意总会获得一个临时优势：引起用户的注意可能只是因为它的新用户还没有培养起忽略它的习惯。这项研究在他完成的那个时段 来说可能是正确的，但它不会揭示任何长期优势——当新奇的影响消退后。

风险6：出版偏见

编辑总是遵循“人咬狗”的原则去突出新的、有趣的故事，不论科学期刊还是流行杂志都一样。虽然可以理解，但这可能造成带有严重倾向的新奇、不同的研究结果得以曝光。

可用性是一个非常稳定的领域。年复一年，用户的行为几乎是相似的出现。在过去的许多研究中，我一直能发现很多相似结果。不论过去还是现在，发表一篇伪造或偏见的结果会得到更大的关注。

想想关于网页下载时间的问题。所有人都知道更快更好。自1968年以来相应时间的重要性就被写入交互设计理论中，从1995年到现在无数的网页研究都证实 了这一点的重要性。电子商务网站的响应时间越快，卖的就越多。你服务器慢的那一天，你就在失去流量。（这最近在我身上发生过：1月14日， Tog被 slashdotted，因为我们共用一个服务器，和平时相比我的网站失去了10 ％的浏览量）（JJYY 注：slashdot.org是非常著名的科技新闻网站，常常会发生一些小网站因为被slashdot收录 后流量剧增，而变成龟速甚至导致临时关闭，作者在这里把slashdot用做了动词）

如果20人研究下载时间，19个会认为更快更好。但是，每1/20的统计会给出错误结果，然后这一个研究可能会被广泛的讨论，仅仅因为它很新奇。其他 19个正确的研究反而可能不会引起注意。

对奇异结论的判断

奇异的结果有时有着似乎令人信服的数字支持。您可以使用的我在这里已经提出来的问题作为理智检查：这个研究是不是创造出了一些不存在的相互联系？它是不是有着偏见或者过于狭隘？它仅仅是因为与众不同而被强调吗？还是仅仅是个侥幸？

通常你会发现偏差的结果应该被忽略。人类行为的广义概念在交互式系统中应该是稳定的且容易被理解的。

例外通常正如其名：它仅仅是一个例外。当然，有时一个奇异的发现具有革命性，而不是虚幻。这极其罕见，但它确实发生过。关键在于发现是否会被重复，以及当知道在哪里可以发现的时候其他人是不是也能观察到。

一个例子， * 我发表了一篇论文，折扣可用性工程，指出小型、快速的用户研究均优于大型研究，并测试约5个用户就足够的。这在当时是和主流思想（大 预算测试）对着干的。在我发布后的15年间，其他一些研究人员也得出了类似的结论，为此我们制定了一个数学模型来证实这个基于我经验观察的理论。如今，几 乎所有做用户测试的人都知道只需要做5个用户他们就可以得到绝大部分的东西。

另一个例子，有四个不同的研究都支持我的结论“ PDF文件对于在线信息访问是糟糕的”。在最新的研究中我们也发现同样的问题，这个结论被封存了数年。我当时非常犹豫要不要站出来反对在线PDF格式，因 为它在其他情况下非常有用（最显著的如下载文件去印刷，这是它设计的目的） 。随着越来越多的证据不断浮出来，最终一切变清晰了，结果就是在线PDF格式和用来印刷的PDF格式是非常不同的。

您可能会反驳其中某一项研究，但是4、5个研究建立了一个趋势，这大大增加了该项发现作为一个稀有事件的可信度。

总结

以上列出了许多定量研究可能会带来误导的理由，它也针对于糟糕的研究。做一个好的定量研究、通过测量获得有价值的洞察是可能的，但这样做会比较困难和昂贵。

定量研究必须在每一个细节和被检测的数字上做得非常正确，有太多的陷阱可能让你陷入进去。

如果你在没有洞察力的前提下去依赖数字，事情出错时你将没有任何备选方案。你将被绊倒在数字所引导的错误道路上。

定性研究会更加稳固，也不太会因为一些方法上的弱点缺陷而完全失败，即使您的研究不见得在每个细节都是完美的，您仍然可以通过定性分析去了解用户和观察他们的行为来获得许多好结果。

当然专家会比初学者能从定性研究中获得更好的效果。但在定量研究中，只有最好的专家才能得到有效的结果，并且只有当他们十分小心的时候。

译者：UCD翻译小组 , JJYY

原文：http://www.useit.com/alertbox/20040301.html