让数据站住脚-浅谈用户研究中的信度与效度

在用户研究工作中，如何让自己的数据和结论更有说服力，是很重要的问题。最近将自己积累的用研信度和效度的笔记整理一下，罗列在文中，希望对大家有所帮助。
　

一、调查的质量取决于调查的信度和效度

信度主要指测量结果的一致性、稳定性。也就是说结论和数据是否反映了用户最真实稳定的想法。用户在回答问题的时候，往往会受到环境、时间、当时当地的情绪影响，而作出并不真实的想法，即会有随机误差。信度就是衡量这种随机误差对用户想法的影响大小。

　　效度是指多大程度上测量了你想要测量的东西。

对某个产品用研，我们现在用得最多是用户访谈、问卷调查和可用性测试。而在这几个过程中都会涉及信度和效度的问题。
　

二、用户访谈中的效度和信度

1. 访谈不能仅仅局限于用户

任何一个产品项目都会受到市场环境、公司战略、技术力量、平台规范和流行趋势等各个方面的影响。对某一产品的需求，可能来自用户、产品、技术、交互以及视觉。不同岗位人员看待产品的角度不一样，侧重点也不一样，找多个角色有助于把需求找全，不遗漏，所以必须提前了解他们的需求。这样才能使我们的研究更有针对性、全面性、有用性。有用程度、全面程度是效度的重要组成部分。

2. 巧妙的选择访谈用户

通常，前期深度访谈的用户数量不会太多，所以用户条件一定要把握适当。反馈的问题才能全面、合理、有用。

比如是做Android平台上的某一软件。

首先Android新手用户和熟练用户都是必须的，熟练用户更能反映android用户习惯性操作方式、平台特点、以及长期使用过程中积累的意见和建议；而新手用户可以更好的反映该平台哪些地方存在学习困难，从而通过我们的设计帮助用户去降低学习成本。

其次非Android平台用户也是必须的，可以从侧面了解他们不用Android的原因。从而帮助产品挖掘更多 * 户提供方向。

　　人口学信息（学历、职业、性别、年龄）要覆盖全面。不同属性的用户看重地方会存在差异。需求也会不一样。

　　包含竞品用户。通过了解用户对竞品的评价，可以提炼出竞品的优劣势，从而为增强产品竞争力提供方向。

3. 一定要有专家

　　专家是重要的信息携带者。李乐山教授说专家有三类，用户专家、制造专家、市场销售专家，他指出判断某人是否是专家的标准是：（1）能够熟练使用一种产品；（2）能够比较同类产品；（3）有关的新知识容易整合到自己的知识结构中；（4）具有10年专业经验；（5）积累大量经验并且在使用经验方面具有绝招；（6）了解有关的历史（该产品设计史、技术发展史等）；（7）关注产品发展趋势;（8）知识链或者思维链比较长，提起任何一个有关话题，他们都能够谈出大量的有关信息；（9）能够提出改进或创新的建议，他们的创新或改进方案，其高水平体现在采用简单方法解决复杂问题。

对于互联网，专家应该指的是用户专家、开发专家、设计专家以及产品专家；他们凭借丰富的经验，系统全面的掌握行业同类产品、开发及设计模式、历史及发展趋势、专业水平极高。他们可以为我们提供很多我们始料未及的建议。这是保证用研过程，特别是对于后期问卷结构效度有很大的作用。