意见调查无法衡量所有结果
- 物料组提问:“你喜欢我们的新标签布局吗?”肯定回答可能显示偏好,但不能证明读者能正确分类四件物品。方法必须与问题中的结果指标相匹配。
- 本原创GAC033配套课程比较了观察、调查和小型实验。这三种方法对某些问题均有用处,但并非每种方法都自动适用于所有课题,且复杂的方法也无法弥补研究问题的模糊性。
练习
“你喜欢这个布局吗?”最直接衡量什么?
难度 1/5 · 今日首次完成可获 100 金币及少量额外奖励
喜欢是一种观点结果。它不能替代分类准确度指标。
比较各方法提供的信息
- 观察可以记录特定环境中的发生情况,但仅凭记录错误本身无法揭示其成因。调查可询问经验或偏好,但回答可能与实际行为不符。避免将两者作为未测量结果的证据进行报告。
- 实验通过有意改变某一特征并在计划条件下比较结果来进行。针对标签项目,团队提议在保持文字、物品选项、时间和说明不变的情况下更改布局。若控制不佳的差异会削弱解释力。
| 问题 | 可能的方法 | 重要限制 |
|---|---|---|
| 真实托盘上出现哪些错误? | 经批准的观察 | 动机无法直接观察 |
| 读者更喜欢哪种布局? | 调查 | 偏好不等于分拣准确率 |
| 不同布局间的准确率是否有差异? | 计划对比任务 | 简单的纸质任务不代表日常使用场景 |

规划公平的小型对比
- 提案使用24名自愿同伴:12人看A版,12人看B版,通过随机抽取纸条分配而非由团队偏好决定。每人需在两分钟内完成相同的四项纸质分拣任务,且不接受指导。标签措辞保持一致;间距和对齐方式有所不同。
- 仅当四项放置均与任务前确定的标准答案完全匹配时,才计为一份完全正确。记录每组的完全成功数量,而非混合部分得分与整份计数。目前尚未开展正式研究。
例子
结果判定规则:四项放置正确 = 一次成功;任何一项放置错误或空白 = 无完全成功。单独的误差类别备注有助于解读,但不得悄无声息地改变主要结果指标。
练习
在拟议的布局比较中哪两个特征应保持相同?
难度 2/5 · 今日首次完成可获 140 金币及少量额外奖励
保持文字和时间相等可减少替代解释。不等的指导或钥匙会使比较混淆。
练习
一张纸有三个正确放置和一个空白。它算作多少次完全成功?
难度 2/5 · 今日首次完成可获 140 金币及少量额外奖励
固定规则要求所有四个放置正确。部分准确不符合此结果。
诚实地描述样本
- 样本指参与群体。来自一个班级的志愿者不能代表所有学生。在该组内进行随机分配可使A/B对比更公平,但这不同于对整个学校进行随机抽样。
- 明确说明邀请对象、计划人数及同意人数不足时的应对措施。不要只为B组招募自信的读者,而为A组招募不自信的读者。即使在小规模群体中,随机分配也不能保证各组在所有特征上都完全一致。
注意
切勿在教师批准程序前让参与者执行任务。参与必须出于自愿,不计入成绩,且不受队友或教师的压力影响。
练习
随机分配24名班级志愿者保证他们代表学校每个学生。
难度 1/5 · 今日首次完成可获 100 金币及少量额外奖励
分配到条件和从总体抽样是不同的。单一班级的志愿者仍限制推广。
明确伦理程序
- 在任何人同意之前,解释任务内容、目的及匿名汇总的使用方式。参与者有权中途退出或不提交表格。不收集姓名或识别性评论。说明一旦表格在无标识的情况下提交,团队将无法可靠地获取该人的数据。
- 使用普通印刷材料,避免可能导致损坏、尴尬或泄露的任务。记录应存放在已批准的项目位置中,并与教师就访问权限和销毁达成一致。“无姓名”不能成为粗心处理其他识别细节的借口。
试运行程序,而非结论
- 经批准后,请两人检查说明是否易懂、时间是否可行。此次预测试是方法的彩排。若团队后续修改了说明,这些预测试表格不得纳入主对比。
- 撰写他人可遵循的协议:包括招募、分配、材料、说明、计时、评分、隐私和分析。标记出可能导致两名助手操作不一致的句子,并在正式收集前使其精确化。
关键点
使方法与问题相匹配,预先定义结果,控制相关差异,并明确样本与伦理限制。
练习
ordered these method-development steps. (请有序排列这些方法开发步骤)
难度 3/5 · 今日首次完成可获 200 金币及少量额外奖励
批准先于参与者工作;试点有助于在主任务前完善程序。