意見調査はすべての結果を測定できない
- 資料チームが「新しいラベルレイアウトをお気に入りですか？」と聞きます。肯定的な答えは偏好を示すかもしれませんが、4つのアイテムを正しく仕分けられるかどうかを示すものではありません。質問における成果物と方法論は一致している必要があります。
- このオリジナルGAC033準拠のImplemented lesson（Implemented lesson）は、観察、調査、小規模実験を比較しています。これらは特定の質問に対して有用ですが、すべてのテーマに自動的に最良の方法というわけではありません。複雑な方法論でも、曖昧な研究質問を修復することはできません。
「このレイアウトが好きですか？」は何を最も直接的に測定するか？
難易度 1/5 · 100 コイン + 今日初回完了時に小ボーナス付与
好きという opinions（意見）は結果であり、仕分け精度の測定に代わり得ない。
各方法が何を教えてくれるかを比較する
- 観察は設定内で起こることを記録できますが、エラーのみを記録しても原因を明らかにしないことがあります。調査は経験や偏好について聞くことができますが、回答が行動と異なる場合があります。測定されていない成果物の証拠として、どちらかを報告しないようにしてください。
- 実験とは、意図的にある特徴を変化させ、計画された条件下での結果を比較することである。ラベルプロジェクトの場合、チームはレイアウトを変更しつつ、単語、選択肢の項目数、時間、指示事項を同一に保つことを提案している。適切に管理されない違いは、解釈の妥当性を損なう可能性がある。
| 問題 | 可能な方法 | 重要な限界 |
|---|---|---|
| 実際のトレイでどのようなエラーが発生するか？ | 承認付きの観察 | 動機は直接観察されない |
| 読者がどのレイアウトを好むか？ | 調査 | 嗜好は仕分け精度ではない |
| レイアウト間で精度が異なるか？ | 計画された比較タスク | 小規模な紙のタスクは日常的な使用ではない |
公平な小規模比較を計画する
- この提案では、24名の協力的な同級者を使用する：12名がA、12名がBを見るよう、チームの好意ではなくシャッフルされた紙片によって割り当てられる。各参加者は、指導なしで2分以内に同じ4項目の用紙仕分けタスクを完了させる。ラベルの文章は同一だが、間隔と配置は異なる。
- 完全正解の用紙1枚を評価するには、タスク開始前に固定された基準すべてが一致している場合に限り行う。部分得点と完全正解の混在した変動するスコアではなく、各グループにおける完全正解の数を記録すること。まだ本格的な研究は行われていない。
結果ルール：4つの正しい配置＝1回の成功；いずれかの配置が誤りまたは空白＝完全な成功なし。個別のエラーカテゴリメモは解釈に役立ちますが、主結果を黙って変更してはいけません。
提案するレイアウト比較で同じままにすべき「2つ」の特徴はどれか？
難易度 2/5 · 140 コイン + 今日初回完了時に小ボーナス付与
表記と時間を等しく保つことで alternative explanations（別の説明）を減らす。不均等のコーチングやキーは比較を confound（混同）させる。
用紙に正しい配置が3つあり、空白が1つあります。これは完全な成功としていくつ数えますか？
難易度 2/5 · 140 コイン + 今日初回完了時に小ボーナス付与
固定ルールでは4つの配置すべてが正解である必要がある。部分的な正確さはこの結果を満たさない。
サンプルを正直に記述する
- サンプルとは、参加するグループのことである。あるクラスからのボランティアは、すべての場所にある学生を代表するわけではない。そのグループ内での無作為割り当ては、A/Bの比較を公平にするが、学校全体を無作為に抽出することとは異なる。
- 招待対象、予定人数、以及同意者が少ない場合の対応を明記すること。Bには自信のある読者、Aには自信のない読者をそれぞれ単独で採用してはいけない。小規模なグループであっても、無作為割り当てはすべての特性において同等のグループを保証するものではない。
教員が手順を承認する前に、参加者に対するタスクを実施してはいけません。参加は自発的であり、成績とは無関係で、チームメイトや教員からの圧力なく説明される必要があります。
クラスを24人のボランティアにランダムに割り当てることで、学校の全生徒を代表することが保証される。
難易度 1/5 · 100 コイン + 今日初回完了時に小ボーナス付与
条件への割り当てと母集団からのサンプリングは異なる。1クラスだけのボランティアでも一般化には制限がある。
倫理的な手順を明確にする
- 誰かが同意する前に、タスクの内容、目的、匿名合計の使用方法について説明します。参加者は中断したり、提出しないようにしたりできます。氏名や個人を特定できるコメントは収集しません。識別子なしで提出されたシートからは、チームが一人の人のデータを確実に取り戻せないことを説明してください。
- 通常印刷物を使用し、破損、恥辱、または情報の漏洩のリスクがあるタスクは避けてください。記録は承認されたプロジェクト場所に保管し、アクセス方法と廃棄方法について教員と合意してください。「氏名なし」は、他の個人を特定する詳細を不適切に扱うことへの免責理由にはなりません。
結論ではなく、手順の予備実験を行う
- 承認を受けて、二人の人に指示が理解可能か、タイムリングが現実的かをチェックしてもらいます。この予備実験は手法の練習です。その後チームが指示を変更した場合、その予備実験用シートは主要な比較から除外してください。
- 他者が従えるプロトコルを作成します：募集、割り当て、資料、指示、タイマー、採点、プライバシー、分析。二人のヘルパーが異なる方法でタスクを実行してしまう可能性がある文節をマークし、主要なデータ収集の前にそれを正確にします。
方法を質問に合わせる、結果を事前に定義する、関連する相違点を統制する、サンプルと倫理上の制限を明確にする。
これらの手法開発手順を並べ替えてください。
難易度 3/5 · 200 コイン + 今日初回完了時に小ボーナス付与
承認は参加者の作業より先行し、パイロットテストにより本任務前に手続を精密化できる。