Chọn một phương pháp có thể trả lời câu hỏi.
Đã giới thiệuKhảo sát ý kiến không thể đo lường mọi kết quả
- Nhóm tài liệu hỏi, “Bạn có thích bố trí nhãn mới của chúng tôi không?” Câu trả lời tích cực có thể cho thấy sở thích, nhưng nó không cho thấy người đọc có thể phân loại chính xác bốn mục hay không. Phương pháp phải phù hợp với kết quả trong câu hỏi.
- Bài học điều chỉnh theo GAC033 so sánh giữa quan sát, khảo sát và thí nghiệm nhỏ. Tất cả đều hữu ích cho một số câu hỏi. Không có phương pháp nào tự động là tốt nhất cho mọi chủ đề, và một phương pháp phức tạp không thể khắc phục một câu hỏi nghiên cứu mơ hồ.
Câu “Bạn có thích bố cục này?” đo lường điều gì trực tiếp nhất?
Difficulty 1/5 · 100 coins + a small bonus on first completion today
Thích là kết quả của ý kiến. Nó không thể thay thế cho phép đo độ chính xác sắp xếp.
So sánh mỗi phương pháp nói lên điều gì
- Một quan sát có thể ghi lại những gì xảy ra trong một bối cảnh, nhưng chỉ ghi lỗi có thể không tiết lộ nguyên nhân. Một khảo sát có thể hỏi về trải nghiệm hoặc sở thích, nhưng câu trả lời có thể khác với hành vi. Tránh báo cáo bất kỳ phương pháp nào như bằng chứng cho một kết quả mà nó không đo lường.
- Một thí nghiệm cố ý thay đổi một đặc điểm và so sánh kết quả trong điều kiện lên kế hoạch. Đối với dự án nhãn, nhóm đề xuất thay đổi bố trí trong khi giữ nguyên từ ngữ, lựa chọn mục, thời gian và hướng dẫn giống nhau. Sự khác biệt kiểm soát kém sẽ làm yếu đi diễn giải.
| Câu hỏi | Phương pháp khả thi | Giới hạn quan trọng |
|---|---|---|
| Lỗi nào xảy ra tại khay thực tế? | Quan sát có sự chấp thuận | Động cơ không được quan sát trực tiếp |
| Bố trí nào người đọc ưa thích? | Khảo sát | Sở thích không phải độ chính xác phân loại |
| Độ chính xác có khác nhau giữa các bố trí không? | Nhiệm vụ so sánh có kế hoạch | Bài làm giấy nhỏ không phải sử dụng hàng ngày |
Lập kế hoạch so sánh nhỏ công bằng
- Đề xuất sử dụng 24 bạn bè đồng ý: 12 người thấy A và 12 người thấy B, được phân bổ qua giấy xáo trộn thay vì sở thích của nhóm. Mỗi người hoàn thành bài làm giấy phân loại bốn mục giống nhau trong vòng hai phút, không được hướng dẫn. Từ ngữ trên nhãn vẫn giống nhau; khoảng cách và căn chỉnh khác nhau.
- Điểm một tờ phân loại đúng hoàn chỉnh chỉ khi tất cả bốn vị trí khớp với khóa cố định trước nhiệm vụ. Ghi lại số lượng thành công hoàn chỉnh trong mỗi nhóm, không phải sự pha trộn thay đổi giữa điểm từng phần và tính toàn bộ tờ. Chưa có nghiên cứu chính nào được tiến hành.
Quy tắc kết quả: bốn vị trí chính xác = một lần thành công; bất kỳ vị trí nào sai hoặc trống = chưa đạt thành công đầy đủ. Một ghi chú phân loại lỗi riêng biệt có thể hỗ trợ diễn giải, nhưng không được âm thầm làm thay đổi kết quả chính.
Hai tính chất nào sau đây nên giữ nguyên trong so sánh bố cục đề xuất?
Difficulty 2/5 · 140 coins + a small bonus on first completion today
Giữ nguyên văn bản và thời gian tương đương giúp giảm các giải thích thay thế. Huấn luyện hoặc mã không tương đồng sẽ làm rối loạn so sánh.
Một tờ có ba vị trí đúng và một ô trống. Nó được tính là bao nhiêu lần thành công hoàn chỉnh?
Difficulty 2/5 · 140 coins + a small bonus on first completion today
Quy tắc cố định yêu cầu tất cả bốn vị trí đều chính xác. Độ chính xác một phần không đáp ứng kết quả này.
Mô tả mẫu một cách trung thực
- Một mẫu là nhóm tham gia. Tình nguyện viên từ một lớp không đại diện cho tất cả học sinh ở khắp nơi. Phân bổ ngẫu nhiên trong nhóm đó có thể làm cho so sánh A/B công bằng hơn, nhưng nó khác với lấy mẫu ngẫu nhiên toàn trường.
- Nêu ai được mời, bao nhiêu người được lên kế hoạch và những gì xảy ra nếu ít người đồng ý. Đừng tuyển chọn chỉ những người đọc tự tin cho B và người đọc thiếu tự tin cho A. Với một nhóm nhỏ, phân bổ ngẫu nhiên vẫn không đảm bảo các nhóm giống hệt nhau về mọi đặc điểm.
Không thực hiện nhiệm vụ tham gia trước khi giáo viên phê duyệt quy trình. Sự tham gia phải mang tính tự nguyện, tách biệt với điểm số và được giải thích rõ ràng mà không có áp lực từ đồng đội hay giáo viên.
Việc phân bổ ngẫu nhiên 24 tình nguyện viên lớp học không đảm bảo họ đại diện cho mọi học sinh trong trường.
Difficulty 1/5 · 100 coins + a small bonus on first completion today
Phân nhóm điều kiện và lấy mẫu từ quần thể là khác nhau. Tình nguyện viên chỉ đến từ một lớp vẫn hạn chế khả năng suy rộng.
Làm rõ quy trình đạo đức
- Giải thích nhiệm vụ, mục đích và cách sử dụng tổng hợp ẩn danh trước khi bất kỳ ai đồng ý. Người tham gia có thể dừng lại hoặc không nộp phiếu. Không thu thập tên hay bình luận xác danh. Giải thích rằng sau khi một phiếu được gửi đi mà không có định danh, nhóm sẽ không thể xác định chính xác dữ liệu của một cá nhân cụ thể.
- Sử dụng tài liệu in ấn thông thường, tránh các nhiệm vụ tiềm ẩn nguy cơ hư hỏng, gây khó chịu hoặc tiết lộ thông tin. Lưu trữ hồ sơ tại vị trí dự án đã được phê duyệt và thống nhất việc truy cập cũng như tiêu hủy với giáo viên. "Không ghi tên" không phải là lý do để xử lý thiếu cẩn thận các chi tiết xác danh khác.
Thử nghiệm quy trình, không phải kết luận của bạn
- Với sự chấp thuận, yêu cầu hai người kiểm tra xem hướng dẫn có dễ hiểu và khung thời gian có khả thi không. Thử nghiệm tiên phong này giống như một buổi tập luyện phương pháp. Nếu đội ngũ thay đổi hướng dẫn sau đó, hãy giữ riêng các tờ giấy thử nghiệm tiên phong khỏi bảng so sánh chính.
- Viết một giao thức mà người khác có thể tuân theo: tuyển dụng, phân công, tài liệu, hướng dẫn, thời gian, chấm điểm, quyền riêng tư và phân tích. Đánh dấu một câu có thể khiến hai người hỗ trợ thực hiện nhiệm vụ khác nhau và làm cho nó chính xác hơn trước khi bắt đầu thu thập dữ liệu chính.
Phù hợp phương pháp với câu hỏi, xác định kết quả từ trước, kiểm soát các khác biệt liên quan và nêu rõ giới hạn về mẫu cũng như đạo đức.
Sắp xếp các bước phát triển phương pháp này theo thứ tự.
Difficulty 3/5 · 200 coins + a small bonus on first completion today
Phê duyệt diễn ra trước khi người tham gia thực hiện; việc thử nghiệm giúp tinh chỉnh quy trình trước nhiệm vụ chính.