| English | 意味 |
|---|---|
| information/ˌɪnfəˈmeɪʃn/ | 情報 |
| data sets/ˈdeɪtə sets/ | データセット |
| patterns/ˈpætnz/ | パターン |
| trends/trendz/ | トレンド |
| Filtering/ˈfɪltərɪŋ/ | フィルタリング |
| Cleaning/ˈkliːnɪŋ/ | クリーニング |
| correlation/ˌkɒrɪˈleɪʃn/ | 相関 |
| Causation/kɔːˈseɪʃn/ | 因果関係 |
| Metadata/ˌmetəˈdeɪtə/ | メタデータ |
| visualization/ˌvɪʒuːəlaɪˈzeɪʃn/ | 可視化 |
| bias/ˈbaɪəs/ | バイアス |
生データから情報へ
- 生データそのものは単なる数字や文字です。
- 目標は、それを有用な情報に変換することです。つまり、具体的な質問に答えられるような内容にすることです。
- プログラムは人間よりもはるかに速く巨大なデータセットをスキャンできます。
- スキャンによって、パターン（反復するもの）やトレンド（時間経過に伴う変化）を見つけ出します。
生データを現実的な質問に対する答えとなるものに書き換えることは、以下を生み出します：
難易度 1/5 · 100 コイン + 今日初回完了時に小ボーナス付与
情報は有用なデータであり、質問に対するパターンや傾向を含みます。
各用語とその意味を対応させてください。
難易度 2/5 · 140 コイン + 今日初回完了時に小ボーナス付与
プログラムはデータセットをスキャンして両方を見つけます。
乱れたデータの準備
- 実際のデータは乱れているため、事前に準備する必要があります。
- フィルタリングは、関心のある行のみを残し、残りを非表示にします。
- クリーニングは問題の修正を行います。重複の削除、欠損値の埋め合わせ、ミスの訂正などです。
- このようにデータを準備することで、後の分析が意味があり信頼性を獲得できます。
フィルタリングかクリーニングか？
フィルタリングは関心のある行のみを保持し、クリーニングは分析前にデータ内の問題（重複、空白、間違い）を修正します。
重複行の削除と欠損値の埋め込みは、データのクリーニングの一部です。
難易度 1/5 · 100 コイン + 今日初回完了時に小ボーナス付与
クリーニングは問題を修正することで、分析を信頼できるようにします。
相関は因果関係ではない
- 相関とは、2つの事象が一緒に変化することを指します（例：夏にアイスクリームの売上と日焼け件数がともに増加）。
- 因果関係とは、一方の事象が実際に他方を引き起こすことを指します。
- 相関があるからといって、必ずしも因果関係があるわけではありません。
両者を混同しないでください。 アイスクリームが日焼けを引き起こすわけではありません。暑い晴れ天気が両方を引き起こしているのです。2つの事象が共に上昇している場合、共通の隠れた原因を持つことがあり、相関だけでは一方が他を引き起こすことを証明できません。
アイスクリームの売上と日焼けはどちらも夏に増加します。これは以下を示しています：
難易度 1/5 · 100 コイン + 今日初回完了時に小ボーナス付与
暑さという共通の原因が両方を引き起こしており、一方が他を原因としているわけではありません。
「データに関するデータ」、例えば写真の日付や場所は ______ と呼ばれます。
難易度 1/5 · 100 コイン + 今日初回完了時に小ボーナス付与
メタデータは情報を整理、検索、特定するために役立ちます。
アプリをダウンロードした人々だけがアプリが人気かどうかを調査することは、以下のものを導入します：
難易度 1/5 · 100 コイン + 今日初回完了時に小ボーナス付与
収集方法が結果を歪める——これがバイアスを含むサンプルです。
メタデータ、可視化、バイアス
- メタデータとは「データに関するデータ」です。写真の撮影日、カメラ、場所などが該当します。整理や検索に役立ちます。
- 可視化とは、データを図表やグラフなどの画像に変換し、一瞥でパターンを確認できるようにすることです。
- データの収集方法を常に問い直してください。バイアスとは、結論を特定の方向に歪める偏りです。
バイアスのあるアンケート。 会社が「当社のアプリは人気がありますか？」と尋ねますが、すでにダウンロードした人だけにアンケート实施します。ほぼ全員が肯定的に回答しますが、不満を持つユーザーはアンケートに答えていないため、この喜ばしい結果は誤解を招きます。
プログラムは生データセットを情報に変換し、パターンやトレンドを見出します。データをフィルタリング（関連する行を残す）とクリーニング（問題の修正）で準備します。注意：相関が因果関係を証明することはなく、データの収集におけるバイアスが誤った導き出しを生むことがあります。メタデータや可視化は、データの整理と洞察の発見に役立ちます。