| English | 意味 |
|---|---|
| influential/ˌɪnfluːˈenʃl/ | 影響を受ける |
| outlier/ˈaʊtlaɪə/ | 外れ値 |
| high-leverage point/haɪ ˈliːvərɪdʒ pɔɪnt/ | 高レバレッジ点 |
| transformation/trænsfɔːˈmeɪʃn/ | 変換 |
直線を引っ張る点
- 全ての点が等しく重要というわけではない — 一部の点は影響大である。
- 影響大の点とは、除外すると傾き、切片、または相関係数が顕著に変化する点である。
- 実用的な判定法:その点を含む場合と含まない場合の両方で直線をフィットさせ、結果が変わるかどうかを確認する。
- この影響を及ぼす主な2つの種類がある:外れ値と高レバレッジ点。
外れ値と高レバレッジ
- 外れ値は大きな残差を持ち、$y$方向において直線から遠い。
- 高レバレッジ点は極端な**$x$-値**を持ち、水平軸上で大きく外れている。
- レバレッジは水平方向の極端さを指し、外れ値は垂直方向のズレを指す。
- 「 $x$ が極端である かつ 傾向から逸脱している」点は、最も影響度の大きい点となる。
1点による歪みの仕組み
- 高レバレッジポイントはレバーのように機能し、傾き自体を引きずり込むことができます。
- 影響のある点を除外すると、傾きの急さやその符号が逆転することがあります。
- $r$ を増減させ、関係性が実際よりも強く、あるいは弱く見えるようにすることもあります。
- 結論が1つの頑固な点に依存していないか常に問いかけてください。
曲線の変換
- パターンが本当に非線形である場合、直線は不適切なツールです。
- 変換(例:対数を取る、平方根を取る)により、曲がったパターンを直線化できます。
- 変換されたデータに直線を当てはめ、予測値を元のスケールに戻します。
- 制限は現実的なものです:曲線に無理に直線を当てはめると、バイアスを含み誤った予測が得られます。
レバレッジと外れ値は異なる概念です。 レバレッジは極端な**$x$(水平方向)に関するものであり、外れ値は大きな残差**(垂直方向)に関するものです。点は高いレバレッジを持ちながら直線の近くにある(影響が小さい)こともあり、また穏やかな外れ値で通常の$x$を持つこともあります。危険なのは**$x$において極端でありかつパターンの外にある**点です——これ1つで傾きと$r$を单方面に揺るがせる可能性があります。
整然とした直線の傾きが$\approx 2$の場合、右端の$x$に位置する、トレンドラインより大きく下にあるデータ点が1つ追加されます。
- その点は高いレバレッジ(極端な$x$)かつ大きな残差を持っています。
- 直線の右端を引き下げ、傾きは$2$から$0.5$へと減少します。
- 除外すると傾きが元に戻ります——これは影響のある点でした。
影響のある点とは、除外することで傾き、切片、または相関を変化させる点です。外れ値は大きな残差(垂直方向)を持ち、高いレバレッジの点は極端な**$x$(水平方向)を持ちます。両方の属性を持つ点が最も影響が大きいです。純粋に非線形**なパターンに対しては、変換によってデータを直線化できるため、曲線に無理に直線を当てはめることは実際の制約となります。
影響度の高い点は直線を揺さぶる
傾向から大きく外れた点は、全体の直線を傾けることができる。
高いレバレッジを持つ点とは、…の極端な値を持つ点である。
難易度 1/5 · 100 コイン + 今日初回完了時に小ボーナス付与
レバレッジは極端なxの値に関係し、外れ値は大きな残差である。
その点を除外すると、傾き、切片、または相関係数が顕著に変化する場合、その点は影響度の高い点と呼ばれる。
難易度 1/5 · 100 コイン + 今日初回完了時に小ボーナス付与
比較ありなしによる定義が、影響度である。
各特殊点与其极值特征进行匹配。
難易度 2/5 · 140 コイン + 今日初回完了時に小ボーナス付与
离群值 = 垂直偏差;杠杆效应 = 水平极端值。
散点图显示出明显的曲线趋势。下一步较好的做法是...
難易度 1/5 · 100 コイン + 今日初回完了時に小ボーナス付与
数据变换(例如取对数)可以拉直曲线模式。
强行在真正的___关系上拟合直线,会导致有偏且误导性的预测。
難易度 1/5 · 100 コイン + 今日初回完了時に小ボーナス付与
直线无法很好地建模真正的非线性关系。