Least-Squares Regression · Régression des Moindres Carrés
| English | Français |
|---|---|
| least-squares line/liːst skweəz laɪn/ | droite des moindres carrés |
| coefficient of determination/ˌkəʊɪˈfɪʃənt ɒv dɪˌtɜːmɪˈneɪʃn/ | coefficient de détermination |
Why "least squares"?
- Many lines could pass through a cloud — which is best?
- The least-squares line 最小二乘线 is the one that makes the sum of squared residuals as small as possible.
- Squaring keeps errors positive and punishes big misses extra hard.
- Minimizing that total is what pins down the unique best-fit slope and intercept.
Pourquoi « moindres carrés » ?
- De nombreuses droites pourraient passer à travers un nuage — laquelle est la meilleure ?
- La droite des moindres carrés 最小二乘线 est celle qui rend la somme des résidus au carré aussi petite que possible.
- Élever au carré garde les erreurs positives et punit davantage les grandes erreurs.
- Minimiser ce total détermine la pente et l'ordonnée à l'origine uniques d'ajustement optimal.
r-squared: variation explained
- The coefficient of determination 决定系数 $r^2$ is the fraction of the variation in $y$ explained by the model.
- It's literally the square of the correlation, so $0 \le r^2 \le 1$.
- $r^2 = 0.64$ means "$64\%$ of the variation in $y$ is explained by the linear relationship with $x$."
- The rest ($36\%$) is due to other factors and scatter.
r-carré : variation expliquée
- Le coefficient de détermination 决定系数 $r^2$ est la fraction de la variation de $y$ expliquée par le modèle.
- C'est littéralement le carré de la corrélation, donc $0 \le r^2 \le 1$.
- $r^2 = 0.64$ signifie « $64\%$ de la variation de $y$ est expliquée par la relation linéaire avec $x$. »
- Le reste ($36\%$) est dû à d'autres facteurs et à la dispersion.
s: typical prediction error
- The standard deviation of the residuals $s$ is the typical size of a prediction error.
- It's in the units of $y$: "predictions are typically off by about $s$."
- Smaller $s$ = tighter fit; larger $s$ = looser predictions.
- $s$ answers "how far off, in real units?" while $r^2$ answers "what fraction explained?"
s : erreur de prédiction typique
- L'écart-type des résidus $s$ est la taille typique d'une erreur de prédiction.
- Il est dans les unités de $y$ : « les prédictions ont typiquement une erreur d'environ $s$. »
- Un $s$ plus petit = ajustement plus serré ; un $s$ plus grand = prédictions plus lâches.
- $s$ répond à « à quelle distance, en unités réelles ? » tandis que $r^2$ répond à « quelle fraction expliquée ? ».
Slope from summary stats
- You can build the line from summary statistics without the raw data:
- Slope: $b = r\dfrac{s_y}{s_x}$ — correlation scaled by the ratio of spreads.
- Intercept: the line always passes through $(\bar{x}, \bar{y})$, so $a = \bar{y} - b\bar{x}$.
- These two formulas recover $\hat{y} = a + bx$ from $r$, the means, and the standard deviations.
Pente à partir des statistiques récapitulatives
- Vous pouvez construire la droite à partir des statistiques récapitulatives sans les données brutes :
- Pente : $b = r\dfrac{s_y}{s_x}$ — corrélation mise à l'échelle par le rapport des dispersions.
- Ordonnée à l'origine : la droite passe toujours par $(\bar{x}, \bar{y})$, donc $a = \bar{y} - b\bar{x}$.
- Ces deux formules récupèrent $\hat{y} = a + bx$ à partir de $r$, des moyennes et des écarts-types.
Don't confuse the two fit numbers. $r^2$ is a unitless fraction ("$64\%$ of variation explained"); $s$ is a typical error in the units of $y$ ("off by about $s$"). And when you compute the slope, mind the order: $b = r\,s_y/s_x$ — it's $s_y$ (response spread) over $s_x$ (explanatory spread), not the reverse.
Ne confondez pas les deux nombres d'ajustement. $r^2$ est une fraction sans dimension (« $64\%$ de variation expliquée ») ; $s$ est une erreur typique dans les unités de $y$ (« erreur d'environ $s$ »). Et lorsque vous calculez la pente, attention à l'ordre : $b = r\,s_y/s_x$ — c'est la dispersion de la variable réponse ($s_y$) sur la dispersion de la variable explicative ($s_x$), et non l'inverse.
A fit has $r = 0.8$, $s_x = 2$, $s_y = 10$, $\bar{x}=5$, $\bar{y}=60$.
- Slope: $b = 0.8 \times \dfrac{10}{2} = 4$.
- Intercept: $a = 60 - 4(5) = 40$, so $\hat{y} = 40 + 4x$.
- $r^2 = 0.64$: $64\%$ of the variation in $y$ is explained by the model.
Un ajustement a $r = 0.8$, $s_x = 2$, $s_y = 10$, $\bar{x}=5$, $\bar{y}=60$.
- Pente : $b = 0.8 \times \dfrac{10}{2} = 4$.
- Ordonnée à l'origine : $a = 60 - 4(5) = 40$, donc $\hat{y} = 40 + 4x$.
- $r^2 = 0.64$ : $64\%$ de la variation de $y$ est expliquée par le modèle.
The least-squares line minimizes the sum of squared residuals. $r^2$ is the fraction of variation in $y$ explained (unitless, $0$–$1$); $s$ is the typical prediction error (units of $y$). From summary stats, $b = r\dfrac{s_y}{s_x}$ and the line passes through $(\bar{x}, \bar{y})$.
La droite des moindres carrés minimise la somme des résidus au carré. $r^2$ est la fraction de variation de $y$ expliquée (sans dimension, $0$–$1$) ; $s$ est l'erreur de prédiction typique (unités de $y$). À partir des statistiques récapitulatives, $b = r\dfrac{s_y}{s_x}$ et la droite passe par $(\bar{x}, \bar{y})$.
The best-fit least-squares line · La meilleure droite des moindres carrés
The line that makes the total squared vertical gap smallest. · La droite qui rend la somme totale des écarts verticaux au carré la plus petite.
With r = 0.8, s_x = 2, s_y = 10, find the slope b = r·(s_y/s_x). · Avec r = 0.8, s_x = 2, s_y = 10, trouver la pente b = r·(s_y/s_x).
b = 0.8 × (10/2) = 0.8 × 5 = 4.
If the correlation is r = 0.8, what is r-squared? · Si le coefficient de corrélation est r = 0.8, quelle est la valeur de r² ?
r² = 0.8² = 0.64.
r² = 0.64 is best interpreted as... · r² = 0.64 s'interprète au mieux comme...
r² is the fraction of y's variation explained. · r² est la fraction de la variation de y expliquée.
The least-squares line minimizes the sum of the squared residuals. · La droite des moindres carrés minimise la somme des résidus au carré.
That is exactly the criterion that defines it. · C'est exactement le critère qui la définit.
Which quantity is a typical prediction error, measured in the units of y? · Quelle quantité représente une erreur de prédiction typique, mesurée dans les unités de y ?
s is in y-units; r² and r are unitless. · s est en unités de y ; r² et r sont sans unité.