L'économétrie mesure, à partir de données, comment une variable $y$ varie avec une variable $x$. Son outil de base est la régression linéaire : la méthode des moindres carrés ordinaires (MCO) trace la droite $\hat{y} = \hat\beta_0 + \hat\beta_1 x$ la plus proche des points, de pente $\hat\beta_1 = \dfrac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sum (x_i - \bar{x})^2}$. Sur cinq salariés (données fictives), avec $y$ le salaire mensuel en centaines d'euros et $x$ les années d'études après le bac, tu obtiens $\hat{y} = 16 + 2x$ : une année d'études de plus va de pair avec 200 € de plus par mois, en moyenne.
Le modèle de régression linéaire simple
Définition : pour chaque individu $i$ d'un échantillon, le modèle de régression linéaire simple s'écrit
$$y_i = \beta_0 + \beta_1 x_i + u_i$$
où $y$ est la variable expliquée, $x$ la variable explicative, $\beta_0$ la constante, $\beta_1$ la pente et $u_i$ le terme d'erreur : tout ce qui joue sur $y$ sans être dans le modèle (talent, réseau, chance, erreurs de mesure).
Les vrais $\beta_0$ et $\beta_1$ sont inconnus. L'échantillon en donne des estimations, notées avec un chapeau : $\hat\beta_0$ et $\hat\beta_1$. La droite donne la valeur ajustée $\hat{y}_i = \hat\beta_0 + \hat\beta_1 x_i$, et le résidu $\hat{u}_i = y_i - \hat{y}_i$ mesure l'écart entre le point et la droite.
Piège classique : le résidu $\hat{u}_i$ se calcule, l'erreur $u_i$ jamais, car elle dépend des vrais $\beta$ que personne ne connaît. Écrire $\beta_1 = 2$ au lieu de $\hat\beta_1 = 2$, c'est confondre la vraie valeur et son estimation.
Les moindres carrés ordinaires
Les MCO retiennent les valeurs de $\beta_0$ et $\beta_1$ qui minimisent la somme des carrés des écarts :
$$S(\beta_0, \beta_1) = \sum_{i=1}^{n} (y_i - \beta_0 - \beta_1 x_i)^2$$
Les carrés empêchent les écarts positifs et négatifs de se compenser, et donnent une fonction qu'on sait dériver.
Annuler la dérivée partielle de $S$ par rapport à $\beta_0$ donne $\sum \hat{u}_i = 0$, soit $\bar{y} = \hat\beta_0 + \hat\beta_1 \bar{x}$ : la droite passe par le point moyen. Annuler celle par rapport à $\beta_1$ donne $\sum x_i \hat{u}_i = 0$ ; en remplaçant dans cette égalité $\hat\beta_0$ par $\bar{y} - \hat\beta_1 \bar{x}$, on isole $\hat\beta_1$.
Formule :
$$\hat\beta_1 = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sum (x_i - \bar{x})^2} = \frac{\text{Cov}(x, y)}{V(x)} \qquad \hat\beta_0 = \bar{y} - \hat\beta_1 \bar{x}$$
Pour t'en souvenir : la pente vaut la covariance de $x$ et $y$ divisée par la variance de $x$, et la droite passe par le point moyen $(\bar{x}\,;\bar{y})$.
Pour les cinq salariés de l'introduction :
| $x_i$ | $y_i$ | $x_i - \bar{x}$ | $y_i - \bar{y}$ | Produit | $(x_i - \bar{x})^2$ |
|---|---|---|---|---|---|
| $0$ | $15$ | $-2$ | $-5$ | $10$ | $4$ |
| $1$ | $19$ | $-1$ | $-1$ | $1$ | $1$ |
| $2$ | $20$ | $0$ | $0$ | $0$ | $0$ |
| $3$ | $23$ | $1$ | $3$ | $3$ | $1$ |
| $4$ | $23$ | $2$ | $3$ | $6$ | $4$ |
| Somme | $100$ | $0$ | $0$ | $20$ | $10$ |
Donc $\hat\beta_1 = \dfrac{20}{10} = 2$ et, avec $\bar{x} = 2$ et $\bar{y} = 20$, $\hat\beta_0 = 20 - 2 \times 2 = 16$. Les résidus $y_i - \hat{y}_i$ valent $-1$, $1$, $0$, $1$, $-1$ : leur somme est bien nulle.
Lire un résultat : $R^2$ et test de Student
La pente se lit avec ses unités : $\hat\beta_1 = 2$ centaines d'euros, soit 200 € par mois et par année d'études. La constante, 1 600 €, est le salaire prédit sans études après le bac.
Le coefficient de détermination $R^2$ mesure la part de la dispersion de $y$ expliquée par la droite. Quand le modèle a une constante, la somme des carrés totale (SCT) se partage entre une part expliquée (SCE) et une part résiduelle (SCR) :
$$\sum (y_i - \bar{y})^2 = \sum (\hat{y}_i - \bar{y})^2 + \sum \hat{u}_i^2 \qquad R^2 = \frac{\text{SCE}}{\text{SCT}} = 1 - \frac{\text{SCR}}{\text{SCT}}$$
Ici, $\text{SCR} = 4$ et $\text{SCT} = 25 + 1 + 0 + 9 + 9 = 44$, donc $R^2 = 1 - \dfrac{4}{44} \approx 0{,}91$ : la droite explique environ 91 % de la dispersion des salaires de ces cinq personnes.
La pente pourrait-elle venir du hasard de l'échantillon ? On teste $H_0 : \beta_1 = 0$ avec la statistique de Student, la pente divisée par son erreur-type (son écart-type estimé) :
$$t = \frac{\hat\beta_1}{\hat\sigma_{\hat\beta_1}} \qquad \text{avec} \qquad \hat\sigma_{\hat\beta_1} = \sqrt{\frac{\text{SCR}/(n-2)}{\sum (x_i - \bar{x})^2}}$$
Si, en plus des hypothèses de la partie suivante, les erreurs suivent une loi normale, $t$ suit sous $H_0$ une loi de Student à $n - 2$ degrés de liberté (observations moins paramètres estimés). Au seuil de 5 %, on rejette $H_0$ quand $|t|$ dépasse la valeur de la table, proche de $1{,}96$ pour un grand échantillon. Ici, $\hat\sigma_{\hat\beta_1} = \sqrt{\dfrac{4/3}{10}} \approx 0{,}365$ et $t \approx 5{,}48$, au-dessus de $3{,}18$, la valeur pour 3 degrés de liberté : la pente est significativement non nulle.
Les hypothèses de Gauss-Markov
Théorème de Gauss-Markov : supposons que
- le modèle est linéaire en $\beta_0$ et $\beta_1$ ;
- les $x_i$ ne sont pas tous égaux ;
- l'erreur est d'espérance nulle quelle que soit la valeur de $x$, $E(u_i \mid x_i) = 0$ : c'est l'exogénéité ;
- sa variance est la même pour tous, $V(u_i \mid x_i) = \sigma^2$ : c'est l'homoscédasticité ;
- les erreurs de deux observations différentes ne sont pas corrélées.
Alors les estimateurs des MCO sont sans biais et, parmi les estimateurs linéaires sans biais, ce sont ceux de plus petite variance. On dit qu'ils sont BLUE (Best Linear Unbiased Estimator).
L'exogénéité garantit l'absence de biais : en moyenne sur tous les échantillons possibles, $\hat\beta_1$ tombe sur $\beta_1$. Les deux dernières hypothèses rendent justes les erreurs-types, donc les tests. La normalité des erreurs n'est pas dans le théorème : elle sert au test de Student exact sur un petit échantillon.
Piège classique : l'hétéroscédasticité (une variance de l'erreur qui varie avec $x$) ne biaise pas $\hat\beta_1$. Elle fausse les erreurs-types, donc les $t$. La parade courante : garder les MCO et calculer des erreurs-types robustes, dites de White.
Le biais de variable omise
L'exogénéité tombe dès qu'une variable $z$ absente du modèle joue sur $y$ et est liée à $x$. Elle passe alors dans l'erreur, et $\hat\beta_1$ attribue à $x$ une part de l'effet de $z$ : on prend une corrélation pour une causalité.
Propriété : si le vrai modèle est $y = \beta_0 + \beta_1 x + \beta_2 z + u$ et que tu régresses $y$ sur $x$ seul, la pente obtenue $\tilde\beta_1$ vérifie
$$E(\tilde\beta_1) = \beta_1 + \beta_2\,\delta_1$$
où $\delta_1$ est la pente de la régression de $z$ sur $x$ dans l'échantillon. Le signe du biais $\beta_2\,\delta_1$ se trouve sans calcul : positif si $\beta_2$ et $\delta_1$ ont le même signe, négatif sinon.
Dans l'exemple de l'introduction, si la facilité scolaire augmente le salaire et pousse aussi à étudier longtemps, $\beta_2 > 0$ et $\delta_1 > 0$ : la régression simple surestime l'effet des études. Le remède de base : mettre $z$ dans le modèle quand on l'observe. C'est la régression multiple.
Régression multiple et autres modèles
Avec plusieurs variables, $y = \beta_0 + \beta_1 x_1 + \dots + \beta_k x_k + u$ s'estime encore par les MCO, et chaque $\beta_j$ se lit « toutes choses égales par ailleurs », les autres variables du modèle restant fixes. Le $R^2$ ne baisse jamais quand on ajoute une variable, même inutile : pour comparer des modèles, prends le $R^2$ ajusté, qui pénalise le nombre de variables.
Le modèle doit être linéaire en $\beta$, pas forcément en $x$ et $y$. L'équation de salaire de Jacob Mincer (1974) s'écrit $\ln w = \beta_0 + \beta_1 s + \beta_2 t + \beta_3 t^2 + u$, où $w$ est le salaire, $s$ les années d'études et $t$ les années d'expérience. Avec $\ln w$ à gauche, $100\,\beta_1$ donne à peu près la variation de $w$ en pourcentage pour une année d'études de plus, à expérience égale.
Quand $y$ vaut $0$ ou $1$ (avoir un emploi ou non), on modélise une probabilité avec un modèle logit ou probit, estimé par maximum de vraisemblance plutôt que par les MCO.
Exercices corrigés
Niveau visé : un premier cours de licence, comme « Économétrie 1 » en troisième année à l'université Paris Nanterre. Données fictives.
Exercice 1 : Sur quatre mois, une entreprise note ses dépenses de publicité $x$ et ses ventes $y$, en milliers d'euros : $(2\,;10)$, $(4\,;14)$, $(6\,;14)$, $(8\,;18)$. Calcule $\hat\beta_1$, $\hat\beta_0$ et $R^2$, puis interprète la pente.
Correction :
$\bar{x} = 5$ et $\bar{y} = 14$, donc $\sum (x_i - \bar{x})(y_i - \bar{y}) = 12 + 0 + 0 + 12 = 24$ et $\sum (x_i - \bar{x})^2 = 9 + 1 + 1 + 9 = 20$.
$\hat\beta_1 = \dfrac{24}{20} = 1{,}2$ et $\hat\beta_0 = 14 - 1{,}2 \times 5 = 8$.
Les résidus valent $-0{,}4$, $1{,}2$, $-1{,}2$ et $0{,}4$, donc $\text{SCR} = 3{,}2$. Avec $\text{SCT} = 16 + 0 + 0 + 16 = 32$, on obtient $R^2 = 1 - \dfrac{3{,}2}{32} = 0{,}9$.
Chaque millier d'euros de publicité en plus va de pair avec 1 200 € de ventes en plus, en moyenne. C'est un lien, pas forcément un effet : l'entreprise dépense peut-être plus quand elle attend de bons mois.
Exercice 2 : Sur 2 000 salariés, on estime $\widehat{\ln w} = 6{,}8 + 0{,}08\,s + 0{,}03\,t - 0{,}0005\,t^2$ ($w$ salaire mensuel en euros, $s$ années d'études, $t$ années d'expérience). L'erreur-type du coefficient de $s$ vaut $0{,}01$. a) Interprète $0{,}08$. b) Est-il significativement non nul au seuil de 5 % ? c) Pour quelle expérience le salaire prédit est-il maximal ?
Correction :
a) À expérience égale, une année d'études de plus va de pair avec un salaire plus élevé d'environ 8 % (plus précisément $e^{0{,}08} - 1 \approx 0{,}083$, soit 8,3 %).
b) $t = \dfrac{0{,}08}{0{,}01} = 8$. Avec 2 000 observations, la valeur critique est proche de $1{,}96$ ; comme $8 > 1{,}96$, on rejette $\beta_1 = 0$ au seuil de 5 %.
c) La dérivée de $0{,}03\,t - 0{,}0005\,t^2$ est $0{,}03 - 0{,}001\,t$, nulle pour $t = 30$. Le coefficient de $t^2$ étant négatif, c'est un maximum : 30 ans d'expérience.
Exercice 3 : Sur 300 lycéens, on trouve $\hat{y} = 12{,}5 - 0{,}4\,x$, avec $y$ la moyenne en mathématiques sur 20 et $x$ les heures de cours particuliers par semaine. La pente est significative. Peut-on conclure que les cours particuliers font baisser les notes ?
Correction :
Non. Une variable omise, le niveau de départ $z$, joue sur la note ($\beta_2 > 0$) et, si ce sont surtout les élèves en difficulté qui prennent des cours, elle est liée négativement à $x$ ($\delta_1 < 0$). Le biais $\beta_2\,\delta_1$ est négatif : la pente $-0{,}4$ sous-estime l'effet des cours, qui peut très bien être positif.
Le remède : ajouter $z$ au modèle, mesuré par la moyenne de l'année précédente.
À retenir
À retenir :
- MCO : $\hat\beta_1 = \dfrac{\text{Cov}(x, y)}{V(x)}$, et la droite passe par $(\bar{x}\,;\bar{y})$.
- $R^2 = 1 - \dfrac{\text{SCR}}{\text{SCT}}$ mesure l'ajustement, pas la causalité.
- $t = \hat\beta_1 / \hat\sigma_{\hat\beta_1}$, à comparer à la table de Student.
- Gauss-Markov : sous ses hypothèses, les MCO sont le meilleur estimateur linéaire sans biais.
- Hétéroscédasticité : coefficients sans biais, erreurs-types usuelles fausses.
- Variable omise : biais $\beta_2\,\delta_1$, dont le signe se lit sans calcul.
Sources
- Jacob Mincer, « Schooling, Experience, and Earnings », NBER, 1974, chapitre 5 : texte sur nber.org.
- Université Paris Nanterre, fiche du cours « Économétrie 1 », licence, cinquième semestre : fiche sur parisnanterre.fr.