Pour montrer qu'une partie est fermée, le premier réflexe est de l'écrire comme image réciproque d'un fermé par une application continue. Ainsi, $K = \{(x,y) \in \mathbb{R}^2 \mid x^4 + y^4 \leqslant 1\}$ est fermée, car $K = f^{-1}(]-\infty\,;\,1])$ avec $f(x,y) = x^4 + y^4$ continue. Elle est aussi bornée, puisque $|x| \leqslant 1$ et $|y| \leqslant 1$ sur $K$, donc compacte : en dimension finie, fermé et borné suffit. Voici ces réflexes dans l'ordre où on les essaie, la façon de prouver le contraire, puis quatre exercices corrigés.
Les définitions à avoir en tête
Le programme de MP et MPI pose ces notions dans un espace vectoriel normé $(E, \|\cdot\|)$, avec la distance $d(x,y) = \|x - y\|$ ; l'espace métrique général y est hors programme. Tout ce qui suit, sauf le critère de dimension finie, vaut dans un espace métrique en remplaçant $\|x - y\|$ par $d(x,y)$.
Définition : une partie $U$ de $E$ est ouverte si, pour tout $a \in U$, il existe $r > 0$ tel que la boule ouverte $B(a,r) = \{x \in E \mid \|x - a\| < r\}$ soit incluse dans $U$. Une partie $F$ est fermée si son complémentaire $E \setminus F$ est ouvert. Une partie $K$ est compacte si toute suite d'éléments de $K$ a une suite extraite qui converge vers un élément de $K$ (propriété de Bolzano-Weierstrass).
Une suite extraite de $(x_n)$, c'est une suite $(x_{\varphi(n)})$ avec $\varphi : \mathbb{N} \to \mathbb{N}$ strictement croissante : on garde une infinité de termes, dans l'ordre. En exercice, on revient rarement à ces définitions : on passe par des méthodes qui les appliquent à ta place.
Montrer qu'une partie est ouverte ou fermée
Commence par l'image réciproque : c'est la méthode la plus rapide quand elle s'applique.
Propriété : si $f : E \to E'$ est continue, l'image réciproque d'un ouvert de $E'$ est un ouvert de $E$, et celle d'un fermé est un fermé. Pour $f : E \to \mathbb{R}$ continue et $a$ réel, les parties $\{f < a\}$ et $\{f \neq a\}$ sont donc ouvertes, $\{f \leqslant a\}$ et $\{f = a\}$ fermées, où $\{f < a\}$ désigne $\{x \in E \mid f(x) < a\}$.
Pour établir la continuité de $f$, pas besoin d'epsilon : sommes, produits et composées de fonctions continues sont continues, et en dimension finie, les applications polynomiales en les coordonnées le sont aussi, comme le déterminant.
Quand aucune fonction ne se présente, passe par les suites : $F$ est fermé si et seulement si la limite de toute suite convergente d'éléments de $F$ appartient à $F$. Par exemple, dans $\mathcal{C}([0\,;\,1], \mathbb{R})$ muni de $\|f\|_\infty = \sup_{[0\,;\,1]} |f|$, l'ensemble $P$ des fonctions positives est fermé. Si les $f_n$ sont dans $P$ et $\|f_n - f\|_\infty \to 0$, alors pour tout $x$, $|f_n(x) - f(x)| \leqslant \|f_n - f\|_\infty$ tend vers $0$ : $f(x)$ est limite des réels positifs $f_n(x)$, donc $f(x) \geqslant 0$.
Troisième outil, les opérations. Une réunion quelconque d'ouverts est ouverte, une intersection finie aussi ; pour les fermés, c'est l'inverse : intersection quelconque, réunion finie. Le mot « finie » compte : $\bigcap_{n \geqslant 1} \left]-\frac{1}{n}\,;\,\frac{1}{n}\right[ = \{0\}$, qui n'est pas ouvert.
Reste le retour à la définition, utile pour les boules. Une boule ouverte est un ouvert, et la preuve tient en trois lignes.
Soit $x \in B(a,r)$ et $\rho = r - \|x - a\| > 0$. Pour tout $y$ tel que $\|y - x\| < \rho$, l'inégalité triangulaire donne $\|y - a\| \leqslant \|y - x\| + \|x - a\| < \rho + \|x - a\| = r$. Donc $B(x,\rho) \subset B(a,r)$.
Prouver qu'une partie n'est pas ouverte ou pas fermée
Pour le contraire, il faut un contre-exemple, et les suites le fournissent.
Pas fermée : trouve une suite d'éléments de $A$ qui converge vers un point hors de $A$. Pas ouverte : trouve un point $a \in A$ et une suite de points hors de $A$ qui converge vers $a$. Toute boule centrée en $a$ contient alors des termes de cette suite, donc aucune n'est incluse dans $A$.
Dans $\mathbb{R}^2$, prends $A = \{(x,y) \mid x > 0 \text{ et } y \geqslant 0\}$. La suite $\left(\frac{1}{n}, 0\right)$ est dans $A$ et tend vers $(0, 0)$, qui n'y est pas : $A$ n'est pas fermée. La suite $\left(1, -\frac{1}{n}\right)$ est hors de $A$ et tend vers $(1, 0)$, qui y est : $A$ n'est pas ouverte.
Piège classique : « pas ouverte » ne veut pas dire « fermée ». Cette partie $A$ n'est ni l'une ni l'autre, tandis que $\emptyset$ et $E$ sont les deux à la fois. Écrire « $A$ n'est pas ouverte, donc elle est fermée » n'est jamais un raisonnement valable.
Montrer qu'une partie est compacte
Extraire une suite convergente à la main est rarement la bonne voie : ces résultats font le travail.
Propriété : en dimension finie, une partie est compacte si et seulement si elle est fermée et bornée. Dans tout espace normé, l'image d'un compact par une application continue est compacte, un fermé inclus dans un compact est compact, et un produit fini de compacts est compact.
Dans l'autre sens, un compact est toujours fermé et borné. Pour prouver qu'une partie n'est pas compacte, montre donc qu'elle n'est pas bornée, avec une suite dont la norme tend vers $+\infty$, ou qu'elle n'est pas fermée.
Piège classique : hors de la dimension finie, fermé et borné ne suffit pas. Dans $\mathbb{R}[X]$ muni de la norme « plus grand coefficient en valeur absolue », la boule unité fermée est fermée et bornée. Pourtant la suite $(X^n)$ n'a aucune suite extraite convergente : deux termes distincts sont toujours à distance $1$, alors que les termes d'une suite convergente finissent tous à moins de $\frac{1}{2}$ les uns des autres.
À quoi sert un compact : les bornes atteintes
Théorème des bornes atteintes : si $K$ est un compact non vide et $f : K \to \mathbb{R}$ est continue, alors $f$ est bornée et atteint ses bornes : il existe $a$ et $b$ dans $K$ tels que $f(a) \leqslant f(x) \leqslant f(b)$ pour tout $x \in K$.
C'est l'outil des questions d'existence en optimisation. Quand la partie étudiée n'est pas compacte, on se restreint à un compact qui contient forcément le minimum cherché : c'est le schéma de l'exercice 4.
Exercices corrigés
Ils vont du plus direct au niveau d'une colle. Cherche chacun avant d'ouvrir sa correction.
Exercice 1 : Dans $\mathbb{R}^2$ muni de la norme euclidienne, on pose $U = \{(x,y) \mid xy > 1\}$ et $F = \{(x,y) \mid xy \geqslant 1\}$. Montre que $U$ est ouvert et que $F$ est fermé. $F$ est-il compact ?
Correction :
L'application $f : (x,y) \mapsto xy$ est continue sur $\mathbb{R}^2$, comme produit des deux coordonnées. $U = f^{-1}(]1\,;\,+\infty[)$ est l'image réciproque d'un ouvert de $\mathbb{R}$, donc $U$ est ouvert. $F = f^{-1}([1\,;\,+\infty[)$ est l'image réciproque d'un fermé, donc $F$ est fermé.
$F$ n'est pas compact, car il n'est pas borné : pour tout $n \geqslant 1$, le point $\left(n, \frac{1}{n}\right)$ est dans $F$, puisque $n \times \frac{1}{n} = 1$, et sa norme vaut au moins $n$.
Exercice 2 : Dans $\mathbb{R}$, on pose $A = \left\{\frac{1}{n} \mid n \in \mathbb{N}^*\right\}$ et $K = A \cup \{0\}$. $A$ est-elle ouverte ? fermée ? Montre que $K$ est compacte.
Correction :
La suite $\left(\frac{1}{n}\right)$ est dans $A$ et tend vers $0$, qui n'est pas dans $A$ : $A$ n'est pas fermée. Le réel $1$ est dans $A$, et la suite $\left(1 + \frac{1}{n}\right)$, hors de $A$ car ses termes dépassent $1$, tend vers $1$ : $A$ n'est pas ouverte non plus.
Pour $K$, le complémentaire dans $\mathbb{R}$ est $]-\infty\,;\,0[ \,\cup\, ]1\,;\,+\infty[ \,\cup\, \bigcup_{n \geqslant 1} \left]\frac{1}{n+1}\,;\,\frac{1}{n}\right[$. C'est une réunion d'intervalles ouverts, donc un ouvert : $K$ est fermée. Elle est bornée, car incluse dans $[0\,;\,1]$. Fermée et bornée dans $\mathbb{R}$, de dimension finie, $K$ est compacte.
Exercice 3 : On munit $\mathcal{M}_n(\mathbb{R})$ de la norme $\|M\|_\infty = \max_{i,j} |m_{ij}|$. Montre que $GL_n(\mathbb{R})$, l'ensemble des matrices inversibles, est ouvert, et que $O_n(\mathbb{R}) = \{M \in \mathcal{M}_n(\mathbb{R}) \mid M^\top M = I_n\}$ est compact, où $M^\top$ désigne la transposée de $M$.
Correction :
Le déterminant est une fonction polynomiale des coefficients, donc continue, puisque $\mathcal{M}_n(\mathbb{R})$ est de dimension finie. Or $GL_n(\mathbb{R}) = \det^{-1}(\mathbb{R}^*)$, et $\mathbb{R}^* = ]-\infty\,;\,0[ \,\cup\, ]0\,;\,+\infty[$ est un ouvert de $\mathbb{R}$ : $GL_n(\mathbb{R})$ est ouvert.
L'application $\varphi : M \mapsto M^\top M$ est continue, car les coefficients de $M^\top M$ sont des polynômes en ceux de $M$. Le singleton $\{I_n\}$ est fermé, donc $O_n(\mathbb{R}) = \varphi^{-1}(\{I_n\})$ est fermé.
Il est borné : le coefficient d'indice $(j,j)$ de $M^\top M$ vaut $\sum_{i=1}^n m_{ij}^2 = 1$, donc $|m_{ij}| \leqslant 1$ pour tous $i$ et $j$, soit $\|M\|_\infty \leqslant 1$. Fermé et borné en dimension finie : $O_n(\mathbb{R})$ est compact.
Exercice 4 : Dans le plan $\mathbb{R}^2$ muni de la distance euclidienne, on considère la parabole $\mathcal{P} = \{(x,y) \in \mathbb{R}^2 \mid y = x^2\}$ et le point $A = (0, 2)$. Montre qu'il existe un point de $\mathcal{P}$ le plus proche de $A$, puis calcule la distance minimale.
Correction :
La parabole n'est pas bornée, donc pas compacte : on se restreint à un compact. Elle est fermée, car $\mathcal{P} = g^{-1}(\{0\})$ avec $g(x,y) = y - x^2$ continue. L'origine $O = (0, 0)$ est sur $\mathcal{P}$, à distance $2$ de $A$.
Pose $K = \mathcal{P} \cap \overline{B}(A, 2)$ : c'est une intersection de deux fermés, bornée, dans $\mathbb{R}^2$, donc un compact, non vide puisqu'il contient $O$. La fonction $M \mapsto AM$ est continue sur $K$ (elle est $1$-lipschitzienne), elle y atteint donc son minimum en un point $M_0$, avec $AM_0 \leqslant AO = 2$. Tout point de $\mathcal{P}$ hors de $K$ est à plus de $2$ de $A$ : $M_0$ est le point de $\mathcal{P}$ le plus proche de $A$.
Pour $M = (x, x^2)$, $AM^2 = x^2 + (x^2 - 2)^2 = x^4 - 3x^2 + 4$. Avec $t = x^2 \geqslant 0$, on écrit $t^2 - 3t + 4 = \left(t - \frac{3}{2}\right)^2 + \frac{7}{4}$, minimal pour $t = \frac{3}{2}$. La distance minimale vaut $\sqrt{\frac{7}{4}} = \frac{\sqrt{7}}{2} \approx 1{,}32$, atteinte en $x = \pm\frac{\sqrt{6}}{2}$, c'est-à-dire aux points $\left(\pm\frac{\sqrt{6}}{2}, \frac{3}{2}\right)$.
Ici le calcul suffisait, mais l'argument de compacité marche même quand on ne sait pas calculer le minimum.
À retenir
À retenir :
- Ouvert ou fermé : image réciproque par une application continue d'abord, puis les suites, puis les opérations.
- Pas fermée : une suite de $A$ qui converge hors de $A$. Pas ouverte : une suite hors de $A$ qui converge dans $A$.
- « Pas ouverte » ne veut pas dire « fermée ».
- En dimension finie, compact équivaut à fermé et borné ; ailleurs, passe par l'image continue d'un compact, un fermé dans un compact ou un produit fini.
- Pour un minimum sur une partie non bornée, restreins-toi à un compact et applique les bornes atteintes.
Sources
- Programme de mathématiques des classes préparatoires MP et MPI, ministère de l'Enseignement supérieur, de la Recherche et de l'Innovation, 2021, partie « Topologie des espaces vectoriels normés » : texte officiel.