Aller au contenu
ELECTRONICS ENGINEERINGelectronics-engineering.com
Analyse numérique

Approximation aux moindres carrés et régression

Le problème des moindres carrés, équations normales, étalonnage d'un capteur, forme matricielle et QR, modèles linéaires dans les paramètres, résidus et surapprentissage.

https://www.electronics-engineering.com/fr/moindres-carres-regression/

Pas encore de vote : soyez le premier à noter cette page.

Les mesures réelles sont bruitées : forcer une courbe à passer par chaque point, comme le fait l’interpolation, revient à suivre aussi les erreurs. La méthode des moindres carrés, inventée par Gauss et Legendre au début du XIXe siècle pour calculer les orbites des planètes, cherche au contraire la courbe d’une forme donnée qui passe le plus près possible de tous les points ensemble. C’est ainsi qu’on étalonne des capteurs, qu’on estime les paramètres d’un modèle et qu’on trace la droite de tendance de tout graphique.

Le problème

Étant donnés m points (x_i, y_i), on cherche une fonction d’une famille choisie, par exemple une droite y = c_0 + c_1x, qui minimise la somme des carrés des résidus :

    \[ S(c_0, c_1) = \sum_{i=1}^{m}\big(y_i - c_0 - c_1x_i\big)^2 \]

Droite des moindres carrés à travers des points expérimentaux avec les résidus verticaux
Les points mesurés (en noir) ne sont pas alignés. La droite des moindres carrés (en bleu) minimise la somme des carrés des résidus verticaux r_i (en rouge pointillé).

Pourquoi des carrés et pas des valeurs absolues ? Parce que la fonction à minimiser devient lisse, le minimum se trouve avec des dérivées et conduit à un système linéaire ; et parce que, si les erreurs de mesure sont gaussiennes, la solution est aussi l’estimation la plus probable des paramètres.

Les équations normales

En annulant les dérivées partielles (leçon d’Analyse 2 sur les maxima et minima) :

    \[ \frac{\partial S}{\partial c_0} = -2\sum(y_i - c_0 - c_1x_i) = 0,\qquad \frac{\partial S}{\partial c_1} = -2\sum x_i(y_i - c_0 - c_1x_i) = 0 \]

c’est-à-dire

    \[ \begin{cases} m\,c_0 + \left(\sum x_i\right)c_1 = \sum y_i\\ \left(\sum x_i\right)c_0 + \left(\sum x_i^2\right)c_1 = \sum x_iy_i \end{cases} \]

de solution

    \[ c_1 = \frac{\sum(x_i - \bar x)(y_i - \bar y)}{\sum(x_i - \bar x)^2},\qquad c_0 = \bar y - c_1\bar x \]

où \bar x et \bar y sont les moyennes. La droite passe toujours par le centre de gravité des points (\bar x, \bar y).

Exemple : étalonner un capteur. Un capteur de température donne les tensions 0.52, 0.71, 0.88, 1.11, 1.29 V à 0, 20, 40, 60, 80 °C. Les moyennes sont \bar x = 40 °C et \bar y = 0.902 V. Les écarts aux moyennes sont -40, -20, 0, 20, 40 pour les températures et -0.382, -0.192, -0.022, 0.208, 0.388 pour les tensions, donc \sum(x_i - \bar x)(y_i - \bar y) = 15.28 + 3.84 + 0 + 4.16 + 15.52 = 38.8 et \sum(x_i - \bar x)^2 = 4000. La sensibilité est c_1 = 38.8/4000 = 0.0097 V/°C, soit 9.7 mV/°C, et le décalage c_0 = 0.902 - 0.0097\cdot 40 = 0.514 V. Le modèle donne 0.514, 0.708, 0.902, 1.096, 1.290 V : les résidus sont de quelques millivolts, le plus grand de 22 mV à 40 °C.

La forme matricielle

Le problème s’écrit A\mathbf c \approx \mathbf y, où A a une ligne par mesure et une colonne par paramètre (pour la droite, les colonnes sont formées de 1 et des x_i). C’est un système avec plus d’équations que d’inconnues, en général sans solution exacte. La solution aux moindres carrés satisfait les équations normales

    \[ A^T A\,\mathbf c = A^T\mathbf y \]

et, comme on l’a vu en Géométrie et Algèbre, A\mathbf c est la projection orthogonale de \mathbf y sur l’espace engendré par les colonnes de A : le vecteur résidu est perpendiculaire à chaque colonne.

Avertissement numérique. Former A^TA élève au carré le nombre de conditionnement : si K(A) = 10^6, K(A^TA) = 10^{12}, et on perd 12 chiffres au lieu de 6. Les bibliothèques utilisent plutôt la factorisation QR, A = QR avec Q à colonnes orthonormées, qui conduit au système triangulaire R\mathbf c = Q^T\mathbf y sans dégrader le conditionnement. Pour les problèmes les plus difficiles on utilise la décomposition en valeurs singulières (SVD).

Pas seulement des droites

La méthode fonctionne avec tout modèle linéaire dans les paramètres, même non linéaire en x :

  • les polynômes c_0 + c_1x + c_2x^2 + \dots (de bas degré, pour ne pas retomber dans les oscillations de Runge) ;
  • les combinaisons de fonctions connues, comme c_1\sin\omega t + c_2\cos\omega t, pour estimer l’amplitude et la phase d’un signal de fréquence connue ;
  • les modèles qui deviennent linéaires après une transformation : y = ae^{bx} devient \ln y = \ln a + bx. C’est ainsi qu’on estime la constante de temps d’une décharge RC à partir d’une série de lectures de tension.

Pour les modèles vraiment non linéaires dans les paramètres (par exemple une caractéristique de diode avec résistance série) on utilise des méthodes itératives comme Gauss-Newton et Levenberg-Marquardt, qui linéarisent le modèle à chaque pas, comme Newton le fait pour les équations.

La qualité de l’ajustement

  • Les résidus r_i ne doivent montrer aucune structure : s’ils forment une courbe, le modèle est faux (par exemple une droite ajustée à des données quadratiques).
  • Le coefficient de détermination R^2 = 1 - \frac{\sum r_i^2}{\sum(y_i - \bar y)^2} donne la fraction de variabilité expliquée par le modèle : 1 est parfait, 0 signifie que le modèle n’explique rien au-delà de la moyenne.
  • Ajouter des paramètres réduit toujours les résidus, mais au-delà d’un certain point le modèle suit le bruit au lieu du phénomène (surapprentissage) : avec m points, un polynôme de degré m - 1 a des résidus nuls et est inutile.

Le même principe, minimiser une erreur quadratique sur de nombreuses données, est à la base de l’entraînement des réseaux de neurones : les « poids » sont les paramètres, et le gradient de l’erreur guide leur correction.

S’abonner
Notifier de
guest
1 commentaire
Le plus ancien
Plus récent Les plus votés
1
0
Vous avez apprécié cet article ? Merci de laisser un commentaire.x