Aller au contenu
ELECTRONICS ENGINEERINGelectronics-engineering.com
Analyse mathématique 2

Maxima et minima libres : points critiques, points selle et hessienne

Théorème de Fermat, points selle, classification avec les valeurs propres et le déterminant de la hessienne, un exemple complet, extrema absolus sur un compact et moindres carrés.

https://www.electronics-engineering.com/fr/maxima-minima-plusieurs-variables-hessienne/

Pas encore de vote : soyez le premier à noter cette page.

Trouver le maximum ou le minimum d’une fonction de plusieurs variables est le problème de l’optimisation : la forme d’une boîte qui utilise le moins de matériau, les paramètres d’un modèle qui s’ajuste le mieux à des données, les poids d’un réseau de neurones. Dans cette leçon nous voyons comment on trouve les points critiques et comment on les classe avec la matrice hessienne.

Points critiques

Théorème de Fermat. Si f est différentiable et a un maximum ou un minimum local en un point intérieur \mathbf x_0, alors

    \[ \nabla f(\mathbf x_0) = \mathbf 0 \]

Démonstration. Pour toute direction \mathbf v, la fonction d’une variable g(t) = f(\mathbf x_0 + t\mathbf v) a un maximum ou un minimum en t = 0, donc g'(0) = \nabla f(\mathbf x_0)\cdot\mathbf v = 0. Un vecteur orthogonal à toutes les directions est le vecteur nul.

Les points où le gradient s’annule sont dits critiques (ou stationnaires) : le plan tangent y est horizontal. Mais, comme en Analyse 1, la condition est seulement nécessaire : un point critique peut être un maximum, un minimum, ou ni l’un ni l’autre.

Points selle

En une variable, un point critique qui n’est ni maximum ni minimum est une inflexion horizontale. En deux variables il existe une possibilité nouvelle et très fréquente : le point selle, où la fonction monte dans certaines directions et descend dans d’autres.

La surface en selle z égal à x au carré moins y au carré avec le point critique à l'origine
La fonction z = x^2 - y^2 a un gradient nul à l’origine, mais le long de l’axe des x (courbe rouge) l’origine est un minimum et le long de l’axe des y (courbe verte) c’est un maximum : c’est un point selle, comme le milieu d’une selle de cheval ou un col de montagne.

Classification avec la hessienne

Près d’un point critique, le développement de Taylor du second ordre se réduit à sa partie quadratique, parce que le gradient est nul :

    \[ f(\mathbf x_0 + \mathbf h) \approx f(\mathbf x_0) + \tfrac12\,\mathbf h^T H\,\mathbf h,\qquad H = \begin{pmatrix} f_{xx} & f_{xy}\\ f_{xy} & f_{yy}\end{pmatrix} \]

Le signe de f - f(\mathbf x_0) dépend donc du signe de la forme quadratique \mathbf h^T H\mathbf h. Par le théorème spectral, la hessienne symétrique peut être diagonalisée par une rotation : dans les directions des vecteurs propres, la forme quadratique devient \lambda_1 u^2 + \lambda_2 v^2. Ainsi :

  • toutes les valeurs propres positives (H définie positive) : f monte dans toutes les directions, minimum local ;
  • toutes négatives (définie négative) : maximum local ;
  • valeurs propres de signes opposés (indéfinie) : point selle ;
  • une valeur propre nulle (semi-définie) : le test est non concluant, et il faut étudier la fonction autrement.

Le test pratique en deux variables

Avec \det H = f_{xx}f_{yy} - f_{xy}^2, le produit des valeurs propres, et f_{xx} :

\det Hf_{xx}Point
\gt 0\gt 0minimum local
\gt 0\lt 0maximum local
\lt 0quelconqueselle
= 0non concluant

En n variables on utilise le critère de Sylvester : H est définie positive si et seulement si tous ses mineurs principaux dominants sont positifs.

Un exemple complet

    \[ f(x, y) = x^3 + y^3 - 3xy \]

Points critiques : f_x = 3x^2 - 3y = 0 et f_y = 3y^2 - 3x = 0. De la première, y = x^2 ; en substituant dans la seconde, x^4 = x, c’est-à-dire x = 0 ou x = 1. Les points critiques sont (0, 0) et (1, 1).

Hessienne : f_{xx} = 6x, f_{yy} = 6y, f_{xy} = -3.

  • En (0, 0) : \det H = 0 - 9 = -9 \lt 0. Selle.
  • En (1, 1) : \det H = 36 - 9 = 27 \gt 0 et f_{xx} = 6 \gt 0. Minimum local, avec f(1, 1) = -1.

Ce n’est pas un minimum absolu : le long de l’axe des x la fonction vaut x^3 et descend jusqu’à -\infty.

Maxima et minima absolus sur un compact

Par le théorème de Weierstrass, une fonction continue sur un ensemble fermé et borné a un maximum et un minimum absolus. Ils peuvent se trouver à deux endroits :

  1. aux points critiques intérieurs ;
  2. sur la frontière de l’ensemble.

On calcule les valeurs en tous les candidats et on prend la plus grande et la plus petite ; aucune hessienne n’est nécessaire. La frontière s’étudie en la paramétrant (chaque côté d’un rectangle est un problème à une variable) ou avec les multiplicateurs de Lagrange de la leçon suivante.

Exemple. f(x, y) = x^2 + y^2 - 2x sur le carré [0, 2]\times[-1, 1]. Le seul point critique intérieur est (1, 0), avec f = -1. Sur la frontière : avec x = 0, f = y^2 entre 0 et 1 ; avec x = 2, f = y^2, entre 0 et 1 ; avec y = \pm 1, f = x^2 - 2x + 1 = (x - 1)^2, entre 0 et 1. Minimum absolu -1 en (1, 0), maximum absolu 1, atteint par exemple aux sommets.

Une application : la droite des moindres carrés

Étant donnés n points expérimentaux (x_i, y_i), on cherche la droite y = mx + q qui minimise la somme des carrés des résidus

    \[ S(m, q) = \sum_{i=1}^{n}(y_i - m x_i - q)^2 \]

En posant S_m = 0 et S_q = 0 on obtient deux équations linéaires en m et q, les équations normales, et leur solution est la droite de régression que tout tableur trace à travers des données. La hessienne de S est définie positive (si les x_i ne sont pas tous égaux), donc le point critique est bien le minimum. C’est le même résultat obtenu avec les projections orthogonales en Géométrie et Algèbre, vu du côté de l’analyse.

S’abonner
Notifier de
guest
1 commentaire
Le plus ancien
Plus récent Les plus votés
1
0
Vous avez apprécié cet article ? Merci de laisser un commentaire.x