Vai al contenuto
Analisi Matematica 2

Massimi e minimi liberi: punti critici, punti di sella e matrice hessiana

Teorema di Fermat, punti di sella, classificazione con autovalori e determinante dell'hessiana, un esempio completo, estremi assoluti su un compatto e minimi quadrati.

4 min di lettura 0 commenti

Trovare il massimo o il minimo di una funzione di più variabili è il problema dell’ottimizzazione: la forma di una scatola che usa meno materiale, i parametri di un modello che approssimano meglio dei dati, i pesi di una rete neurale. In questa lezione vediamo come si trovano i punti critici e come si classificano con la matrice hessiana.

Punti critici

Teorema di Fermat. Se f è differenziabile e ha un massimo o un minimo locale in un punto interno \mathbf x_0, allora

    \[ \nabla f(\mathbf x_0) = \mathbf 0 \]

Dimostrazione. Per ogni direzione \mathbf v, la funzione di una variabile g(t) = f(\mathbf x_0 + t\mathbf v) ha un massimo o un minimo in t = 0, quindi g'(0) = \nabla f(\mathbf x_0)\cdot\mathbf v = 0. Un vettore ortogonale a tutte le direzioni è il vettore nullo.

I punti in cui il gradiente si annulla si chiamano critici (o stazionari): lì il piano tangente è orizzontale. Ma come in Analisi 1 la condizione è solo necessaria: un punto critico può essere un massimo, un minimo, o nessuno dei due.

I punti di sella

In una variabile, un punto critico che non è né massimo né minimo è un flesso a tangente orizzontale. In due variabili c’è una possibilità nuova e molto frequente: il punto di sella, in cui la funzione cresce in alcune direzioni e decresce in altre.

La superficie a sella z uguale x al quadrato meno y al quadrato con il punto critico nell'origine
La funzione z = x^2 - y^2 ha gradiente nullo nell’origine, ma lungo l’asse x (curva rossa) l’origine è un minimo e lungo l’asse y (curva verde) è un massimo: è un punto di sella, come il centro di una sella da cavallo o un passo di montagna.

La classificazione con l’hessiana

Vicino a un punto critico, lo sviluppo di Taylor al secondo ordine si riduce alla parte quadratica, perché il gradiente è nullo:

    \[ f(\mathbf x_0 + \mathbf h) \approx f(\mathbf x_0) + \tfrac12\,\mathbf h^T H\,\mathbf h,\qquad H = \begin{pmatrix} f_{xx} & f_{xy}\\ f_{xy} & f_{yy}\end{pmatrix} \]

Il segno di f - f(\mathbf x_0) dipende quindi dal segno della forma quadratica \mathbf h^T H\mathbf h. Per il teorema spettrale l’hessiana, simmetrica, si diagonalizza con una rotazione: nelle direzioni degli autovettori la forma quadratica diventa \lambda_1 u^2 + \lambda_2 v^2. Allora:

  • tutti gli autovalori positivi (H definita positiva): f cresce in ogni direzione, minimo locale;
  • tutti negativi (definita negativa): massimo locale;
  • autovalori di segno opposto (indefinita): punto di sella;
  • qualche autovalore nullo (semidefinita): il test non decide, bisogna studiare la funzione in altro modo.

Il criterio pratico in due variabili

Con \det H = f_{xx}f_{yy} - f_{xy}^2, il prodotto degli autovalori, e f_{xx}:

\det Hf_{xx}Punto
\gt 0\gt 0minimo locale
\gt 0\lt 0massimo locale
\lt 0qualsiasisella
= 0caso dubbio

In n variabili si usa il criterio di Sylvester: H è definita positiva se e solo se tutti i minori principali di nord-ovest sono positivi.

Esempio completo

    \[ f(x, y) = x^3 + y^3 - 3xy \]

Punti critici: f_x = 3x^2 - 3y = 0 e f_y = 3y^2 - 3x = 0. Dalla prima y = x^2, sostituendo nella seconda x^4 = x, cioè x = 0 o x = 1. I punti critici sono (0, 0) e (1, 1).

Hessiana: f_{xx} = 6x, f_{yy} = 6y, f_{xy} = -3.

  • In (0, 0): \det H = 0 - 9 = -9 \lt 0. Sella.
  • In (1, 1): \det H = 36 - 9 = 27 \gt 0 e f_{xx} = 6 \gt 0. Minimo locale, con f(1, 1) = -1.

Non è un minimo assoluto: lungo l’asse x la funzione vale x^3 e scende a -\infty.

Massimi e minimi assoluti su un compatto

Per il teorema di Weierstrass, una funzione continua su un insieme chiuso e limitato ha massimo e minimo assoluti. Si possono trovare in due posti:

  1. nei punti critici interni;
  2. sulla frontiera dell’insieme.

Si calcolano i valori in tutti i candidati e si sceglie il più grande e il più piccolo; non serve l’hessiana. La frontiera si studia parametrizzandola (ogni lato di un rettangolo è un problema di una variabile) oppure con i moltiplicatori di Lagrange della prossima lezione.

Esempio. f(x, y) = x^2 + y^2 - 2x sul quadrato [0, 2]\times[-1, 1]. Unico punto critico interno: (1, 0), con f = -1. Sulla frontiera: con x = 0, f = y^2 tra 0 e 1; con x = 2, f = y^2, tra 0 e 1; con y = \pm 1, f = x^2 - 2x + 1 = (x - 1)^2, tra 0 e 1. Minimo assoluto -1 in (1, 0), massimo assoluto 1, raggiunto per esempio negli angoli.

Un’applicazione: la retta dei minimi quadrati

Dati n punti sperimentali (x_i, y_i), si cerca la retta y = mx + q che minimizza la somma dei quadrati degli scarti

    \[ S(m, q) = \sum_{i=1}^{n}(y_i - m x_i - q)^2 \]

Imponendo S_m = 0 e S_q = 0 si ottengono due equazioni lineari in m e q, le equazioni normali, e la loro soluzione è la retta di regressione che ogni foglio di calcolo traccia sui dati. L’hessiana di S è definita positiva (se gli x_i non sono tutti uguali), quindi il punto critico è davvero il minimo. È lo stesso risultato ottenuto con le proiezioni ortogonali in Geometria e Algebra, visto dal lato dell’analisi.

Articoli correlati

Subscribe
Notify of
guest
0 Comments
Oldest
Newest Most Voted
0
Would love your thoughts, please comment.x
()
x