Vai al contenuto
Il mio studio
ELECTRONICS ENGINEERINGelectronics-engineering.com
Apprendimento per Rinforzo

Processi decisionali di Markov: agente, ambiente, ritorno, policy e funzioni valore

Il linguaggio dell'apprendimento per rinforzo: il ciclo agente-ambiente, la proprietà di Markov, ritorno e sconto, policy, valore dello stato e dell'azione, vantaggio, il gridworld con policy casuale e ottima.

Aggiornato il 26 ottobre 2026 4 min di lettura 1 commento

https://www.electronics-engineering.com/processi-decisionali-di-markov-ritorno-policy-funzioni-valore

Nessun voto ancora: sii il primo a votare questa pagina.

Nell’apprendimento supervisionato qualcuno fornisce la risposta giusta per ogni esempio. Nell’apprendimento per rinforzo (reinforcement learning, RL) nessuno la conosce: un agente prova delle azioni in un ambiente, riceve una ricompensa numerica e deve imparare da solo quale comportamento la rende massima nel lungo periodo. È il modo in cui si addestrano programmi che giocano meglio dei campioni (AlphaGo), robot che camminano, controllori di traffico, e la fase finale dei grandi modelli linguistici (RLHF). Questa prima lezione definisce il linguaggio matematico di tutto il corso: il processo decisionale di Markov, il ritorno, la policy e le funzioni valore.

L’agente e l’ambiente

A ogni istante t = 0, 1, 2, \dots l’agente osserva lo stato s_t, sceglie un’azione a_t, e l’ambiente risponde con una ricompensa r_{t+1} e un nuovo stato s_{t+1}. Il ciclo si ripete. Per un robot lo stato sono le posizioni e velocità dei giunti, l’azione le coppie dei motori, la ricompensa un numero che premia l’avanzare senza cadere. Per CartPole, l’esempio che useremo spesso, lo stato sono posizione e velocità del carrello, angolo e velocità angolare del palo, l’azione è spingere a sinistra o a destra, la ricompensa è +1 per ogni passo in cui il palo resta in piedi.

Il ciclo agente-ambiente
L’agente, in blu, riceve lo stato s t e la ricompensa r t e sceglie l’azione a t; l’ambiente, in verde, risponde con il nuovo stato e la nuova ricompensa. Il ritardo di un passo è indicato dal blocco z alla meno 1.

Il processo decisionale di Markov

Un MDP (Markov decision process) è la quintupla (\mathcal S, \mathcal A, P, R, \gamma):

  • \mathcal S l’insieme degli stati, \mathcal A quello delle azioni;
  • P(s' \mid s, a) la probabilità di passare in s' facendo a in s;
  • R(s, a) la ricompensa media ottenuta facendo a in s;
  • \gamma \in [0, 1] il fattore di sconto.

La parola Markov indica l’ipotesi fondamentale: il futuro dipende dal passato solo attraverso lo stato presente, P(s_{t+1} \mid s_t, a_t, s_{t-1}, \dots) = P(s_{t+1} \mid s_t, a_t). Se l’osservazione non contiene tutto ciò che serve (per esempio una sola immagine di una palla, che non dice la velocità), lo si recupera mettendo nello stato anche le osservazioni precedenti o usando reti con memoria.

Il ritorno e lo sconto

L’obiettivo non è la ricompensa immediata ma il ritorno, la somma delle ricompense future scontate:

    \[ G_t = r_{t+1} + \gamma r_{t+2} + \gamma^2 r_{t+3} + \dots = \sum_{k=0}^{\infty}\gamma^k r_{t+k+1} \]

Lo sconto ha tre ragioni. Matematica: se le ricompense sono limitate da r_{max} e \gamma \lt 1, la serie geometrica converge, |G_t| \le \frac{r_{max}}{1 - \gamma}. Pratica: una ricompensa lontana è più incerta. Interpretativa: \frac{1}{1 - \gamma} è l’orizzonte su cui l’agente “guarda”: con \gamma = 0{,}99 circa 100 passi. Vale la relazione ricorsiva, che è alla base di tutto il corso:

    \[ G_t = r_{t+1} + \gamma\,G_{t+1} \]

Policy e funzioni valore

Una policy \pi(a \mid s) è la regola con cui l’agente sceglie: la probabilità di fare a nello stato s (deterministica se dà sempre la stessa azione). Per valutarla si definiscono:

    \[ V^\pi(s) = \mathbb E_\pi[G_t \mid s_t = s],\qquad Q^\pi(s, a) = \mathbb E_\pi[G_t \mid s_t = s,\ a_t = a] \]

V^\pi(s), il valore dello stato, è il ritorno medio partendo da s e seguendo \pi; Q^\pi(s, a), il valore dell’azione, è il ritorno medio facendo prima a e poi seguendo \pi. Sono legate da V^\pi(s) = \sum_a\pi(a \mid s)\,Q^\pi(s, a). La differenza A^\pi(s, a) = Q^\pi(s, a) - V^\pi(s) si chiama vantaggio: quanto l’azione a è migliore della media. Tutti gli algoritmi moderni la usano.

Una policy \pi^* è ottima se V^{\pi^*}(s) \ge V^\pi(s) in ogni stato, per ogni altra \pi. In un MDP finito una policy ottima deterministica esiste sempre (lo si dimostra nella lezione sulle equazioni di Bellman), e conoscendo Q^* è immediata: \pi^*(s) = \arg\max_a Q^*(s, a).

Un esempio completo: il gridworld

Una griglia 4×4; le caselle in alto a sinistra e in basso a destra sono le uscite. L’agente si muove di una casella in su, giù, sinistra o destra (se urta il bordo resta fermo), e ogni passo costa -1: massimizzare il ritorno significa uscire il prima possibile. Con \gamma = 1:

  • per la policy ottima il valore di ogni casella è meno il numero di passi verso l’uscita più vicina: 0, −1, −2, −3;
  • per la policy casuale (ogni direzione con probabilità 1/4) i valori sono molto più negativi: −14 vicino alle uscite, −22 negli angoli lontani, perché il cammino casuale vaga a lungo prima di uscire.
Valori degli stati del gridworld 4 per 4
A sinistra la policy casuale, con valori da meno 14 a meno 22; a destra la policy ottima, con valori da 0 a meno 3 e le frecce della direzione migliore. Le caselle scure in alto a sinistra e in basso a destra sono le uscite.

Il fatto che la policy casuale valga −22 in un angolo, e quella ottima −3, mostra il punto centrale dell’RL: dagli stessi stati e dalle stesse azioni, il comportamento scelto cambia radicalmente il risultato. La lezione successiva mostra come calcolare questi valori, e da essi la policy ottima, con le equazioni di Bellman; le lezioni seguenti come impararli quando P e R non sono noti e lo stato è troppo grande per una tabella.

Dove sta l’RL tra le tecniche di controllo

Chi ha studiato Controlli automatici riconoscerà la struttura: lo stato, l’ingresso (azione), la dinamica (P), un indice di costo da ottimizzare (-G). Il controllo ottimo (LQR, MPC) risolve lo stesso problema conoscendo il modello; l’RL lo risolve imparando dall’esperienza, anche quando il modello non c’è o è troppo complicato. Il prezzo è il numero di prove: per questo quasi sempre l’RL si fa in simulazione, e la velocità dei simulatori (lezione sulle librerie) è decisiva.

Articoli correlati

Iscriviti
Notificami
guest
1 commento
Vecchi
Più recenti Le più votate
ielettronica
Autore
ielettronica
9 ore fa

Benvenuti nella pagina su «Processi decisionali di Markov: agente, ambiente, ritorno, policy e funzioni valore». L'ho scritta pensando a chi studia ingegneria elettronica: se un passaggio non vi torna, un esercizio vi dà un risultato diverso o volete altro materiale sull'argomento, chiedete pure nei commenti e vi risponderò. Un voto con le stelle qui sopra mi aiuta a capire quali pagine migliorare.Welcome to the page on “Markov decision processes: agent, environment, return, policy and value functions”. I wrote it for engineering students: if a step does not add up, an exercise gives you a different result or you would like more material on the topic, just ask in the comments and I will reply. A star rating above helps me understand which pages to improve.

0
Rispondi
1
0
Esprimete la vostra opinione commentando.x