Vai al contenuto
Teoria dei Segnali

Probabilità per i segnali: Bayes, variabili aleatorie e gaussiana

Probabilità condizionata, teorema di Bayes con dimostrazione ed esempio, media e varianza, distribuzione gaussiana e funzione Q, somma di variabili indipendenti, limite centrale.

4 min di lettura 0 commenti

Il rumore di un amplificatore, i bit trasmessi su un canale, i tempi di arrivo dei pacchetti in una rete non si possono prevedere singolarmente, ma hanno regolarità statistiche precise. Per descriverli serve la teoria della probabilità. In questa lezione richiamiamo gli strumenti essenziali per i segnali: probabilità condizionata e teorema di Bayes, variabili aleatorie, media e varianza, la distribuzione gaussiana e il teorema del limite centrale.

Probabilità e probabilità condizionata

Una probabilità assegna a ogni evento un numero tra 0 e 1, con P(\text{evento certo}) = 1 e P(A \cup B) = P(A) + P(B) per eventi incompatibili. La probabilità condizionata di A sapendo che è accaduto B è

    \[ P(A \mid B) = \frac{P(A \cap B)}{P(B)} \]

Due eventi sono indipendenti se P(A \cap B) = P(A)P(B), cioè se sapere che è accaduto uno non cambia la probabilità dell’altro.

Il teorema di Bayes

Teorema. Se B_1, \dots, B_n sono eventi incompatibili che coprono tutti i casi possibili,

    \[ P(B_i \mid A) = \frac{P(A \mid B_i)\,P(B_i)}{\sum_k P(A \mid B_k)\,P(B_k)} \]

Dimostrazione. Dalla definizione, P(A \cap B_i) = P(A \mid B_i)P(B_i) = P(B_i \mid A)P(A), da cui P(B_i \mid A) = P(A \mid B_i)P(B_i)/P(A). Poiché i B_k coprono tutti i casi senza sovrapporsi, P(A) = \sum_k P(A \cap B_k) = \sum_k P(A \mid B_k)P(B_k) (probabilità totale). ∎

Bayes “rovescia” il condizionamento: dall’effetto osservato risale alla causa più probabile. È la logica di ogni ricevitore: osservato un segnale, quale simbolo è stato trasmesso?

Esempio. Un test diagnostico rileva una malattia nel 99% dei malati e dà un falso positivo nel 5% dei sani; la malattia colpisce l’1% della popolazione. Con un test positivo, la probabilità di essere malati è

    \[ \frac{0{,}99\cdot 0{,}01}{0{,}99\cdot 0{,}01 + 0{,}05\cdot 0{,}99} \approx 0{,}17 \]

solo il 17%: i sani sono così numerosi che i loro falsi positivi superano i veri positivi. La stessa trappola si incontra con un allarme che scatta per eventi rari.

Variabili aleatorie

Una variabile aleatoria X associa un numero a ogni esito di un esperimento. Si descrive con la densità di probabilità f_X(x), tale che

    \[ P(a \lt X \le b) = \int_a^b f_X(x)\,dx,\qquad \int_{-\infty}^{+\infty} f_X(x)\,dx = 1 \]

Le grandezze più usate sono il valore atteso (media) e la varianza:

    \[ \mu = E[X] = \int x\,f_X(x)\,dx,\qquad \sigma^2 = E[(X - \mu)^2] = E[X^2] - \mu^2 \]

Per i segnali hanno un significato fisico diretto: per una tensione di rumore, \mu è la componente continua, E[X^2] la potenza (su 1 Ω), \sigma^2 la potenza della sola parte variabile e \sigma il valore efficace del rumore.

Esempio. L’errore di quantizzazione è uniforme tra -\Delta/2 e \Delta/2: \mu = 0, \sigma^2 = \Delta^2/12 (lezione sulla quantizzazione).

La distribuzione gaussiana

    \[ f_X(x) = \frac{1}{\sigma\sqrt{2\pi}}\,e^{-(x - \mu)^2/(2\sigma^2)} \]

Densità di probabilità gaussiana con le aree entro una e due deviazioni standard
La curva a campana è centrata nella media μ. L’area tra μ − σ e μ + σ vale circa il 68% del totale, quella tra μ − 2σ e μ + 2σ circa il 95%.

È determinata da media e varianza. Entro \pm\sigma dalla media cade il 68,3% dei valori, entro \pm 2\sigma il 95,4%, entro \pm 3\sigma il 99,7%. Le code si calcolano con la funzione

    \[ Q(x) = \frac{1}{\sqrt{2\pi}}\int_x^{\infty} e^{-u^2/2}\,du \]

la probabilità che una gaussiana standard superi x: servirà per la probabilità di errore nei sistemi di trasmissione.

Più variabili insieme

Per due variabili si usa la densità congiunta f_{XY}(x, y). Sono indipendenti se f_{XY} = f_X f_Y. La covarianza E[(X - \mu_X)(Y - \mu_Y)] misura quanto variano insieme, e il coefficiente di correlazione \rho = \mathrm{cov}/(\sigma_X\sigma_Y), compreso tra −1 e 1, ne è la versione normalizzata. Indipendenti implica scorrelate (\rho = 0); il contrario in generale non vale, ma vale per variabili congiuntamente gaussiane.

Somma di variabili indipendenti. Se Z = X + Y con X e Y indipendenti:

  • le medie si sommano, sempre;
  • le varianze si sommano: \sigma_Z^2 = \sigma_X^2 + \sigma_Y^2, perché il termine misto 2E[(X - \mu_X)(Y - \mu_Y)] è nullo;
  • la densità di Z è la convoluzione delle due densità.

La seconda proprietà è il motivo per cui le potenze di rumori indipendenti si sommano, mentre i valori efficaci si combinano “in quadratura”: due rumori da 3 µV e 4 µV danno 5 µV.

Il teorema del limite centrale

Teorema (enunciato). La somma di molte variabili aleatorie indipendenti, con varianze finite e nessuna dominante sulle altre, ha una distribuzione che tende alla gaussiana, qualunque sia la distribuzione delle singole variabili.

Si vede già sommando poche variabili uniformi: la convoluzione di due rettangoli è un triangolo, di tre una curva a campana fatta di parabole, e dopo una decina la differenza dalla gaussiana è minima. Ecco perché la gaussiana è ovunque nell’ingegneria: il rumore termico è la somma dei contributi di miliardi di elettroni, gli errori di misura sono la somma di tante piccole cause. Per questo il modello standard del rumore nei sistemi di comunicazione è il rumore gaussiano, che studiamo nella prossima lezione come processo aleatorio.

Articoli correlati

Subscribe
Notify of
guest
0 Comments
Oldest
Newest Most Voted
0
Would love your thoughts, please comment.x
()
x