VARIANZA DELLA REGRESSIONE

In un modello di regressione lineare la varianza presenta alcune proprietà interessanti. Ricordando che la media dei valori teorici, ottenuti dal modello di regressione lineare, coincide con la media dei valori osservati, si indica la varianza delle osservazioni teoriche come segue:

Quindi si ha che di fatto la varianza di regressione è uguale alla somma degli scarti al quadrato dei valori teorici dalla media effettiva dei valori realmente osservati, diviso la numerosità del campione: questo valore spiega quanta varianza è spiegata dal modello di regressione costruito ed è chiamata varianza di regressione. 

Di fatto la varianza della variabile Y può essere scomposta come segue:

Ricordando la formula che permette di ricavare il modello di regressione, si ricava che il terzo terminedella scomposizione superiore si annulla poichè:

Il termine ottenuto coincide con le derivate parziali che sono state poste uguali a 0, per trovare i parametri α e β del modello di regressione, per cui il terzo termine della scomposizione si annulla.

Per il primo termine della scomposizione, si ha di fatto la varianza dei residui del modello, ovvero ciò che il modello non riesce a spiegare, per questo motivo è chiamata anche varianza non spiegata. La devianza è chiamata “error sum of square” (ESS).

Il secondo termine della scomposizione invece rappresenta proprio la varianza spiegata dal modello, come già indicato a inizio articolo ed è chiamata appunto varianza spiegata. La devianza è chiamata “regression sum of square” (RSS).

Per cui la devianza della variabile Y, chiamata “total sum of square” (TSS), si può scomporre come segue:

TSS = ESS+RSS

L’indice R2 ottenuto come rapporto tra RSS e TSS, indica di fatto la porzione di devianza totale spiegata dal modello, ovvero quanto il modello si ”accosta” ai dati. È un indice che varia tra 0 e 1 e assume valore pari a 1 quando tutti i punti realmente osservati giacciono sulla retta di regressione del modello. Tale indice coincide con il quadrato dell’indice di correlazione attraverso la seguente relazione: