Análisis de regresión

Concepto

Es un procedimiento estadístico que analiza la relación que existe entre una variable dependiente (Y) y una o más variables independientes (X₁, X₂, ..., X_k).

Si solo se utiliza una variable independiente se trataría de un análisis de regresión simple y si se utiliza más de una variable independiente sería un análisis de regresión múltiple.

Para poder estudiar la relación que existe entre dichas variables es necesario establecer cuál es la relación funcional que existe entre ellas. Un primer paso para determinar esta posible relación entre las variables es analizar el gráfico de datos observados. Este gráfico se llama gráfico de dispersión y permite determinar visualmente si las variables están relacionadas o no. En el caso de que estén relacionadas, se podrá intuir la intensidad, el sentido de la relación entre las variables (directa o inversa) y el tipo de relación (lineal o no lineal) existente entre ellas.

Algunos ejemplos de la relación que existe entre las variables utilizando el gráfico de dispersión son los siguientes:

Supuestros del modelo de regresión lineal

Para poder trabajar con un modelo de regresión lineal es necesario se cumplan los siguientes supuestos:

• a) La relación que existe entre las variables es lineal y el modelo está correctamente especificado.
• b) Los coeficientes del modelo son constantes en el tiempo.
• c) Las variables independientes son deterministas y no existe relación lineal entre ellas (ausencia de multicolinealidad).
• d) Los errores están incorrelacionados (no existe autocorrelación), tienen varianza constante (homocedasticidad) y esperanza matemática igual a cero, es decir, la matriz de varianzas y covarianzas de los errores es una matriz escalar donde los elementos de la diagonal principal son las varianzas de los errores.
• e) El número de observaciones de las variables tiene que ser mayor que el número de parámetros a estimar.

Modelo de regresión lineal simple

El modelo de regresión lineal simple se caracteriza porque para estimar o predecir la variable dependiente o endógena solo se utiliza una variable independiente o exógena, a través, de la siguiente ecuación:

Υ_i= α + β Х_i+ є_i i = 1, ...,N

donde, N es el número de observaciones de las variables; los coeficientes α y β, son los parámetros desconocidos que indican respectivamente, la ordenada en el origen (o valor estimado de Y cuando X = 0) y la pendiente o coeficiente de la regresión (o variación la variable dependiente ante variaciones unitarias de la variable independiente); y ε, es la perturbación aleatoria que recoge todos aquellos hechos no observables y que, por lo tanto, se asocian con el azar. Esta perturbación es la que confiere al modelo su carácter estocástico.

El problema de la regresión consiste en estimar unos valores para los parámetros desconocidos α y β a partir de las observaciones de las variables Y y X de tal forma que la ecuación quede completamente especificada. La ecuación estimada vendrá dada por la expresión:

Como los valores observados de la variable dependiente (Υ) difieren generalmente de los obtenidos a través de la recta de regresión se produce un error que se calculará como la diferencia entre los valores observados y los estimados. Estos errores se conocen como residuos.

El objetivo del análisis de regresión será obtener las estimaciones de los parámetros que hagan que la suma de los cuadrados de los residuos sea mínima. Este procedimiento de estimación se lleva a cabo generalmente utilizando el método de mínimos cuadrados ordinarios (MCO). Este término de “mínimos cuadrados” procede la descripción dada por Legendre en 1805 “moindres carrés” y por Gaus en 1809.

Para estimar los coeficientes por mínimos cuadrados ordinarios, se utilizan las siguientes fórmulas:

donde es la estimación de la ordenada en el origen, es la estimación del coeficiente de la regresión, es la media muestral de la variable independiente, e es la media muestral de la variable dependiente.

Por ejemplo, si estimásemos por MCO la relación que existe entre el consumo (Y) en miles de euros y la renta (X) en miles de euros percibida en una determinada región, podríamos obtener los siguientes resultados:

donde, en entre paréntesis, tenemos las desviaciones típicas de cada parámetro estimado (útiles sobre todo para hacer inferencia); R² es el coeficiente de determinación; el consumo autónomo sería de 18.100 euros; y la pendiente que, en este caso, es positiva e igual a 0.18 nos indicaría que si la renta aumentase en mil euros el consumo solo aumentaría en 180 euros.

Modelo de regresión lineal múltiple

La regresión lineal múltiple se caracteriza porque para estimar o predecir la variable dependiente, (Y), se utilizan dos o más variables independientes, (X₁, ..., X_k):

Υ_i = β₀ + β₁ Χ_1i +...+ β_k Χ_ki + ε_i i = 1, ..., N

donde, β₀ es el término independiente y cada uno de los coeficientes de las variables independientes, β_i , (i=1,...,k) mide el efecto que cada una de estas variables tiene sobre la variable dependiente.

Al igual que en la regresión simple el procedimiento de estimación es mínimos cuadrados ordinarios, si bien es cierto que, en este caso, al aumentar el número de variables es más complicada la obtención del estimador los parámetros del modelo. La expresión matricial de este estimador es la siguiente:

= (Х^T Х)^-1 Х^T Υ, donde es el vector de los parámetros estimados del modelo, X es la matriz de observaciones de las variables explicativas del modelo, X^T su transpuesta e Y es el vector de observaciones de variable dependiente.

Las propiedades del estimador obtenidas por mínimos cuadrados ordinarios son:

• a) Es insesgado, es decir, Е = β si se cumple que Е (ε) = 0
• b) La varianza del estimador es: Var = σ²_ε (X^T X^-1 si se cumple que Var (ε) = σ²_ε I, donde, σ²_ε, es la varianza del término error, e, I es la matriz identidad
• c) Es consistente
• d) El estimador de mínimos cuadrados ordinarios es el estimador lineal insesgado óptimo (Teorema de Gauss-Markov).

Por ejemplo, si se estima la relación que existe entre el consumo (Y), la renta (X₁) y la inflación (X₂) de una determinada región podríamos llegar a obtener los siguientes resultados:

donde podemos apreciar que, de acuerdo con los datos obtenidos de cada una de las variables, el consumo autónomo sería de 14.300 euros; si se produce un aumento en la renta de mil euros (manteniéndose constantes el resto de variables) el consumo aumentaría en 150 euros; y un aumento de la inflación en 1 % implicaría que el consumo disminuiría en 700 euros (si el resto de variables se mantiene constante).

Regresión no lineal

La regresión lineal no siempre proporciona resultados adecuados ya que, a veces, la relación que existe entre la variable dependiente y las variables independientes no es lineal. La estimación de los parámetros de estas funciones no lineales es un proceso más complicado que en las funciones lineales, ya que incluso puede ocurrir que en los modelos no lineales el número de parámetros no coincida con el número de variables explicativas.

Sin embargo, hay veces en las que se pueden transformar las variables originales para convertir la función no lineal en lineal, y así, aplicar las técnicas de regresión lineal. Por consiguiente, si la no linealidad, por ejemplo, afecta solo a las variables explicativas pero no a los coeficientes, entonces se pueden definir nuevas variables (en función de las no lineales) para obtener el modelo lineal.

Un ejemplo de un modelo no lineal en los parámetros sería el dado por la siguiente función exponencial:

Υ= α Χ^β

Donde α y β son constantes desconocidas.

Sin embargo, este modelo no lineal se puede transformar en uno lineal aplicando logaritmos en ambos lados de la ecuación, de la siguiente forma:

Log (Y) = log (α) + β log (X)

En este modelo, que se denomina regresión doble-log, se estimaría la relación que existe entre el log (Y) y el log (X) y es interesante la interpretación del parámetro β, ya que mide la elasticidad de Y respecto de X.

Sin embargo, otras veces los modelos no lineales no se pueden transformar en lineales. En ese caso sería necesario aplicar otros métodos para la estimación de los parámetros como pueden ser: mínimos cuadrados no lineales, máxima verosimilitud, simulaciones de Monte Carlo, etc.

Aplicaciones

El uso de la regresión lineal está muy generalizado y se puede aplicar prácticamente a cualquier campo que esté relacionado entre otros con la economía, finanzas, medicina, biología, física, ingeniería, etc., es decir, permite relacionar de forma rigurosa y cuantificable variables en diferentes ambientes.

Limitaciones

Una de las principales limitaciones del análisis de regresión se basa en el hecho de que dos variables crezcan o decrezcan siguiendo las mismas pautas no implica necesariamente que una cause a la otra, ya que puede ocurrir que entre ellas se produzca una relación espúrea. Por lo tanto, para establecer la relación entre diferentes variables es necesario que esta relación se base en una buena teoría, ya que, este análisis estadístico es adecuado para cuantificar una relación conocida entre variables, pero no es el mejor instrumento para hallar relaciones funcionales entre variables.