Mínimos cuadrados

Concepto

Es una técnica de optimización cuyo objetivo consiste en la obtención de la función que mejor se ajuste (en el sentido de un error cuadrático mínimo) a los datos observados de las variables objeto de estudio.

Este procedimiento fue propuesto de forma independiente por el matemático, físico y astrónomo alemán Carl Friedrich Gauss, quien en 1801 predijo la órbita del asteroide Ceres utilizando mínimos cuadrados, y por el matemático francés Adrien-Marie Legendre en 1805.

Mínimos cuadrados ordinarios

Si partimos de un modelo de regresión lineal en el que una variable dependiente (Y) está determinada por k variables explicativas independientes (X_k) de las que se dispone de n observaciones:

Y_i = β₀ + β₁X_1i + ... + β_kX_ki + u_i, o en forma matricial: Y =Xβ+u

Donde ui es la perturbación aleatoria necesaria en el modelo, ya que, la relación que existe entre las variables no es determinista. Se suele suponer que esta perturbación es una variable aleatoria Normal con media cero y varianza constante; y, β son los coeficientes del modelo.

El objetivo será obtener las estimaciones de los coeficientes del modelo utilizando la información muestral disponible de tal forma que se cometan los menores errores posibles.

Los errores, conocidos como residuos, se calculan como la diferencia entre los valores observados y los valores estimados de la variable dependiente:

En un modelo con una variable dependiente y una variable independiente estos residuos gráficamente serían:

Existen diferentes criterios de estimación y dependiendo del criterio utilizado se obtendrán estimaciones diferentes. El estimador de mínimos cuadrados minimiza la suma residual, es decir, la suma de los cuadrados de los residuos:

Por lo tanto, para obtener los estimadores sería necesario resolver el siguiente problema de optimización:

Para lo cual, sería necesario:

• a) Calcular el vector gradiente (derivando la expresión anterior respecto del vector de parámetros ) e igualarlo a cero, obteniéndose un sistema de ecuaciones normales. La solución de este sistema de ecuaciones es el estimador de mínimos cuadrados ordinarios del vector β, cuya expresión matricial es: .

  Este estimador no se puede calcular cuando exista un problema de multicolinealidad exacta, ya que, entonces el determinante de la matriz (X´ X) es cero y no existe la inversa.

• b) Calcular la matriz hessiana (matriz segundas derivadas). Esta matriz tiene que ser definida positiva y se obtiene:

Propiedades de los estimadores obtenidos por mínimos cuadrados ordinarios

El vector de parámetros estimados por mínimos cuadrados ordinarios depende tanto de las observaciones de las variables independientes como de la variable dependiente, por lo que depende también de las perturbaciones del modelo y es aleatorio. Entre sus propiedades se pueden destacar las siguientes:

• a) Es insesgado si la esperanza del término de error es cero. Esto implica que el valor esperado del estimador MCO coincide con el verdadero valor del parámetro.
• b) Es consistente, es decir, que si se amplia la muestra al total de la población entonces el valor estimado de los parámetros coinciden con los valores reales.
• c) Es eficiente (de mínima varianza) si se cumple que la matriz de varianzas y covarianzas del término de error es escalar, es decir, su varianza es constante (existe homocedasticidad) y las covarianzas son nulas (no existe autocorrelación).

Problemas que se pueden presentar al utilizar mínimos cuadrados ordinarios

• a) Si la relación especificada entre las variables no es lineal entonces no se puede utilizar MCO para estimar los parámetros del modelo, sino que hay que utilizar otros métodos de optimización que recojan esa relación no lineal entre las variables y que minimicen el error cuadrático.
• b) Si existe multicolinealidad exacta no se puede calcular el estimador MCO y si existe multicolinealidad aproximada entonces el MCO no se puede aplicar correctamente.
• c) Si existe heterocedasticidad o autocorrelación entonces, el estimador MCO deja de ser eficiente, y será necesario estimar el modelo utilizando mínimos cuadrados generalizados para obtener estimaciones eficientes de los parámetros.

Mínimos cuadrados generalizados

Si la matriz de varianzas y covarianzas del término de error de un modelo de regresión lineal deja de ser escalar (Var(u)=σ²Σ donde Σ es diferente de la matriz identidad), entonces, el estimador MCO deja de ser eficiente y será necesario estimar los parámetros del modelo utilizando mínimos cuadrados generalizados.

El objetivo será transformar el modelo original en otro que tenga los mismos parámetros y un término de error con una matriz de varianzas y covarianzas escalar.

Para conseguirlo hay que tener en cuenta que, si la matriz Σ es simétrica y definida positiva, entonces existe una matriz cuadrada, no singular P tal que Σ=PP´. Así, si se premultipica en ambos lados de la ecuación por P^-1 y se posmultiplica (P^-1)´ obtenemos la matriz identidad del siguiente modo:

P^-1Σ (P^-1)´ =I

Para estimar el modelo por mínimos cuadrados generalizados se tienen que llevar a cabo los siguientes pasos:

• a) Transformar el modelo original premultiplicando todas las variables por P^-1.
• b) Aplicar mínimos cuadrados generalizados al modelo transformado, ya que la matriz de varianzas y covarianzas de las perturbaciones del modelo transformado si es escalar. Este estimador de MCO aplicado al modelo transformado se conoce como mínimos cuadrados generalizados (MCG). La expresión del estimador MCG es:

Al igual que el estimador MCO el estimador MCG es insesgado, consistente y eficiente.