Saltar al contenido

Diferencia entre mínimos cuadrados y solución de norma mínima

Esta cuestión se puede resolver de diferentes maneras, pero te enseñamos la que en nuestra opinión es la respuesta más completa.

Solución:

sistema lineal
$$ mathbfA x = b $$ donde $mathbfAinmathbbC^mtimes n_rho$, y el vector de datos $binmathbf C^n$.

Problema de mínimos cuadrados

Siempre que $bnotincolorredmathcalNleft( mathbfA^*right)$, existe una solución de mínimos cuadrados y es definido por $$ x_LS = left xinmathbbC^n colon lVert mathbfA x – b rVert_2^2 text se minimiza derecho $$

solución de mínimos cuadrados

Los minimizadores son el conjunto afín calculado por $$ x_LS = colorazulmathbfA^+ b + colorrojo left( mathbfI_n – mathbfA ^+ mathbfA right) y, quad y in mathbbC^n tag1 $$ donde los vectores se colorean según residan en un $color bluerange$ espacio o $colorrednull$ espacio.

La línea discontinua roja es el conjunto de los mínimos cuadrados.

hiperplano

Solución de mínimos cuadrados de norma mínima

Para encontrar los minimizadores de la norma mínima, el vector solución más corto, calcule la longitud de los vectores solución.

$$ % lVert x_LS rVert_2^2 = % BiglVert colorbluemathbfA^+ b + colorred left ( mathbfI_n – mathbfA^+ mathbfA right) y BigrVert_2^2 % = % BiglVert color azulmathbfA^+ b BigrVert_2^2 + BiglVert colorred left( mathbfI_n – mathbfA^+ mathbfA right) y BigrVert_2^2 % $$ El componente de espacio $colorbluerange$ es fijo, pero podemos controlar el $colorrednull$ vector espacial. De hecho, eligió el vector $y$ que fuerza este término a $0$.

Por lo tanto, la solución de mínimos cuadrados de la norma mínima es $$ colorbluex_LS = colorbluemathbfA^+ b. $$ Este es el punto donde la línea discontinua roja perfora el plano azul. La solución de mínimos cuadrados de longitud mínima es la punto en $colorazulmathcalRleft( mathbfA^*right)$.

Rango de columna completa

Usted pregunta sobre el caso del rango de columna completo donde $ n = rho $. En este caso, $$ colorredmathcalNleft( mathbfA right) = left mathbf0 right, $$ el null el espacio es trivial. No hay null componente espacial, y la solución de mínimos cuadrados es un punto.

En otras palabras, $$ colorbluex_LS = colorbluemathbfA^+ b $$ es siempre la solución de mínimos cuadrados de la norma mínima. Cuando la matriz tiene rango de columna completo, no hay otro componente en la solución. Cuando la matriz tiene un rango de columna deficiente, la solución de mínimos cuadrados es una línea.

Primero, es importante entender que hay diferentes normas. Lo más probable es que te interese la norma euclidiana:

$| x |_2 =sqrtsum_i=1^nx_i^2$

A continuación, tenga en cuenta que minimizar $| b-Ax |_2^2$ es equivalente a minimizar $| b-Ax |_2$, porque elevar al cuadrado la norma es una transformación monótona. Realmente no importa cuál minimices.

Si $A$ tiene rango de columna completo, entonces hay una solución única de mínimos cuadrados.

Sin embargo, si $A$ no tiene rango de columna completo, puede haber infinitas soluciones de mínimos cuadrados. En este caso, a menudo estamos interesados ​​en la solución de mínimos cuadrados de norma mínima. Es decir, entre las infinitas soluciones de mínimos cuadrados, elija la solución de mínimos cuadrados con el $| más pequeño. x|_2$. La solución de mínimos cuadrados de norma mínima es siempre única. Se puede encontrar utilizando la descomposición en valores singulares y/o la pseudoinversa de Moore-Penrose.

Si un sistema está sobredeterminado, no hay solución y, por lo tanto, es posible que queramos encontrar $x$ tal que $||Ax-b||$ sea lo más pequeño posible (ya que no hay forma de hacer que $||Ax -b||=0$).

Por otro lado, si el sistema está indeterminado, hay infinitas soluciones y, por lo tanto, se puede encontrar una solución de norma mínima y esta se denomina solución de norma mínima.

valoraciones y reseñas

Si para ti ha sido provechoso este post, sería de mucha ayuda si lo compartes con más programadores de este modo nos ayudas a difundir esta información.

¡Haz clic para puntuar esta entrada!
(Votos: 0 Promedio: 0)



Utiliza Nuestro Buscador

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *