Esta cuestión se puede resolver de diferentes maneras, pero te enseñamos la que en nuestra opinión es la respuesta más completa.
Solución:
sistema lineal
$$ mathbfA x = b $$ donde $mathbfAinmathbbC^mtimes n_rho$, y el vector de datos $binmathbf C^n$.
Problema de mínimos cuadrados
Siempre que $bnotincolorredmathcalNleft( mathbfA^*right)$, existe una solución de mínimos cuadrados y es definido por $$ x_LS = left xinmathbbC^n colon lVert mathbfA x – b rVert_2^2 text se minimiza derecho $$
solución de mínimos cuadrados
Los minimizadores son el conjunto afín calculado por $$ x_LS = colorazulmathbfA^+ b + colorrojo left( mathbfI_n – mathbfA ^+ mathbfA right) y, quad y in mathbbC^n tag1 $$ donde los vectores se colorean según residan en un $color bluerange$ espacio o $colorrednull$ espacio.
La línea discontinua roja es el conjunto de los mínimos cuadrados.
Solución de mínimos cuadrados de norma mínima
Para encontrar los minimizadores de la norma mínima, el vector solución más corto, calcule la longitud de los vectores solución.
$$ % lVert x_LS rVert_2^2 = % BiglVert colorbluemathbfA^+ b + colorred left ( mathbfI_n – mathbfA^+ mathbfA right) y BigrVert_2^2 % = % BiglVert color azulmathbfA^+ b BigrVert_2^2 + BiglVert colorred left( mathbfI_n – mathbfA^+ mathbfA right) y BigrVert_2^2 % $$ El componente de espacio $colorbluerange$ es fijo, pero podemos controlar el $colorrednull$ vector espacial. De hecho, eligió el vector $y$ que fuerza este término a $0$.
Por lo tanto, la solución de mínimos cuadrados de la norma mínima es $$ colorbluex_LS = colorbluemathbfA^+ b. $$ Este es el punto donde la línea discontinua roja perfora el plano azul. La solución de mínimos cuadrados de longitud mínima es la punto en $colorazulmathcalRleft( mathbfA^*right)$.
Rango de columna completa
Usted pregunta sobre el caso del rango de columna completo donde $ n = rho $. En este caso, $$ colorredmathcalNleft( mathbfA right) = left mathbf0 right, $$ el null el espacio es trivial. No hay null componente espacial, y la solución de mínimos cuadrados es un punto.
En otras palabras, $$ colorbluex_LS = colorbluemathbfA^+ b $$ es siempre la solución de mínimos cuadrados de la norma mínima. Cuando la matriz tiene rango de columna completo, no hay otro componente en la solución. Cuando la matriz tiene un rango de columna deficiente, la solución de mínimos cuadrados es una línea.
Primero, es importante entender que hay diferentes normas. Lo más probable es que te interese la norma euclidiana:
$| x |_2 =sqrtsum_i=1^nx_i^2$
A continuación, tenga en cuenta que minimizar $| b-Ax |_2^2$ es equivalente a minimizar $| b-Ax |_2$, porque elevar al cuadrado la norma es una transformación monótona. Realmente no importa cuál minimices.
Si $A$ tiene rango de columna completo, entonces hay una solución única de mínimos cuadrados.
Sin embargo, si $A$ no tiene rango de columna completo, puede haber infinitas soluciones de mínimos cuadrados. En este caso, a menudo estamos interesados en la solución de mínimos cuadrados de norma mínima. Es decir, entre las infinitas soluciones de mínimos cuadrados, elija la solución de mínimos cuadrados con el $| más pequeño. x|_2$. La solución de mínimos cuadrados de norma mínima es siempre única. Se puede encontrar utilizando la descomposición en valores singulares y/o la pseudoinversa de Moore-Penrose.
Si un sistema está sobredeterminado, no hay solución y, por lo tanto, es posible que queramos encontrar $x$ tal que $||Ax-b||$ sea lo más pequeño posible (ya que no hay forma de hacer que $||Ax -b||=0$).
Por otro lado, si el sistema está indeterminado, hay infinitas soluciones y, por lo tanto, se puede encontrar una solución de norma mínima y esta se denomina solución de norma mínima.
valoraciones y reseñas
Si para ti ha sido provechoso este post, sería de mucha ayuda si lo compartes con más programadores de este modo nos ayudas a difundir esta información.