Solución:
“Un margen geométrico es simplemente la distancia euclidiana entre un determinado x (punto de datos) y el hipercarril”.
No creo que esa sea una definición adecuada para el margen geométrico, y creo que eso es lo que te confunde. El margen geométrico es solo una versión a escala del margen funcional.
Puede pensar en el margen funcional, simplemente como una función de prueba que le dirá si un punto en particular está clasificado correctamente o no. Y el margen geométrico es un margen funcional escalado por || w ||
Si marca la fórmula:
Puede observar que, independientemente de la etiqueta, el resultado sería positivo para los puntos clasificados correctamente (por ejemplo, sig (1 * 5) = 1 y sig (-1 * -5) = 1) y negativo en caso contrario. Si escala eso en || w || entonces tendrás el margen geométrico.
¿Por qué existe el margen geométrico?
Bueno, para maximizar el margen, necesita más que solo el signo, debe tener una noción de magnitud, el margen funcional le daría un número, pero sin una referencia no puede saber si el punto está realmente lejos o cerca del plano de decisión. El margen geométrico le dice no solo si el punto está clasificado correctamente o no, sino la magnitud de esa distancia en términos de unidades de | w |
El margen funcional representa el exactitud y confianza de la predicción si la magnitud del vector (w ^ T) ortogonal al hiperplano tiene un valor constante todo el tiempo.
Por exactitud, el margen funcional siempre debe ser positivo, ya que si wx + b es negativo, entonces y es -1 y si wx + b es positivo, y es 1. Si el margen funcional es negativo, la muestra debe dividirse en el grupo equivocado.
Por confianza, el margen funcional puede cambiar debido a dos razones: 1) la muestra (y_i y x_i) cambia o 2) el vector (w ^ T) ortogonal al hiperplano se escala (mediante la escala de w y b). Si el vector (w ^ T) ortogonal al hiperplano permanece igual todo el tiempo, sin importar cuán grande sea su magnitud, podemos determinar qué tan seguro está el punto agrupado en el lado derecho. Cuanto mayor sea el margen funcional, más seguro podemos decir que el punto está clasificado correctamente.
Pero si el margen funcional se define sin mantener igual la magnitud del vector (w ^ T) ortogonal al hiperplano, entonces definimos el margen geométrico como se mencionó anteriormente. El margen funcional se normaliza por la magnitud de w para obtener el margen geométrico de un ejemplo de entrenamiento. En esta restricción, el valor del margen geométrico resulta solo de las muestras y no de la escala del vector (w ^ T) ortogonal al hiperplano.
El margen geométrico es invariante al cambio de escala del parámetro, que es la única diferencia entre el margen geométrico y el margen funcional.
EDITAR:
La introducción del margen funcional juega dos roles: 1) intuir la maximización del margen geométrico y 2) transformar el tema de la maximización del margen geométrico en la minimización de la magnitud del vector ortogonal al hiperplano.
Dado que escalar los parámetros w y b puede resultar en nada significativo y los parámetros se escalan de la misma manera que el margen funcional, entonces si podemos hacer arbitrariamente el || w || ser 1(da como resultado maximizando el margen geométrico) también podemos cambiar la escala de los parámetros para que estén sujetos a la el margen funcional es 1(luego minimiza || w ||).
Consulte las notas de la conferencia de Andrew Ng de la lección 3 sobre SVM (se cambió la notación para que sea más fácil escribir sin mathjax / TeX en este sitio):
“Formalicemos las nociones de los márgenes funcionales y geométricos. Dado un ejemplo de formación
(x_i, y_i)definimos el margen funcional de(w, b)con respecto al ejemplo de entrenamientogamma_i = y_i ((w ^ T) x_i + b)
Tenga en cuenta que si
y_i > 0entonces, para que el margen funcional sea grande (es decir, para que nuestra predicción sea segura y correcta), necesitamos(w^T)x + bser un gran número positivo. Por el contrario, siy_i < 0, entonces, para que el margen funcional sea grande, necesitamos(w^T)x + bser un gran número negativo. Además, siy_i ((w ^ T) x_i + b)> 0
entonces nuestra predicción en este ejemplo es correcta. (Compruébelo usted mismo). Por lo tanto, un gran margen funcional representa una predicción segura y correcta “.
Página 3 del PDF de la Conferencia 3 vinculado a la página de materiales vinculada arriba.