Solución:
Una forma informal pero bastante intuitiva de pensar en esto es considerar los 2 componentes de un vector: dirección y magnitud.
Dirección es la “preferencia” https://foroayuda.es/ “estilo” https://foroayuda.es/ “sentimiento” https://foroayuda.es/ “variable latente” del vector, mientras que la magnitud es lo fuerte que es hacia esa dirección.
Al clasificar documentos, nos gustaría categorizarlos por su sentimiento general, por lo que usamos la distancia angular.
La distancia euclidiana es susceptible de que los documentos se agrupen por su norma L2 (magnitud, en el caso bidimensional) en lugar de la dirección. Es decir, los vectores con direcciones bastante diferentes se agruparían porque sus distancias desde el origen son similares.
Responderé las preguntas en orden inverso. Para su segunda pregunta, la similitud de coseno y la distancia euclidiana son dos formas diferentes de medir la similitud de vectores. El primero mide la similitud de los vectores con respecto al origen, mientras que el segundo mide la distancia entre puntos particulares de interés a lo largo del vector. Puede usarlos de forma aislada, combinarlos y usar ambos, o buscar una de las muchas otras formas de determinar la similitud. Vea estas diapositivas de una conferencia de Michael Collins para obtener más información.
Su primera pregunta no es muy clara, pero debería poder usar cualquiera de las medidas para encontrar una distancia entre dos vectores independientemente de si está comparando documentos o sus “modelos” (que tradicionalmente se describirían como clústeres, donde el modelo es la suma de todos los grupos).
Tiempo computacional sabio (en python):
import time
import numpy as np
for i in range(10):
start = time.time()
for i in range(10000):
a, b = np.random.rand(100), np.random.rand(100)
np.dot(a, b) / ( np.linalg.norm(a) * np.linalg.norm(b))
print 'Cosine similarity took', time.time() - start
start = time.time()
for i in range(10000):
a, b = np.random.rand(100), np.random.rand(100)
2 * (1 - np.dot(a, b) / ( np.linalg.norm(a) * np.linalg.norm(b)))
print 'Euclidean from 2*(1 - cosine_similarity) took', time.time() - start
start = time.time()
for i in range(10000):
a, b = np.random.rand(100), np.random.rand(100)
np.linalg.norm(a-b)
print 'Euclidean Distance using np.linalg.norm() took', time.time() - start
start = time.time()
for i in range(10000):
a, b = np.random.rand(100), np.random.rand(100)
np.sqrt(np.sum((a-b)**2))
print 'Euclidean Distance using np.sqrt(np.sum((a-b)**2)) took', time.time() - start
print '--------------------------------------------------------'
[out]:
Cosine similarity took 0.15826010704
Euclidean from 2*(1 - cosine_similarity) took 0.179041862488
Euclidean Distance using np.linalg.norm() took 0.10684299469
Euclidean Distance using np.sqrt(np.sum((a-b)**2)) took 0.113723039627
--------------------------------------------------------
Cosine similarity took 0.161732912064
Euclidean from 2*(1 - cosine_similarity) took 0.178358793259
Euclidean Distance using np.linalg.norm() took 0.107393980026
Euclidean Distance using np.sqrt(np.sum((a-b)**2)) took 0.111194849014
--------------------------------------------------------
Cosine similarity took 0.16274189949
Euclidean from 2*(1 - cosine_similarity) took 0.178978919983
Euclidean Distance using np.linalg.norm() took 0.106336116791
Euclidean Distance using np.sqrt(np.sum((a-b)**2)) took 0.111373186111
--------------------------------------------------------
Cosine similarity took 0.161939144135
Euclidean from 2*(1 - cosine_similarity) took 0.177414178848
Euclidean Distance using np.linalg.norm() took 0.106301784515
Euclidean Distance using np.sqrt(np.sum((a-b)**2)) took 0.11181807518
--------------------------------------------------------
Cosine similarity took 0.162333965302
Euclidean from 2*(1 - cosine_similarity) took 0.177582979202
Euclidean Distance using np.linalg.norm() took 0.105742931366
Euclidean Distance using np.sqrt(np.sum((a-b)**2)) took 0.111120939255
--------------------------------------------------------
Cosine similarity took 0.16153883934
Euclidean from 2*(1 - cosine_similarity) took 0.176836967468
Euclidean Distance using np.linalg.norm() took 0.106392860413
Euclidean Distance using np.sqrt(np.sum((a-b)**2)) took 0.110891103745
--------------------------------------------------------
Cosine similarity took 0.16018986702
Euclidean from 2*(1 - cosine_similarity) took 0.177738189697
Euclidean Distance using np.linalg.norm() took 0.105060100555
Euclidean Distance using np.sqrt(np.sum((a-b)**2)) took 0.110497951508
--------------------------------------------------------
Cosine similarity took 0.159607887268
Euclidean from 2*(1 - cosine_similarity) took 0.178565979004
Euclidean Distance using np.linalg.norm() took 0.106383085251
Euclidean Distance using np.sqrt(np.sum((a-b)**2)) took 0.11084485054
--------------------------------------------------------
Cosine similarity took 0.161075115204
Euclidean from 2*(1 - cosine_similarity) took 0.177822828293
Euclidean Distance using np.linalg.norm() took 0.106630086899
Euclidean Distance using np.sqrt(np.sum((a-b)**2)) took 0.110257148743
--------------------------------------------------------
Cosine similarity took 0.161051988602
Euclidean from 2*(1 - cosine_similarity) took 0.181928873062
Euclidean Distance using np.linalg.norm() took 0.106360197067
Euclidean Distance using np.sqrt(np.sum((a-b)**2)) took 0.111301898956
--------------------------------------------------------