Alonzo, parte de nuestro equipo, nos ha hecho el favor de redactar este escrito porque domina a la perfección el tema.
Solución:
creo que la familia $mathcalH_alfa$ es inadecuado para sus propósitos, porque es demasiado rico.
Por ejemplo en el caso $mathcalX = [0,1]ps (o cualquier espacio de medida de probabilidad sin átomos) uno puede encontrar arbitrariamente muchos $h_tauinmathcalH_alpha$ tal que dos cualesquiera de ellos estén a distancia $alfa/2$. Esto significa que $mathcalN(varepsilon,mathcalH_alpha,L^1([0,1])) = infty$ Tan pronto como $varepsilonle alpha/2$.
Para probar esto explícitamente, se pueden usar matrices de Hadamard de tamaño $N$ (Ciertamente, esto es una exageración conceptual y podría reemplazarse por una elección aleatoria, o un argumento clásico de falta de compacidad en el análisis funcional, pero parece la forma más sencilla de proceder). Dividir ps[0,1]ps dentro $N$ intervalos iguales, y para cada secuencia $tau=(tau_i)_1le ile N in -1,1^N$ definir $h_tau$ ser – estar $frac1+tau_ialfa2$ sobre el $i$-ésimo intervalo. Si $tau,tau’$ son dos líneas de una matriz de Hadamard, difieren exactamente en la mitad de sus entradas, de modo que $lVert h_tau-h_tau’rVert_L^1([0,1])=fracalfa2$. Existen matrices de Hadamard arbitrariamente grandes y hemos terminado.
Tenga en cuenta que si se mantiene en el nivel de precisión $varepsilonsimeqalfa$entonces su familia se reduce esencialmente a un punto (dos $hinmathcalH_alpha$ son indistinguibles a esta escala).
Para no quedarnos en una afirmación negativa, permítame sugerirle que use otra definición de “esencialmente constante”, a través de medidas más refinadas de las variaciones de una función. El problema con su condición es que no ve nada de la geometría de $mathcalX$ (la clase $mathcalH_alfa$ esencialmente sólo depende del cardenal de $mathcalX$), y no puede esperar nada (a menos que posiblemente capture alguna geometría con la métrica elegida en el espacio de funciones considerado – $L^1$ no haría, como el ps[0,1]^n$ son todas isomorfas cuando están dotadas de sus medidas de Lebesgue).
Hay muchas opciones naturales:
-
H”funciones más antiguas, cuando $mathcalX$ es un espacio métrico (el caso particular de la función de Lipschitz es el más común),
-
Como lo menciona Aryeh Kontorovich, las funciones BV (esta noción es bastante simple en su dimensión $1$pero significativamente más intrincado en una dimensión superior), y para una noción más aproximada $p$-BV (en dimensión $1$uno reemplaza el $lvert f(x_i+1)-f(x_i)rvert$ por $lvert f(x_i+1)-f(x_i)rvert^p$dónde $1/p<1$ juega el mismo papel que el exponente H” más antiguo,
-
suave ($mathcalC^k$) funciona cuando $mathcalX$ es un dominio en $matemáticasR^n$ o un múltiple, y las muchas variaciones disponibles: Sobolev, Besov, etc.
Dado que el OP menciona funciones de variación limitada en el título, tomemos esa definición literal. Una función $f:[0,1]Se dice que tomathbbR$ tiene una variación $V(f)$ definida por $$ V(f) = sup_{0=x_0[0,1]tomathbbR$ con $V(f)le v$. Se sabe (Anthony y Bartlett, Neural Network Learning (1999), Teorema 11.12) que la dimensión aplastante de $F_v$ en la escala $gamma$ es $$ 1+leftlfloor fracv2 gamma derechorpiso.$$
(La noción de destrucción de grasa, la más apropiada para la capacidad de aprendizaje de las clases de funciones continuas, se da ibíd. en la Definición 11.11.)
Por supuesto, los números que cubren y la destrucción de grasa están íntimamente relacionados. Por ejemplo, el Teorema 12.7 ibíd. muestra cómo enlazar los números que cubren $L_infty$ en términos de la dimensión de destrucción de grasa (¡lea el capítulo completo!).
Finalmente, discrepo con “una función cuyo resultado no varía mucho no puede ser un buen clasificador”. Los clasificadores/regresores lineales son lo más suaves posible y, sin embargo, tienen un excelente historial. Por el contrario, las funciones que varían demasiado rápido son propensas al sobreajuste.
Calificaciones y comentarios
Recuerda algo, que tienes concesión de aclarar tu experiencia si te fue preciso.