Saltar al contenido

Estimador de máxima verosimilitud de parámetros de distribución multinomial

Si te encuentras con algo que no entiendes puedes comentarlo y te ayudaremos rápidamente.

Solución:

Considere un entero positivo $ n $ y un conjunto de números reales positivos $ mathbf p = (p_x) $ tales que $ sum limits_xp_x = 1 $. La distribución multinomial con parámetros $ n $ y $ mathbf p $ es la distribución $ f_ mathbf p $ en el conjunto de enteros no negativos $ mathbf n = (n_x) $ tal que $ sum limits_xn_x = n $ definido por $$ f_ mathbf p ( mathbf n) = n! cdot prod_x frac p_x ^ n_x n_x!. $$ Para alguna observación fija $ mathbf n $, la probabilidad es $ L ( mathbf p) = f_ mathbf p ( mathbf n) $ con la restricción $ C ( mathbf p) = 1 $, donde $ C ( mathbf p) = sum limits_xp_x $. Para maximizar $ L $, se pide que el gradiente de $ L $ y el gradiente de $ C $ sean colineales, es decir, que exista $ lambda $ tal que, por cada $ x $, $$ frac parcial parcial p_x L ( mathbf p) = lambda frac parcial parcial p_x C ( mathbf p). $$ En el caso presente, se lee $$ frac n_x p_x L ( mathbf p) = lambda, $$ es decir, $ p_x $ debe ser proporcional a $ n_x $. Como $ sum limits_xp_x = 1 $, se obtiene finalmente $ hat p_x = dfrac n_x n $ por cada $ x $.

Si una observación es

$$ begin align p_1 = P (X_1) & = frac x_1 n \ & … \ p_m = P (X_m) & = frac x_m n end alinear $$

entonces la probabilidad que se puede describir como probabilidad conjunta es (https://en.wikipedia.org/wiki/Multinomial_theorem)

$$ begin align L ( mathbf p) & = n elija x_1, …, x_m prod_ i = 1 ^ m p_i ^ x_i \ & = n! prod_ i = 1 ^ m frac p_i ^ x_i x_i! end align $$

y la probabilidad logarítmica es

$$ begin align l ( mathbf p) = log L ( mathbf p) & = log bigg (n! prod_ i = 1 ^ m frac p_i ^ x_i x_i! bigg) \ & = log n! + log prod_ i = 1 ^ m frac p_i ^ x_i x_i! \ & = log n! + sum_ i = 1 ^ m log frac p_i ^ x_i x_i! \ & = log n! + sum_ i = 1 ^ m x_i log p_i – sum_ i = 1 ^ m log x_i! end align $$

Presentar una restricción ($ sum_ i = 1 ^ m p_i = 1 $) con multiplicador de Lagrange

$$ begin align l ‘( mathbf p, lambda) & = l ( mathbf p) + lambda bigg (1 – sum_ i = 1 ^ m p_i bigg) end align $$

Encontrar $ arg max_ mathbf p L ( mathbf p, lambda) $

$$ begin align frac parcial p_i parcial l ‘( mathbf p, lambda) = frac parcial p_i parcial l ( mathbf p) + frac parcial p_i parcial lambda bigg (1 – sum_ i = 1 ^ m p_i bigg) & = 0 \ frac parcial p_i parcial sum_ i = 1 ^ m x_i log p_i – lambda frac parcial parcial p_i sum_ i = 1 ^ m p_i & = 0 \ frac x_i p_i – lambda & = 0 \ p_i & = frac x_i lambda \ end align $$

Por lo tanto,
$$ begin align p_i & = frac x_i n end align $$

porque

$$ begin align p_i & = frac x_i lambda \ sum_ i = 1 ^ m p_i & = sum_ i = 1 ^ m frac x_i lambda \ 1 & = frac 1 lambda sum_ i = 1 ^ m x_i \ lambda & = n end align $$

Finalmente, la distribución de probabilidad más probable es

$$ begin align mathbf p = bigg ( frac x_1 n, …, frac x_m n bigg) end align $$

Sea $ mathbf X $ un RV siguiendo una distribución multinomial. Entonces, $$ begin align P ( mathbf X = mathbf x; n, mathbf p) & = n! , Pi_ k = 1 ^ K frac p_k ^ x_k x_k! end align $$ $ x_i $ es el número de éxito de la categoría $ k ^ th $ en $ n $ sorteos aleatorios, donde $ p_k $ es la probabilidad de éxito de la categoría $ k ^ th $. Tenga en cuenta que, $$ begin align sum_ k = 1 ^ K x_k & = n \ sum_ k = 1 ^ K p_k & = 1 end align $$

Para el problema de estimación, tenemos $ N $ muestras $ mathbf X_1, ldots, mathbf X_N $ extraídas independientemente de la distribución multinomial anterior. La probabilidad logarítmica se da como $$ mathcal L ( mathbf p, n) = sum_ i = 1 ^ N log P ( mathbf x_i, n, mathbf p ) $$ donde $$ begin align log P ( mathbf x_i, n, mathbf p) & = log frac n! Pi_k x_ ik! + sum_ k = 1 ^ K x_ ik log p_k \ sum_ i = 1 ^ N log P ( mathbf x_i, n, mathbf p) & = C + sum_ k = 1 ^ K N_k log p_k end align $$ donde $ N_k = sum_ i = 1 ^ N x_ ik $, es el número total de éxito de $ k ^ th $ categoría en $ N $ muestras.

Para la estimación MLE de $ mathbf p $, asumiendo que se conoce $ n $, resolvemos el siguiente problema de optimización: $$ begin align max _ mathbf p & , , mathcal L ( mathbf p, n) \ st & , , sum_ k = 1 ^ K p_k , , = 1 end align $$ Usar restricción de igualdad para reducción de variable , $$ p_K , = , 1 – sum_ k = 1 ^ K-1 p_k $$ Tenemos un problema sin restricciones en $ K-1 $ variables. Calcule el gradiente para el cálculo de puntos estacionarios como, $$ begin align frac partial mathcal L ( mathbf p, n) partial p_k & = frac N_k p_k – frac N_K p_K , , = , , 0 \ p_k & = frac N_k , p_K N_K end align $$ Resolviendo, con $ sum_ k = 1 ^ K p_k , = , 1 $ da una estimación de MLE para $ p_k $, $$ p_k = frac N_k nN $$

Comentarios y calificaciones

¡Haz clic para puntuar esta entrada!
(Votos: 0 Promedio: 0)



Utiliza Nuestro Buscador

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *