adictosalaIApor Iván CarrilloContacto
HERRAMIENTA DE REPASO · MANUAL, PÁGINAS 45–48

Leer las fórmulas sin perder la pregunta

Los números remiten a las 63 filas de la tabla del manual. Las fórmulas se han agrupado y reescrito con una notación común. Antes de desplegar una ficha, intenta decir qué se mantiene fijo, qué cambia y bajo qué supuesto se puede usar la igualdad.

Probabilidad y variables

1–3 · Axiomas

\[P(A)\ge0,\quad P(\Omega)=1,\quad P(\bigcup_i A_i)=\sum_iP(A_i)\]

La última igualdad exige sucesos disjuntos dos a dos. Un clic y una impresión en la parte superior pueden solaparse.

4, 15 · Condicionamiento

\[P(A\mid B)=P(A\cap B)/P(B)\]

Solo se define este cociente si P(B)>0. Restringe el denominador al grupo B.

5–8 · Masa frente a densidad

\[p(x)=P(X=x)\ge0;\qquad P(a<X\le b)=\int_a^b f(x)\,dx,\quad f\ge0\]

Una masa se suma y una densidad se integra. Una densidad puede superar 1: es el área total la que vale 1.

9–10 · Distribución acumulada

\[F(x)=P(X\le x),\quad \lim_{x\to\infty}F(x)=1\]

Permite calcular la masa del intervalo (a,b] restando F(a) a F(b), incluso con datos discretos.

11 · Densidad normal

\[f(x)=\frac{1}{\sigma\sqrt{2\pi}}e^{-(x-\mu)^2/(2\sigma^2)}\]

μ es el centro y σ>0 controla el ancho. La altura no es la probabilidad de observar exactamente x.

12–14 · Esperanza y varianza

\[E[X]=\sum_x xp(x)\;\text{o}\;\int xf(x)\,dx,\qquad \operatorname{Var}(X)=E[(X-E[X])^2]\]

El promedio conserva las unidades; la varianza las eleva al cuadrado. Las expresiones presuponen que los momentos existen.

16–18 · Bayes y odds

\[P(H_j\mid D)=\frac{P(D\mid H_j)P(H_j)}{\sum_i P(D\mid H_i)P(H_i)}\]

Las hipótesis han de cubrir las alternativas y no solaparse. Para dos hipótesis, las odds posteriores son las odds previas por la razón de verosimilitudes.

Volver a una lectura de este bloque →

Modelos multivariados

19 · Normal conjunta

\[f(x)=\frac{e^{-\frac12(x-\mu)^\top\Sigma^{-1}(x-\mu)}}{(2\pi)^{d/2}|\Sigma|^{1/2}}\]

Esta densidad en d dimensiones requiere una matriz de covarianza definida positiva. El exponente mide distancia ajustada por dispersión y correlación.

20–21, 24 · Transformaciones

\[Y=AX+b,\quad E[Y]=A\mu+b,\quad \operatorname{Cov}(Y)=A\Sigma A^\top\]

Si X es conjuntamente normal, Y también es normal, posiblemente degenerada. La traslación no cambia la covarianza. Una combinación lineal es el caso de una sola fila de A.

22–23, 42–43 · Mezcla y responsabilidad

\[f(x)=\sum_k\pi_kf_k(x),\qquad r_{ik}=\frac{\pi_k f_k(x_i)}{\sum_j\pi_j f_j(x_i)}\]

Los pesos previos π suman uno. Las responsabilidades suman uno para cada observación: la densidad de un componente por sí sola no es una probabilidad de pertenencia.

25 · PCA

\[z=W^\top(x-\mu)\]

Las columnas de W son direcciones principales. Centrar evita confundir la posición de la nube con su dispersión.

26 · LDA

\[S_Bw=\lambda S_Ww\]

Busca separación entre clases relativa a la dispersión dentro de ellas. Requiere etiquetas; algunas matrices pueden ser singulares.

Volver a una lectura de este bloque →

Estimación y selección

27–29 · Verosimilitud

\[L(\theta)=\prod_i f_\theta(x_i),\quad \ell(\theta)=\log L(\theta),\quad \hat\theta=\arg\max_\theta\ell(\theta)\]

El producto presupone independencia bajo el modelo. Los datos están fijos y varía el parámetro. El logaritmo preserva el máximo.

30–31 · Parámetros de una normal

\[\hat\mu=\frac1n\sum_i x_i,\qquad \hat\sigma^2_{\rm MV}=\frac1n\sum_i(x_i-\hat\mu)^2\]

En máxima verosimilitud aparece n en el denominador. El ajuste n−1 responde a otra propiedad: insesgadez para la varianza.

32–35 · Regresión y mínimos cuadrados

\[y=X\beta+\varepsilon,\quad \hat\beta=\arg\min_b\|y-Xb\|^2\]

Con columnas independientes, la solución es (XᵀX)⁻¹Xᵀy. La fórmula cerrada no obliga a invertir la matriz en código. Varias columnas predictoras no implican varias respuestas.

36–38 · Regresión logística

\[p_i=(1+e^{-x_i^\top\beta})^{-1},\quad L=\prod_i p_i^{y_i}(1-p_i)^{1-y_i}\]

Solo para y igual a cero o uno en esta expresión. Con el coeficiente βⱼ, una unidad adicional multiplica las odds por exp(βⱼ) a igualdad del resto.

39–41 · EM

\[\ell(\theta)=\sum_i\log\sum_z p_\theta(x_i,z),\quad Q(\theta\mid\theta_t)=E_{Z\mid X,\theta_t}[\log p_\theta(X,Z)]\]

La suma interna integra la etiqueta desconocida discreta. E construye Q con el ajuste anterior; M maximiza Q. La mejora de verosimilitud no garantiza el máximo global.

Volver a una lectura de este bloque →

Información y respuesta

44 · Entropía

\[H(Y)=-\sum_y p(y)\log_2 p(y)\]

Con logaritmo en base dos la unidad es el bit. Un resultado seguro tiene entropía cero.

45 · Información mutua

\[I(X;Y)=\sum_{x,y}p(x,y)\log_2\frac{p(x,y)}{p(x)p(y)}\]

Mide cuánto se aparta la distribución conjunta de la que tendríamos con independencia. No establece causalidad.

46–47 · Softmax y entropía cruzada

\[q_k=\frac{e^{s_k}}{\sum_j e^{s_j}},\quad H(p,q)=-\sum_k p_k\log q_k\]

Los scores (0, ln 3) dan probabilidades (1/4,3/4). Si se observa la segunda clase, la pérdida es −ln(3/4)≈0,288 nats.

48–51 · Enlace y predictor

\[g(\mu_i)=x_i^\top\beta\]

La función de enlace actúa sobre la media, no sobre el dato observado. Identidad: g(μ)=μ; log: g(μ)=ln μ; logit: g(p)=ln[p/(1−p)].

52–54 · La varianza sigue a la familia

\[V_{\rm Gaussian}=\sigma^2,\quad V_{\rm Bernoulli}=p(1-p),\quad V_{\rm Poisson}=\mu\]

Son varianzas condicionales bajo el modelo. No exijas igualdad de media y varianza a una mezcla de grupos con tasas distintas.

55–56 · Poisson con enlace log

\[P(Y=y)=e^{-\mu}\mu^y/y!,\qquad \log\mu=x^\top\beta\]

Para recuentos y=0,1,…; si cambia la exposición t, puede entrar log(t) como término fijo.

57–58 · Binomial con enlace logit

\[P(Y=y)=\binom ny p^y(1-p)^{n-y},\quad \log\frac{p}{1-p}=x^\top\beta\]

n ensayos independientes con probabilidad común p. Un coeficiente actúa sobre las log-odds, no sumando puntos de probabilidad.

59–60 · Gamma y enlace inverso

\[f(y)=\frac{y^{a-1}e^{-y/b}}{\Gamma(a)b^a},\quad E[Y]=ab,\quad g(\mu)=1/\mu\]

Usamos forma a y escala b, ambas positivas, para y>0. Con enlace inverso el predictor debe producir una media positiva. También se emplea enlace log, que tiene distinta interpretación.

61–63 · Ridge, Lasso y Elastic Net

\[\min_\beta\;\mathcal L(\beta)+\lambda[(1-\alpha)\|\beta\|_2^2/2+\alpha\|\beta\|_1]\]

Con esta convención α=0 da Ridge y α=1 da Lasso. La escala de λ cambia si la pérdida se suma o promedia; el intercepto habitualmente no se penaliza.

Volver a una lectura de este bloque →