Leer las fórmulas sin perder la pregunta
Los números remiten a las 63 filas de la tabla del manual. Las fórmulas se han agrupado y reescrito con una notación común. Antes de desplegar una ficha, intenta decir qué se mantiene fijo, qué cambia y bajo qué supuesto se puede usar la igualdad.
Probabilidad y variables
1–3 · Axiomas
\[P(A)\ge0,\quad P(\Omega)=1,\quad P(\bigcup_i A_i)=\sum_iP(A_i)\]
La última igualdad exige sucesos disjuntos dos a dos. Un clic y una impresión en la parte superior pueden solaparse.
4, 15 · Condicionamiento
\[P(A\mid B)=P(A\cap B)/P(B)\]
Solo se define este cociente si P(B)>0. Restringe el denominador al grupo B.
5–8 · Masa frente a densidad
\[p(x)=P(X=x)\ge0;\qquad P(a<X\le b)=\int_a^b f(x)\,dx,\quad f\ge0\]
Una masa se suma y una densidad se integra. Una densidad puede superar 1: es el área total la que vale 1.
9–10 · Distribución acumulada
\[F(x)=P(X\le x),\quad \lim_{x\to\infty}F(x)=1\]
Permite calcular la masa del intervalo (a,b] restando F(a) a F(b), incluso con datos discretos.
11 · Densidad normal
\[f(x)=\frac{1}{\sigma\sqrt{2\pi}}e^{-(x-\mu)^2/(2\sigma^2)}\]
μ es el centro y σ>0 controla el ancho. La altura no es la probabilidad de observar exactamente x.
12–14 · Esperanza y varianza
\[E[X]=\sum_x xp(x)\;\text{o}\;\int xf(x)\,dx,\qquad \operatorname{Var}(X)=E[(X-E[X])^2]\]
El promedio conserva las unidades; la varianza las eleva al cuadrado. Las expresiones presuponen que los momentos existen.
16–18 · Bayes y odds
\[P(H_j\mid D)=\frac{P(D\mid H_j)P(H_j)}{\sum_i P(D\mid H_i)P(H_i)}\]
Las hipótesis han de cubrir las alternativas y no solaparse. Para dos hipótesis, las odds posteriores son las odds previas por la razón de verosimilitudes.
Volver a una lectura de este bloque →
Modelos multivariados
19 · Normal conjunta
\[f(x)=\frac{e^{-\frac12(x-\mu)^\top\Sigma^{-1}(x-\mu)}}{(2\pi)^{d/2}|\Sigma|^{1/2}}\]
Esta densidad en d dimensiones requiere una matriz de covarianza definida positiva. El exponente mide distancia ajustada por dispersión y correlación.
20–21, 24 · Transformaciones
\[Y=AX+b,\quad E[Y]=A\mu+b,\quad \operatorname{Cov}(Y)=A\Sigma A^\top\]
Si X es conjuntamente normal, Y también es normal, posiblemente degenerada. La traslación no cambia la covarianza. Una combinación lineal es el caso de una sola fila de A.
22–23, 42–43 · Mezcla y responsabilidad
\[f(x)=\sum_k\pi_kf_k(x),\qquad r_{ik}=\frac{\pi_k f_k(x_i)}{\sum_j\pi_j f_j(x_i)}\]
Los pesos previos π suman uno. Las responsabilidades suman uno para cada observación: la densidad de un componente por sí sola no es una probabilidad de pertenencia.
25 · PCA
\[z=W^\top(x-\mu)\]
Las columnas de W son direcciones principales. Centrar evita confundir la posición de la nube con su dispersión.
26 · LDA
\[S_Bw=\lambda S_Ww\]
Busca separación entre clases relativa a la dispersión dentro de ellas. Requiere etiquetas; algunas matrices pueden ser singulares.
Volver a una lectura de este bloque →
Estimación y selección
27–29 · Verosimilitud
\[L(\theta)=\prod_i f_\theta(x_i),\quad \ell(\theta)=\log L(\theta),\quad \hat\theta=\arg\max_\theta\ell(\theta)\]
El producto presupone independencia bajo el modelo. Los datos están fijos y varía el parámetro. El logaritmo preserva el máximo.
30–31 · Parámetros de una normal
\[\hat\mu=\frac1n\sum_i x_i,\qquad \hat\sigma^2_{\rm MV}=\frac1n\sum_i(x_i-\hat\mu)^2\]
En máxima verosimilitud aparece n en el denominador. El ajuste n−1 responde a otra propiedad: insesgadez para la varianza.
32–35 · Regresión y mínimos cuadrados
\[y=X\beta+\varepsilon,\quad \hat\beta=\arg\min_b\|y-Xb\|^2\]
Con columnas independientes, la solución es (XᵀX)⁻¹Xᵀy. La fórmula cerrada no obliga a invertir la matriz en código. Varias columnas predictoras no implican varias respuestas.
36–38 · Regresión logística
\[p_i=(1+e^{-x_i^\top\beta})^{-1},\quad L=\prod_i p_i^{y_i}(1-p_i)^{1-y_i}\]
Solo para y igual a cero o uno en esta expresión. Con el coeficiente βⱼ, una unidad adicional multiplica las odds por exp(βⱼ) a igualdad del resto.
39–41 · EM
\[\ell(\theta)=\sum_i\log\sum_z p_\theta(x_i,z),\quad Q(\theta\mid\theta_t)=E_{Z\mid X,\theta_t}[\log p_\theta(X,Z)]\]
La suma interna integra la etiqueta desconocida discreta. E construye Q con el ajuste anterior; M maximiza Q. La mejora de verosimilitud no garantiza el máximo global.
Volver a una lectura de este bloque →
Información y respuesta
44 · Entropía
\[H(Y)=-\sum_y p(y)\log_2 p(y)\]
Con logaritmo en base dos la unidad es el bit. Un resultado seguro tiene entropía cero.
45 · Información mutua
\[I(X;Y)=\sum_{x,y}p(x,y)\log_2\frac{p(x,y)}{p(x)p(y)}\]
Mide cuánto se aparta la distribución conjunta de la que tendríamos con independencia. No establece causalidad.
46–47 · Softmax y entropía cruzada
\[q_k=\frac{e^{s_k}}{\sum_j e^{s_j}},\quad H(p,q)=-\sum_k p_k\log q_k\]
Los scores (0, ln 3) dan probabilidades (1/4,3/4). Si se observa la segunda clase, la pérdida es −ln(3/4)≈0,288 nats.
48–51 · Enlace y predictor
\[g(\mu_i)=x_i^\top\beta\]
La función de enlace actúa sobre la media, no sobre el dato observado. Identidad: g(μ)=μ; log: g(μ)=ln μ; logit: g(p)=ln[p/(1−p)].
52–54 · La varianza sigue a la familia
\[V_{\rm Gaussian}=\sigma^2,\quad V_{\rm Bernoulli}=p(1-p),\quad V_{\rm Poisson}=\mu\]
Son varianzas condicionales bajo el modelo. No exijas igualdad de media y varianza a una mezcla de grupos con tasas distintas.
55–56 · Poisson con enlace log
\[P(Y=y)=e^{-\mu}\mu^y/y!,\qquad \log\mu=x^\top\beta\]
Para recuentos y=0,1,…; si cambia la exposición t, puede entrar log(t) como término fijo.
57–58 · Binomial con enlace logit
\[P(Y=y)=\binom ny p^y(1-p)^{n-y},\quad \log\frac{p}{1-p}=x^\top\beta\]
n ensayos independientes con probabilidad común p. Un coeficiente actúa sobre las log-odds, no sumando puntos de probabilidad.
59–60 · Gamma y enlace inverso
\[f(y)=\frac{y^{a-1}e^{-y/b}}{\Gamma(a)b^a},\quad E[Y]=ab,\quad g(\mu)=1/\mu\]
Usamos forma a y escala b, ambas positivas, para y>0. Con enlace inverso el predictor debe producir una media positiva. También se emplea enlace log, que tiene distinta interpretación.
61–63 · Ridge, Lasso y Elastic Net
\[\min_\beta\;\mathcal L(\beta)+\lambda[(1-\alpha)\|\beta\|_2^2/2+\alpha\|\beta\|_1]\]
Con esta convención α=0 da Ridge y α=1 da Lasso. La escala de λ cambia si la pérdida se suma o promedia; el intercepto habitualmente no se penaliza.