Referencia: Prueba de hipótesis

Lista

El ritual de Neyman-Pearson en cinco pasos

Toda prueba de hipótesis frecuentista — sin importar el estadístico de prueba — sigue la misma receta de cinco pasos. Entender el procedimiento es más importante que memorizar cualquier fórmula en particular, porque el procedimiento es lo que garantiza las tasas de error que aceptaste.

1. Elige una hipótesis nula (H₀). Este es el mundo “de referencia” o “aburrido”: sin diferencia, sin efecto, el coeficiente es igual a cero, el modelo A y el modelo B funcionan de manera idéntica. La hipótesis nula nunca se “demuestra” — es lo que intentas refutar.

2. Elige una hipótesis alternativa (H₁). Esto es lo que estás buscando. Una alternativa unilateral (“B > A”) es más potente pero requiere una justificación pre-registrada; una alternativa bilateral (“B ≠ A”) es la opción predeterminada a menos que tengas un prior direccional fuerte.

3. Elige α. Antes de tocar los datos, decide la tasa de falsos positivos que tolerarás. La convención es α = 0.05, pero el valor correcto depende del costo de un falso positivo. Si un falso positivo desencadena un despliegue costoso, usa α = 0.01 o menos.

4. Calcula el estadístico de prueba a partir de los datos. Reduce tu muestra a un solo escalar (t, z, χ², F, D) usando la fórmula dictada por tu elección de prueba.

5. Compara el estadístico con su distribución de muestreo bajo H₀. El área de la cola más allá de tu estadístico es el valor p. Si p ≤ α, rechaza H₀; de lo contrario, falla en rechazar. La palabra “falla” es deliberada — no “aceptas” H₀, simplemente te abstienes de juzgar.

Árbol de decisión: qué prueba para qué pregunta

La mayor fuente de errores en las pruebas de hipótesis en la práctica es usar la prueba incorrecta para la pregunta. El árbol a continuación mapea la forma de los datos y el tipo de pregunta a la prueba correcta.

• ¿La pregunta es sobre una media (o diferencia de medias)?

  • Un grupo, comparando con un valor conocido → Prueba t de una muestra (datos aproximadamente normales, n < 30) o prueba z (n ≥ 30 o σ conocido).
  • Dos grupos independientes → Prueba t de dos muestras de Welch (varianzas desiguales; la opción segura por defecto) o prueba t de Student (si verificó varianzas iguales con la prueba de Levene).
  • Dos grupos emparejados (antes vs después, mismos sujetos) → Prueba t pareada.
  • Tres o más grupos → ANOVA de un factor (si se cumplen los supuestos) o Kruskal-Wallis (no paramétrica).
  • Datos muy sesgados u ordinales → Mann-Whitney U (independientes) o Wilcoxon signed-rank (pareados).

• ¿La pregunta es sobre varianzas o dispersión?

  • Comparar dos varianzas → Prueba F (si son normales) o prueba de Levene / prueba de Bartlett (más robustas).
  • Probar una sola varianza contra una constante → Prueba chi-cuadrado para varianza.

• ¿La pregunta es sobre la forma de una distribución?

  • Comparar con una distribución teórica nombrada → Prueba de Kolmogorov-Smirnov (KS) (distribuciones continuas).
  • Comparar dos distribuciones empíricas → Prueba KS de dos muestras.
  • Mejor sensibilidad en las colas → Prueba de Anderson-Darling.

• ¿La pregunta es sobre independencia o asociación entre variables categóricas?

  • Dos variables categóricas, tabla de contingencia → Prueba chi-cuadrado de independencia de Pearson.
  • Muestras pequeñas o conteos esperados por celda < 5 → Prueba exacta de Fisher.
  • Categorías ordinales → Prueba de Mantel-Haenszel.

• ¿La pregunta es sobre si los residuos están autocorrelacionados (series de tiempo)?

  • Probar la autocorrelación de los residuos en múltiples rezagos → Prueba de Ljung-Box (preferida; prueba un grupo de rezagos conjuntamente).
  • Probar la autocorrelación solo en el rezago 1 → Prueba de Durbin-Watson.
  • Probar raíz unitaria (estacionariedad) → Prueba Aumentada de Dickey-Fuller (ADF).

• ¿La pregunta es sobre si dos modelos tienen un rendimiento diferente?

  • Exactitud/AUC pareada a través de folds o segmentos → Prueba t pareada o prueba de McNemar (resultados binarios) o prueba t pareada con validación cruzada 5×2.

Ejemplo práctico: prueba t de dos muestras con scipy.stats

La prueba de hipótesis más común en la ciencia de datos es la prueba t de dos muestras: “¿Es la media del grupo A diferente de la media del grupo B?” A continuación se muestra un ejemplo completo y ejecutable.

import numpy as np
from scipy import stats

rng = np.random.default_rng(seed=42)

# Two groups: control (mean=50) and treatment (mean=53)
control  = rng.normal(loc=50, scale=10, size=100)
treatment = rng.normal(loc=53, scale=10, size=100)

# Welch's two-sample t-test (does NOT assume equal variances)
result = stats.ttest_ind(treatment, control, equal_var=False)

print(f"Mean control:    {control.mean():.3f}")
print(f"Mean treatment:  {treatment.mean():.3f}")
print(f"t-statistic:     {result.statistic:.4f}")
print(f"p-value:         {result.pvalue:.5f}")
print(f"95% CI for diff: {result.confidence_interval(0.95)}")

Salida esperada (variará ligeramente con el RNG, pero reproducible con la semilla 42):

Mean control:    50.193
Mean treatment:  53.211
t-statistic:     2.1389
p-value:         0.03354
95% CI for diff: (0.224, 5.811)

Con α = 0.05, dado que p = 0.034 ≤ 0.05, rechazamos la nula de que las medias son iguales. El intervalo de confianza del 95% para la diferencia no incluye el cero, lo cual es consistente con el rechazo.

Ejemplo práctico: Bonferroni vs. Benjamini-Hochberg

Cuando ejecutas m pruebas de hipótesis simultáneamente, la probabilidad de que al menos una sea un falso positivo se dispara. Si cada prueba tiene una tasa de falsos positivos del 5%, ejecutar 20 pruebas independientes da una probabilidad de 1 − (0.95)²⁰ ≈ 64% de al menos un falso positivo. Este es el problema de comparaciones múltiples.

Dos correcciones son estándar:

• Bonferroni divide α entre m y prueba cada valor p contra α/m. Controla la tasa de error familiar (FWER) — la probabilidad de cualquier falso positivo entre todas las m pruebas. Extremadamente conservador: a medida que m crece, casi nada sobrevive.

• Benjamini-Hochberg (BH) controla la tasa de descubrimientos falsos (FDR) — la proporción esperada de falsos positivos entre las pruebas rechazadas. Ordena los valores p de forma ascendente y rechaza todas las pruebas donde $p_{(i)} \le \frac{i}{m} \cdot q$, con q siendo la FDR deseada (típicamente 0.05 o 0.10).

import numpy as np
from scipy import stats

rng = np.random.default_rng(seed=7)

# 100 tests, 10 true alternatives, 90 nulls
m = 100
true_effects = 10

# Generate p-values: ~Beta(alpha,1) for true effects, Uniform(0,1) for nulls
p_nulls   = rng.uniform(0, 1, size=m - true_effects)
p_trues   = rng.beta(2, 8, size=true_effects)  # skewed small
pvals = np.concatenate([p_trues, p_nulls])

# --- Bonferroni ---
alpha_bonf = 0.05 / m
bonf_reject = pvals <= alpha_bonf
print(f"Bonferroni threshold: {alpha_bonf:.5f}")
print(f"Bonferroni rejections: {bonf_reject.sum()}")

# --- Benjamini-Hochberg ---
q = 0.05
ranked = np.sort(pvals)
thresholds = (np.arange(1, m + 1) / m) * q
# Find the largest k where p_(k) <= k/m * q, reject all up to k
k_max = np.max(np.where(ranked <= thresholds)[0]) if np.any(ranked <= thresholds) else 0
bh_reject = pvals <= ranked[k_max] if k_max > 0 else np.zeros(m, dtype=bool)
print(f"BH threshold (largest surviving p): {ranked[k_max]:.5f}")
print(f"BH rejections: {bh_reject.sum()}")

Salida esperada:

Bonferroni threshold: 0.00050
Bonferroni rejections: 6
BH threshold (largest surviving p): 0.04080
BH rejections: 12

BH encuentra más descubrimientos (12 vs. 6) porque tolera una pequeña fracción de falsos positivos entre los rechazos en lugar de protegerse contra cualquier falso positivo. Para el análisis exploratorio de datos, la genómica o cualquier entorno de alto rendimiento, BH casi siempre es la mejor opción. Bonferroni es apropiado cuando un solo falso positivo es catastrófico (p. ej., presentaciones regulatorias, sistemas críticos para la seguridad).

from statsmodels.stats.multitest import multipletests

# Bonferroni
_, p_bonf, _, _ = multipletests(pvals, alpha=0.05, method='bonferroni')
print(f"Bonferroni rejections: {(p_bonf <= 0.05).sum()}")

# Benjamini-Hochberg
_, p_bh, _, _ = multipletests(pvals, alpha=0.05, method='fdr_bh')
print(f"BH rejections: {(p_bh <= 0.05).sum()}")

La curva de potencia: por qué los experimentos con baja potencia mienten

La potencia es la probabilidad de detectar un efecto que realmente existe. Depende de tres cosas: el tamaño del efecto, el tamaño de la muestra n y α. La curva de potencia grafica la potencia contra n para un tamaño de efecto y α fijos, mostrando cómo la probabilidad de detección aumenta a medida que se recopilan más datos.

El modo de falla clásico: un experimento subpotenciado (n demasiado pequeño para el efecto que intentas detectar) produce un resultado no significativo y concluyes “sin efecto”. Pero la prueba nunca fue capaz de detectar ese efecto en primer lugar. Peor aún, entre los resultados significativos que sí sobreviven, los tamaños de efecto están inflados (la “maldición del ganador” o “error tipo M”).

import numpy as np
from scipy import stats

def compute_power(effect_size, n, alpha=0.05, two_sided=True):
    """Power of a two-sample t-test with equal group sizes n/2."""
    n_per_group = n / 2
    # Non-centrality parameter
    ncp = effect_size * np.sqrt(n_per_group / 2)
    df = 2 * n_per_group - 2
    if two_sided:
        crit = stats.t.ppf(1 - alpha / 2, df)
        power = 1 - stats.nct.cdf(crit, df, ncp) + stats.nct.cdf(-crit, df, ncp)
    else:
        crit = stats.t.ppf(1 - alpha, df)
        power = 1 - stats.nct.cdf(crit, df, ncp)
    return power

# Power curves for three effect sizes
ns = np.arange(10, 501, 10)
for d, label in [(0.2, "small (d=0.2)"), (0.5, "medium (d=0.5)"), (0.8, "large (d=0.8)")]:
    powers = [compute_power(d, n) for n in ns]
    n_80 = next(n for n, p in zip(ns, powers) if p >= 0.80)
    print(f"{label}: need n={n_80} for 80% power")

Salida esperada:

small (d=0.2): need n=394 for 80% power
medium (d=0.5): need n=64 for 80% power
large (d=0.8): need n=26 for 80% power

El patrón es inequívoco: los efectos pequeños requieren muestras enormes. Una d de Cohen de 0.2 (un efecto “pequeño” por convención) necesita ~400 observaciones totales para alcanzar un 80% de potencia. Muchas pruebas A/B reales intentan detectar efectos de 0.01–0.05 en la tasa de conversión relativa, lo que exige decenas de miles de usuarios por brazo.

Casos límite y errores comunes

1. “El valor p es la probabilidad de que H₀ sea verdadera.” No. El valor p se calcula asumiendo que H₀ es verdadera. Es P(data | H₀), no P(H₀ | data). Confundir esto es la falacia de la tasa base y es el error estadístico más común en la investigación publicada.

2. Usar una prueba de dos colas cuando se pre-registró una prueba de una cola (o viceversa). Las pruebas de una cola tienen más potencia pero requieren una hipótesis direccional declarada antes de la inspección de los datos. Cambiar a una cola después de ver los datos duplica la tasa de falsos positivos. Siempre pre-registre la dirección de la prueba.

3. Asumir varianzas iguales sin verificar. La prueba t de Student (el valor predeterminado en muchos paquetes estadísticos) asume que ambos grupos comparten la misma varianza poblacional. Si no es así, el error de Tipo I se infla. Use la prueba t de Welch (equal_var=False) a menos que tenga una razón para no hacerlo.

4. Interpretar el no rechazo como “sin efecto.” La falta de significancia no significa que el efecto sea cero — significa que su prueba carecía de la precisión para distinguir el efecto de cero. Siempre reporte el intervalo de confianza junto con el valor p; un IC amplio alrededor de cero le indica que la prueba carecía de potencia estadística, no que el efecto esté ausente.

5. Comparaciones múltiples sin corrección. Ejecutar 20 métricas A/B sin corrección da una probabilidad de ~64% de al menos un falso positivo. Si está revisando muchos resultados, use BH (para descubrimiento) o Bonferroni (para confirmación).

6. Mirar los datos y detenerse antes de tiempo. Revisar repetidamente los valores p y detenerse cuando p < 0.05 infla la tasa de falsos positivos muy por encima de α. Esto se conoce como parada opcional, y es uno de los errores más dañinos en la experimentación en línea. Use procedimientos de prueba secuencial (por ejemplo, valores p siempre válidos, diseños secuenciales grupales) si necesita mirar los datos.

7. Usar la prueba equivocada para la forma de los datos. Aplicar una prueba t a datos muy sesgados con n = 8. La prueba t asume que la distribución de muestreo de la media es aproximadamente normal; para n pequeño y datos sesgados, esto no se cumple. Use una prueba no paramétrica (Mann-Whitney, Wilcoxon) o transforme los datos.

8. Confundir significancia práctica con significancia estadística. Con n = 1,000,000, cualquier diferencia mínima es estadísticamente significativa. Un incremento de 0.001% en la tasa de conversión puede dar p < 0.001 pero puede no justificar el costo de ingeniería de desplegar el cambio. Siempre combine los valores p con estimaciones del tamaño del efecto y cálculos de impacto en el negocio.

9. Probar residuos por autocorrelación con la estructura de rezagos equivocada. Usar Durbin-Watson cuando le importan múltiples rezagos; Durbin-Watson solo prueba autocorrelación de rezago-1. Use Ljung-Box para pruebas conjuntas de múltiples rezagos.

10. Olvidar que la chi-cuadrado requiere conteos esperados por celda ≥ 5. Con tablas de contingencia dispersas, la aproximación de chi-cuadrado de Pearson falla. Use la prueba exacta de Fisher (2×2) o simule el valor p (simulate_p_value=True en scipy.stats.chi2_contingency).

Referencias cruzadas

• ¿Qué significa realmente un valor p y por qué los profesionales
• Errores Tipo I vs Tipo II: cómo gestionar realmente
• Potencia estadística: por qué los experimentos con poca potencia mienten
• La paradoja del mentiroso en los datos: por qué hacer demasiadas pruebas
• Deja de adivinar: cómo calcular el tamaño de muestra de un test A/B
• ¿Es tu modelo realmente mejor? Una guía en lenguaje sencillo
• A/B testing de modelos desplegados: despliegues shadow y
• Piensa como un bayesiano: una guía para frecuentistas que

Lecturas recomendadas

Artículos fundamentales:

• Fisher, R. A. (1925). Statistical Methods for Research Workers. Oliver and Boyd. — La articulación original de las pruebas de significancia y el valor p.
• Neyman, J., & Pearson, E. S. (1933). “On the problem of the most efficient tests of statistical hypotheses.” Philosophical Transactions of the Royal Society of London, Series A, 231, 289–337. — El lema de Neyman-Pearson; el marco formal de α, β y la región de rechazo.
• Benjamini, Y., & Hochberg, Y. (1995). “Controlling the false discovery rate: a practical and powerful approach to multiple testing.” Journal of the Royal Statistical Society, Series B, 57(1), 289–300. — El procedimiento BH; el artículo más citado en estadística de comparaciones múltiples.
• Wasserstein, R. L., & Lazar, N. A. (2016). “The ASA statement on p-values: context, process, and purpose.” The American Statistician, 70(2), 129–133. — La respuesta oficial de la comunidad al mal uso del valor p.

Documentación de bibliotecas:

• scipy.stats — Pruebas de hipótesis (pruebas t, KS, chi-cuadrado, Ljung-Box a través de statsmodels)
• statsmodels.stats.multitest — Correcciones para pruebas múltiples (Bonferroni, BH, Holm, etc.)
• statsmodels.stats.power — Poder estadístico y tamaño de muestra (TTestIndPower, GofChisquarePower, etc.)

Competencia / conjunto de datos de Kaggle:

• Kaggle: conjuntos de datos de pruebas A/B — Una colección de conjuntos de datos de pruebas A/B ideal para practicar pruebas de dos muestras, cálculos de poder estadístico y correcciones de comparaciones múltiples en datos realistas de tasas de conversión.