Referencia: Validación cruzada

• X, y = load_breast_cancer(return_X_y=True) — carga 569 muestras, 30 características numéricas, objetivo binario (~63% de división maligno-benigno, desbalance leve pero no extremo).
• groups = np.repeat(...) — fabrica 56 “sitios” sintéticos de ~10 muestras cada uno. En un conjunto de datos médicos real, esto sería el ID del hospital; aquí solo queremos el efecto estructural.
• model = make_pipeline(StandardScaler(), LogisticRegression(max_iter=5000)) — el pipeline evita la fuga de datos del escalador. El alto max_iter evita advertencias de convergencia en algunos folds.
• report(...) — la utilidad imprime la media, la desviación estándar y el número de puntuaciones. La n importa: 5-fold te da 5 números, LOO te da N, y RepeatedStratifiedKFold(n_repeats=10) te da 50 — lo cual cambia cómo calcularías un intervalo de confianza.
• GroupKFold(5) y groups=... — ten en cuenta el kwarg: GroupKFold necesita el argumento groups en el momento de cross_val_score, no en la construcción del divisor. Un error común es olvidar el kwarg y obtener un error “groups cannot be None”.

Por qué difieren las medias:

• Media de 5-fold plano ≈ media de 5-fold estratificado. El desbalance marginal no es suficiente para sesgar la media, solo la varianza.
• La media de GroupKFold cae 1.3 puntos. Dejar fuera un sitio entero significa que el modelo nunca ha visto el protocolo de medición, el ruido de etiqueta o la mezcla de pacientes de ese sitio. La brecha de 1.3 puntos es la diferencia entre “el rendimiento en un paciente nuevo de un sitio familiar” y “el rendimiento en un paciente de un sitio nuevo” — y el segundo número es el que coincide con tu despliegue.
• La media de LOO es 0.974, ligeramente inferior al 0.978 de 5-fold. Este es el sesgo clásico de LOO: los conjuntos de entrenamiento de LOO son casi todos los datos, por lo que el modelo es ligeramente más complejo que lo que entrena 5-fold, y el punto de prueba es un solo caso difícil en lugar de una mezcla estratificada.

CV anidada: la única forma honesta de ajustar y reportar

La validación cruzada de un solo bucle ajusta los hiperparámetros en los mismos pliegues utilizados para evaluar el modelo. Con suficientes ensayos (puntos de la cuadrícula, búsquedas aleatorias, iteraciones de Optuna), la búsqueda encuentra hiperparámetros que se aprovechan de los límites específicos de los pliegues — un sesgo optimista pequeño pero real. La solución es dos bucles: el bucle externo produce k puntajes de prueba honestos, cada uno calculado sobre un modelo cuyos hiperparámetros se seleccionaron utilizando únicamente los datos de entrenamiento internos correspondientes.

from sklearn.model_selection import KFold, GridSearchCV, cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.datasets import load_breast_cancer

X, y = load_breast_cancer(return_X_y=True)

inner = KFold(n_splits=3, shuffle=True, random_state=0)
outer = KFold(n_splits=5, shuffle=True, random_state=1)

pipe = make_pipeline(StandardScaler(), SVC())
grid = {"svc__C": [0.01, 0.1, 1, 10], "svc__gamma": ["scale", "auto"]}

tuner = GridSearchCV(pipe, grid, cv=inner, scoring="roc_auc", n_jobs=-1)
nested_scores = cross_val_score(tuner, X, y, cv=outer, scoring="roc_auc")
print("Nested CV AUC:", nested_scores.mean().round(3), "±", nested_scores.std().round(3))
# Nested CV AUC: 0.989 ± 0.006

# Naive single-loop version for comparison
naive = cross_val_score(tuner, X, y, cv=inner, scoring="roc_auc")
print("Single-loop AUC:", naive.mean().round(3), "±", naive.std().round(3))
# Single-loop AUC: 0.992 ± 0.008  -- slightly optimistic

La diferencia de 0.003 puntos en este conjunto de datos limpio es pequeña; en datos ruidosos con una cuadrícula amplia puede ser de 1–2 puntos de AUC, lo cual marca la diferencia entre “superamos la línea base” y “no la superamos”. El valor de un solo bucle es lo que obtienes si escribes el código ingenuo; el valor anidado es el que debes reportar.

Walk-forward en una serie casi real

import numpy as np
import pandas as pd
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.metrics import mean_squared_error

# 60 months of seasonal + trend + noise
t = np.arange(60)
y = 0.1*t + 5*np.sin(2*np.pi*t/12) + np.random.default_rng(0).normal(0, 1, 60)
df = pd.DataFrame({"y": y, "t": t, "month": (t % 12) + 1})

model = GradientBoostingRegressor(random_state=0)
scores, preds = [], []
horizon = 3
for start in range(24, len(df) - horizon, horizon):
    train = df.iloc[:start]
    test  = df.iloc[start:start+horizon]
    model.fit(train[["t", "month"]], train["y"])
    p = model.predict(test[["t", "month"]])
    scores.append(mean_squared_error(test["y"], p))
print("Walk-forward MSE:", np.mean(scores).round(3))
# Walk-forward MSE: 1.247

Los primeros 24 meses son el burn-in; a partir de ahí la ventana de entrenamiento solo crece. Este es el esquema de rolling-origin de Bergmeir & Hyndman (2014). Las variantes incluyen una ventana móvil (descartar datos antiguos a medida que se avanza), que es mejor para series con deriva, y una ventana purgada (descartar las h observaciones inmediatamente antes del bloque de prueba para evitar fugas directas provenientes de vecinos correlacionados).

Casos límite y errores comunes

Error 1: barajar una serie temporal. Ya se cubrió anteriormente; la métrica se verá excelente y el modelo será inútil. Síntoma: AUC de entrenamiento ≈ AUC de CV ≫ AUC de prueba.

Error 2: ajustar el escalador / imputador / codificador fuera del pipeline. Usa make_pipeline o Pipeline. Cualquier cosa calculada sobre todas las filas — incluidas las cargas de PCA, las codificaciones del objetivo, los conjuntos de vocabulario y los centros de clúster de kmeans usados como características — es un vector de fuga de datos.

Error 3: ajustar los hiperparámetros en el pliegue de prueba. Si llamas a GridSearchCV y luego a cross_val_score sobre los mismos datos con los mismos pliegues, la segunda llamada es una reevaluación de los hiperparámetros ya ajustados en las mismas particiones. No es una validación cruzada anidada; simplemente es ejecutar la misma validación cruzada dos veces. Envuelve todo el GridSearchCV dentro del cross_val_score externo.

Error 4: reportar la puntuación del bucle interno de la validación cruzada anidada. El promedio interno es un artefacto del ajuste; es el mejor alcanzable en los pliegues internos, sesgado al alza. Solo las puntuaciones externas son honestas.

Error 5: elegir k observando la puntuación de la validación cruzada. “La validación con 5 pliegues dio 0.91, la de 10 pliegues dio 0.92, usaré 10.” La diferencia es ruido de muestreo, no una señal real. Elige k basándote en el trade-off sesgo-varianza, no en la puntuación que produce.

Error 6: ignorar la desviación estándar. Una media de 0.90 ± 0.02 y una media de 0.90 ± 0.10 son modelos muy diferentes. Reporta ambas, o reporta un intervalo de confianza. Con solo 5 pliegues, la propia desviación estándar tiene una alta incertidumbre; RepeatedStratifiedKFold te da un muestreo más denso de la varianza.

Error 7: GroupKFold sin pasar groups=. El divisor lanza una excepción en el momento del ajuste. Pasa groups= a cross_val_score, no al constructor del divisor.

Error 8: estratificar con la variable equivocada. StratifiedKFold estratifica sobre y. Si tu clase rara está en una característica (p. ej., el grupo minoritario de un atributo sensible), necesitas un divisor personalizado o StratifiedGroupKFold con claves combinadas.

Error 9: usar LOO en clasificación con una función de decisión dura. Los conjuntos de prueba de LOO tienen N=1, por lo que la precisión es 0 o 1 por pliegue. La desviación estándar parece alarmante, pero es solo ruido Bernoulli; la media sigue siendo interpretable, pero las comparaciones pareadas se vuelven ruidosas. Prefiere LOO para regresión o para métricas probabilísticas estilo neg_log_loss, donde la puntuación por pliegue es continua.

Error 10: usar la validación cruzada como el número final. La validación cruzada es una estimación de la generalización. El número final implementado es el del conjunto de prueba, ejecutado una vez, con datos que el modelo nunca ha visto, e idealmente recopilados después de que el modelo se haya congelado. La validación cruzada por sí sola no te protege del cambio de distribución entre el entrenamiento y la producción; para eso sirven el conjunto de prueba reservado y el monitoreo continuo.

Error 11: validación cruzada de series temporales con ventanas de prueba superpuestas. Si no purgas el espacio entre entrenamiento y prueba en el esquema walk-forward, las características lag-1 producen fuga de datos. Para un horizonte h, descarta las h observaciones inmediatamente anteriores al bloque de prueba del entrenamiento.

Error 12: usar cv=5 (int) en cross_val_score para clasificación. sklearn despacha automáticamente a StratifiedKFold para clasificadores y a KFold para regresores — pero solo si pasas un entero. Si pasas cv=KFold(5) obtienes pliegues simples (no estratificados) incluso en clasificación, lo que puede producir un pliegue con cero ejemplos positivos.

Referencias cruzadas

• ¿Qué es la validación cruzada y cómo evitar hacerla mal? — el artículo fundacional; esta referencia es su catálogo complementario.
• Validación cruzada anidada: cómo afinar tu modelo sin engañarte a ti mismo — un análisis profundo del patrón de dos bucles.
• Validación cruzada en series temporales: por qué k-fold falla con datos temporales — las variantes walk-forward y de ventana móvil en detalle.
• Por qué tu modelo se ve excelente en el entrenamiento pero falla en producción — el panorama general sobre la fuga de datos, incluyendo la fuga por grupos y la distinción entrenamiento/validación/prueba.
• Curvas de calibración: cuándo las probabilidades de tu modelo son incorrectas — qué hacer después de que CV indique que tu modelo está bien, pero las probabilidades aún no.

Lecturas recomendadas

• Stone, M. (1974). Cross-validatory choice and assessment of statistical predictions. Journal of the Royal Statistical Society, Series B, 36(2), 111–147. La formulación original de LOO/CV.
• Kohavi, R. (1995). A study of cross-validation and bootstrap for accuracy estimation and model selection. IJCAI. La comparación experimental clásica de k-fold, leave-one-out y bootstrap; argumenta a favor del 10-fold estratificado.
• Bergmeir, C., & Hyndman, R. J. (2014). Note on the invalidity of cross-validation for evaluating autoregressive time series prediction. Computational Statistics & Data Analysis. Por qué el CV ordinario es sesgado para series de tiempo y qué usar en su lugar.
• Kaggle: Porto Seguro’s Safe Driver Prediction — una competencia canónica de datos tabulares desbalanceados donde la divergencia en el leaderboard público entre un CV simple y uno estratificado es el tema central. Compara tu CV estratificado local con un 5-fold simple y observa cómo cambia el ranking.
• Guía de usuario de scikit-learn, Validación cruzada: evaluación del rendimiento de un estimador y Ajuste de los hiperparámetros de un estimador — la referencia canónica de la API para KFold, StratifiedKFold, GroupKFold, TimeSeriesSplit y el patrón de CV anidado.