Validación histórica

01 · Punto de partida

El pasado ya trae la respuesta escrita

La validación histórica (backtesting) es simple: congelás el modelo, lo hacés «predecir» un período pasado que ya mediste y comparás. Si con el diario del lunes no acierta, el problema no es la incertidumbre del futuro: es el modelo.

• ¿Qué período pasado es un juez justo?
• ¿Cómo evitar que el modelo «espíe» el futuro?
• ¿Cuándo un buen pasado garantiza poco futuro?
• ¿Cómo distinguir ajuste genuino de sobreajuste?

02 · Definición

Backtesting honesto en una frase

03 · Método

Protocolo sin autoengaño

1. 1
   Reunir la serie con su contexto.

   Fechas, instrumentos, huecos y atípicos documentados. Un pasado sin contexto es una novela.

2. 2
   Congelar modelo y tolerancia.

   Balance, tope y MAE admisible se firman antes de tocar la ventana de prueba.

3. 3
   Cortar en entrenamiento / prueba.

   Ej.: calibrar con t=0…6, probar con t=7…12. El corte se elige por uso, no para que «pase».

4. 4
   Reproducir sin mirar adelante.

   Cada punto de prueba se genera solo con información previa al corte más la dinámica, nunca con el dato real futuro.

5. 5
   Comparar MAE train vs. test.

   Si el train es excelente y el test se derrumba, hay sobreajuste: el modelo memorizó, no comprendió.

04 · Riesgos

Cómo mentirte con el pasado

No estacionariedad

El pasado cambió de régimen (nueva tarifa, pandemia, capacidad). Reproducir 2019 no valida 2024 si el sistema mutó.

Atípicos

Un corte de luz o un feriado distorsionan el MAE. Se investigan y documentan, no se borran en silencio.

Ventana cómoda

Elegir el único período donde el modelo brilla. Se evita con ventanas múltiples y corte pre-registrado.

05 · Representación en Python

Backtesting en 15 líneas

El patrón es fijo: partir la serie, simular solo con el pasado de entrenamiento y medir por separado.

real = [10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22]
CORTE = 7  # entrenar con 0..6, probar con 7..12 (fijado antes)
TOL = 1.0

def simular(inicio, balance, pasos):
    return [inicio + balance * (t + 1) for t in range(pasos)]

train_real, test_real = real[:CORTE], real[CORTE:]
# El modelo solo "vio" el train para elegir balance=1 e inicio=10
sim_full = simular(10, 1, len(real))
sim_test = sim_full[CORTE:]

def mae(a, b):
    return sum(abs(x - y) for x, y in zip(a, b)) / len(a)

print("train:", train_real)
print("test: ", test_real)
print(f"MAE train: {mae(sim_full[:CORTE], train_real):.2f}")
print(f"MAE test:  {mae(sim_test, test_real):.2f} (tolerancia {TOL})")

Con serie perfecta el test da 0. Agregá ruido o un atípico al final y mirá cómo el test sufre lo que el train no vio.

Walk-forward: nada de espiar

real2 = [10, 11, 12, 20, 14, 15, 16, 17, 18, 19, 20, 21, 22]
errores = []
for corte in [5, 7, 9]:
    s = simular(10, 1, len(real2))
    e = mae(s[corte:], real2[corte:])
    errores.append(e)
    print(f"corte {corte}: MAE test = {e:.2f}")
print(f"MAE promedio walk-forward: {sum(errores)/len(errores):.2f}")

06 · Exploración

Laboratorio: train frente a test

La realidad es 10 + t + ruido con un atípico en t=10. Tu modelo propone 10 + (1+sesgo)·t. Mové el corte (dónde termina el entrenamiento), el sesgo y el ruido. La zona sombreada izquierda es entrenamiento; la derecha, prueba ciega.

Puntos verdes: historia medida (con atípico en t=10). Línea lima: backtest del modelo. La línea vertical marca el corte: a la izquierda se calibró, a la derecha se juzga.

Preguntas para explorar

1. Con sesgo 0 y ruido 0,6: compará MAE train y test con corte 7. ¿Por qué el test es mayor aunque el modelo sea correcto? ¿Qué rol juega el atípico?
2. Poné sesgo +1. ¿Train y test se degradan parejo o el test castiga más? ¿Eso es sobreajuste o sesgo estructural?
3. Mové el corte a 10 (dejando el atípico en el train) y luego a 9 (dejándolo en el test). ¿Cómo cambia el veredicto sin tocar el modelo?

07 · Comprensión

Confusiones frecuentes

08 · Práctica guiada

Ejercicios con Python

Ejercicio 1: partir sin espiar

Partí esta serie en train (0…5) y test (6…11) y medí ambos MAE. ¿Hay brecha sospechosa?

real = [10, 11, 13, 13, 14, 15, 16, 17, 19, 19, 20, 21]
sim = [10 + 1*(t+1) for t in range(len(real))]
def mae(a, b):
    return sum(abs(x-y) for x, y in zip(a, b)) / len(a)
print("train:", round(mae(sim[:6], real[:6]), 2))
print("test: ", round(mae(sim[6:], real[6:]), 2))

Ejercicio 2: detectar la fuga de futuro

Este código «normaliza» con toda la serie antes de partir. ¿Dónde está la fuga?

serie = [10, 11, 12, 13, 14, 15, 16, 17]
media_total = sum(serie) / len(serie)  # usa el futuro del test
train = [x - media_total for x in serie[:4]]
print("Fuga: la media incluye t=4..7 para centrar t=0..3")

Ejercicio 3: walk-forward mínimo

Promediá el MAE test en tres cortes y dictaminá con tolerancia 1,0.

real = [10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22]
def simular(inicio, balance, pasos):
    return [inicio + balance*(t+1) for t in range(pasos)]
s = simular(10, 1, len(real))
ms = []
for c in [5, 7, 9]:
    m = sum(abs(x-y) for x, y in zip(s[c:], real[c:])) / (len(real)-c)
    ms.append(m)
    print(c, round(m, 2))
print("promedio:", round(sum(ms)/len(ms), 2), "-> Válido" if max(ms) <= 1.0 else "-> revisar")

09 · Síntesis

Ideas para recordar

En el próximo tema daremos el paso más exigente: la validación predictiva con datos que nadie vio.