Validación predictiva

01 · Punto de partida

Del retrovisor al parabrisas

La validación histórica (Tema 6) juzga con el pasado conocido. La validación predictiva apuesta: congelás el modelo hoy, declarás qué esperás para los próximos pasos y con qué margen, y recién después medís. No hay atajo más honesto.

• ¿Qué horizonte tiene sentido pronosticar?
• ¿Con qué intervalo de predicción te comprometés?
• ¿Cuándo un pronóstico fallido invalida el modelo?
• ¿Cómo distinguir mala suerte de modelo roto?

02 · Definición

Pronóstico, horizonte e intervalo

03 · Método

Protocolo de apuesta honesta

1. 1
   Congelar hoy.

   Fijá parámetros, balance y código con datos hasta t. Nada de retocar después de ver el futuro.

2. 2
   Pre-registrar pronóstico + intervalo + horizonte + éxito.

   Ej.: «t+1…t+6, ŷ ± 2, éxito si MAE ≤ 1,5 y cobertura ≥ 5/6». Escrito y fechado.

3. 3
   Esperar y medir sin intervenir.

   Los datos futuros se recogen con el mismo instrumento y protocolo que los pasados.

4. 4
   Contrastar punto y cobertura.

   Un pronóstico puntual bueno con cobertura mala es sobreconfianza; cobertura total con intervalo gigante es vaguedad.

5. 5
   Dictaminar y acotar el horizonte validado.

   «Válido hasta h=6 con IP ±2. Más allá, no garantizado». (Temas 32–33)

04 · Intervalos y deriva

Ancho honesto y fecha de vencimiento

Sobreconfianza

Intervalo angosto con baja cobertura: el modelo dice saber más de lo que sabe. Se corrige ensanchando o reduciendo horizonte.

Vaguedad

Intervalo tan ancho que siempre cubre pero no decide nada («entre 0 y 30»). Cubre 100% y vale 0.

Horizonte validado

El h máximo donde MAE y cobertura cumplen. Más allá, el modelo es extrapolación sin garantía.

05 · Representación en Python

Pronosticar con intervalo y juzgar cobertura

pasado = [10, 11, 12, 13, 14, 15, 16]  # hasta hoy (t=6)
futuro_real = [17, 18, 19, 20, 21, 22]   # aún no existía al pronosticar
H, ANCHO, TOL = 6, 2.0, 1.5  # horizonte, intervalo ±, éxito MAE

pron = [16 + 1 * (h + 1) for h in range(H)]  # modelo congelado: 10 + t
mae = sum(abs(p - r) for p, r in zip(pron, futuro_real)) / H
cob = sum(abs(p - r) <= ANCHO for p, r in zip(pron, futuro_real)) / H
print("pron:", pron)
print(f"MAE futuro: {mae:.2f} (éxito si <= {TOL})")
print(f"cobertura IP ±{ANCHO}: {cob:.0%}")
print("Veredicto:", "Válido hasta h=6" if mae <= TOL and cob >= 5/6 else "Rechazado")

MAE 0 y cobertura 100%: el futuro acompañó. Cambiá un valor del futuro (deriva) y observá cómo cae primero la cobertura.

Deriva a mitad del horizonte

futuro_deriva = [17, 18, 22, 23, 24, 25]  # el sistema cambió en h=3
mae2 = sum(abs(p - r) for p, r in zip(pron, futuro_deriva)) / H
cob2 = sum(abs(p - r) <= ANCHO for p, r in zip(pron, futuro_deriva)) / H
print(f"MAE con deriva: {mae2:.2f} | cobertura: {cob2:.0%}")
print("Lectura: el modelo era bueno; el sistema mutó. Revalidar.")

06 · Exploración

Laboratorio: apuesta al futuro con abanico

Hoy es t=6. El modelo pronostica 6 pasos con intervalo que se ensancha. Mové el horizonte comprometido (¿hasta dónde validás?), la deriva futura (¿el sistema cambia a mitad de camino?) y el ancho base del intervalo. La zona gris es pasado; el abanico lima, tu apuesta.

Puntos verdes: futuro medido después de la apuesta. Línea lima: pronóstico congelado en t=6. El abanico se ensancha con h: honestidad visual de la incertidumbre.

Preguntas para explorar

1. Sin deriva y ancho 1,5: achicá el horizonte a 2 y luego a 6. ¿MAE y cobertura mejoran acortando? ¿Qué horizonte firmarías?
2. Subí la deriva a +1,0 con horizonte 6. ¿Dónde se rompe la cobertura: al inicio o al final? ¿Por qué eso delata deriva y no ruido?
3. Con deriva +1,0: ensanchá el intervalo a ±3. ¿Recuperás cobertura? ¿A qué costo para decidir?

07 · Comprensión

Confusiones frecuentes

08 · Práctica guiada

Ejercicios con Python

Ejercicio 1: pre-registrar y juzgar

Juzgá esta apuesta con su propio criterio (MAE ≤ 1,0 y cobertura ≥ 4/5).

pron = [16, 17, 18, 19, 20]
fut = [16, 18, 18, 20, 25]  # el último es deriva
ANCHO = 1.5
mae = sum(abs(p-r) for p, r in zip(pron, fut)) / len(fut)
cob = sum(abs(p-r) <= ANCHO for p, r in zip(pron, fut)) / len(fut)
print(f"MAE {mae:.2f} | cobertura {cob:.0%}")
print("¿Pasa MAE≤1.0 y cobertura≥80%?")

Ejercicio 2: horizonte validado

¿Hasta qué h cumple este pronóstico con tolerancia 1,0?

pron = [16, 17, 18, 19, 20, 21]
fut = [16, 17, 18, 20, 22, 24]
for h in [2, 4, 6]:
    m = sum(abs(p-r) for p, r in zip(pron[:h], fut[:h])) / h
    print(f"h={h}: MAE {m:.2f} {'OK' if m <= 1.0 else 'falla'}")

Ejercicio 3: sobreconfianza vs. vaguedad

Compará dos intervalos para el mismo pronóstico y elegí el honesto.

pron = [16, 17, 18, 19]
fut = [16, 18, 19, 20]
for ancho in [0.5, 5.0]:
    cob = sum(abs(p-r) <= ancho for p, r in zip(pron, fut)) / len(fut)
    print(f"±{ancho}: cobertura {cob:.0%}")

09 · Síntesis

Ideas para recordar

En el próximo tema sumaremos el juicio humano: la validación por expertos.