Validación y Análisis · Tema 46

Proyecto de validación y análisis

El curso entero en un caso: tanque verificado, calibrado, validado y comunicado con informe que firma. Tu diploma es este proyecto.

01 · Punto de partida

El caso: ¿ampliar el tanque a 18?

La planta duda entre tope 14 (actual) y obra a 18. El modelo promete decidir con datos de 12 semanas, tolerancia ±1,0 y riesgo declarado. Tu proyecto recorre los 46 temas en 5 fases y entrega informe de una página + ficha + código.

  • ¿El simulador obedece al papel (T1–T4)?
  • ¿Reproduce el pasado y anticipa (T5–T8)?
  • ¿Con qué precisión y réplicas (T9–T33)?
  • ¿Qué decide y con qué riesgo (T34–T45)?

02 · Alcance y entregables

Qué entregar para aprobar

⚙

Código

Spec auditada (T2), suite 6/6 (T3), Welford en vivo (T25), semillas + manifiesto (T43). Un comando repite todo.

▤

Evidencia

Backtest + predictiva (T6–T7), bondad/test (T12–T17), IC con n* (T26–T28), warmup + lotes (T30–T33).

🗣

Informe

Titular + tabla + gráfico honesto (T40, T45), frase con riesgo (T41) y ficha + ADR (T44).

Rúbrica mínima (cada fila exige evidencia).
FaseVeredicto exigidoTemas
VerificaciónSuite 6/6 + spec auditada1–4
Calibraciónθ* en train, juicio en test9, 18–19
ValidaciónMAE ≤ tol + tests + expertos5–8, 12–17
Experimentaciónn* + IC + escenarios26–28, 34–38
ComunicaciónInforme + ficha + réplica39–45

03 · Fases paso a paso

El camino en 5 semanas (o 5 días intensos)

  1. 1
    Verificar (T1–T4, T29–T31).

    Spec + suite + trazas + semillas + w. Sin 6/6 no se sigue: todo lo demás sería validar un bug.

  2. 2
    Datos y calibración (T9–T11, T18–19).

    Linaje, limpieza, θ* por grilla/MV en train. Guardar test sellado.

  3. 3
    Validar (T5–T8, T12–T17, T20–T22).

    Histórica, predictiva, expertos, bondad, MAE/MAPE/RMSE. Dictamen con tolerancia.

  4. 4
    Experimentar (T26–T28, T32–T38).

    IC, n*, longitud, estacionario, sensibilidad, escenarios, factorial, alternativas.

  5. 5
    Comunicar (T39–T45).

    Interpretar sin p-hacking, graficar honesto, frase con riesgo, ficha + informe que firma.

verificar→calibrar→validar→experimentar→comunicar

04 · Criterios de éxito

Aprobado, no perfecto

Aprueba

Honesto y completo

Suite verde, test sellado, IC con n*, informe con riesgo y réplica de un colega. Veredicto justificado aunque sea «no válido».

No aprueba

Brillante pero ciego

Gráficos lindos sin semillas, MAE sin tolerancia, p-hacking o «válido» sin test. Forma sin fondo.

«No válido» aprueba
Un «no válido con evidencia» (MAE 2,1 > 1,0, test sellado) vale más que un «válido» maquillado. Honestidad > optimismo.
Riesgo declarado
α, potencia, supuestos S y colas en el informe (Temas 41–42). Sin riesgo no hay firma.
Réplica externa
Un colega corre tu comando y obtiene tus tablas. Sin eso el proyecto es borrador (Tema 43).

05 · Esqueleto en Python

El proyecto mínimo que integra todo

Python en tu navegador. Spec, suite, calibración, validación e IC en 30 líneas.

import math, random
# 1. Spec + simulador verificado (T2-T3)
def simular(n0, ent, sal, tope, pasos):
    n, h = n0, []
    for _ in range(pasos):
        n = max(0, min(tope, n + ent - sal))
        h.append(n)
    return h
assert simular(10, 3, 2, 14, 3) == [11, 12, 13]
# 2. Calibrar balance en train (T9)
train = [11, 12, 13, 14, 15, 16]
mejor = min([round(0.5+0.25*k, 2) for k in range(7)],
            key=lambda b: sum(abs(s-r) for s, r in zip(simular(10, b, 2, 14, 6), train))/6)
# 3. Validar en test + IC (T5, T26)
test = [17, 18, 19, 20, 21, 22]
sim_t = simular(10, mejor, 2, 14, 12)[6:]
mae = sum(abs(s-r) for s, r in zip(sim_t, test))/len(test)
print(f"theta*={mejor} MAE test={mae:.2f} (tol 1.0: {'Válido' if mae <= 1.0 else 'No válido'})")

θ* = 1,0, MAE test = 0,00: el caso ideal valida. Tu proyecto real tendrá ruido: IC, n* y riesgo completan.

Manifiesto que cierra

print({"commit": "proyecto-v1", "maestra": 7, "n": 64, "w": 4, "tol": 1.0})

06 · Exploración

Laboratorio: tablero del proyecto

Tu balance calibrado, tus réplicas n y tu w alimentan 4 semáforos: suite (¿código obedece?), MAE test ≤ 1 (¿valida?), EE ≤ 0,25 (¿preciso?) y truncado aplicado. El global solo da verde con los 4. Llegá al verde honesto.

EXPERIMENTO 46

Tablero integrador final

4 verdes = proyecto que firma

Los resultados numéricos aparecen debajo.
MAE test0,00
EE (s=2)0,00
Verdes4 / 4
Global—

Con θ*=1, n=64 y w=4: 4 verdes. Proyecto que firma.

Barras: suite (código), validación (MAE), precisión (EE) y truncado (w). Verde = pasa; rojo = falla con motivo.

Preguntas para explorar

  1. Con θ*=1, n=64 y w=4: ¿MAE, EE y verdes? ¿Global?
  2. Mové θ* a 1,5 sin tocar lo demás: ¿qué semáforo cae? ¿El proyecto sigue firmando?
  3. Poné w=0 con θ* correcto: ¿qué semáforo cae? ¿Por qué un detalle «menor» voltea el global?
Ver respuestas sugeridas
  1. MAE ≈ 0, EE = 0,25, 4/4 verdes: firma. Cada fase respalda a la siguiente.
  2. Cae validación (MAE ≈ 3 > 1): global rojo. Calibración errada invalida aunque el código sea perfecto.
  3. Cae truncado (w=0 con arranque vacío): sesgo −2 contamina. Lo «menor» era estructural: sin w no hay régimen.

07 · Comprensión

Cómo reprobar con brillo

«Valido y después verifico si hay tiempo»

Validar un bug es decorar un error (Temas 1–4). Sin suite verde no hay proyecto: hay demo.

«Calibro y valido con lo mismo»

Circular (Temas 6, 9): el test debe ser sellado. Sin test fresco no hay veredicto.

«Informe lindo compensa n chico»

No: IC ancho es «no concluyente» aunque el gráfico sea hermoso (Temas 26–28, 40).

«Dejo supuestos y riesgo para el final»

Sin S ni riesgo no hay firma (Temas 41–42). El final es para pulir, no para inventar.

08 · Práctica guiada

Tres hitos que entregan

Hito 1: verificación que blinda

¿Suite mínima que exige?

print("6 asserts exactos + invariante + determinismo + historia dorada (T3)")
Ver solución razonada

Sin esos 6 el código no obedece al papel. Hito 1 = suite verde + spec auditada + semillas.

Hito 2: validación que juzga

¿MAE + test que dictaminan?

print("MAE test ≤ tol + chi/K-S + predictiva + frase con riesgo (T5-T17, T41)")
Ver solución

Hito 2 = veredicto con tolerancia previa, tests formales y riesgo declarado. «No válido» honesto aprueba.

Hito 3: informe que firma

¿Una página que decide?

Ver una posible respuesta
print("Titular + tabla(IC) + gráfico + riesgo + ficha/manifiesto (T43-T45)")

Hito 3 = decisor firma en 5 minutos y auditor repite en 30. Curso completo en una página + anexos.

09 · Síntesis y cierre

Lo que el curso te deja

  • Verificar antes de validar; calibrar en train y juzgar en test.
  • Medir con IC, n* y w; comparar con Δ y CRN; comunicar con riesgo.
  • Documentar para repetir; presentar para decidir.
  • Honestidad > optimismo: «no válido» con evidencia aprueba.
  • Tu proyecto verde en el tablero es tu diploma.

Volvé al índice, recoré los 46 temas con el tablero en verde y presentá tu proyecto: verificar, validar, experimentar y comunicar ya es tu oficio.