Validación y Análisis · Tema 44

Documentación de experimentos

La memoria miente y el chat se pierde: la ficha del experimento registra objetivo, diseño, datos, código y por qué se decidió.

01 · Punto de partida

Sin ficha no hubo experimento

Seis meses después nadie recuerda por qué w = 6, qué semillas dieron «válido» ni qué atípico se descartó. Sin ficha, repetir es adivinar y auditar es imposible (Temas 42–43). Documentar es parte del experimento, no el epílogo.

  • ¿Qué pregunta y qué Δ se fijaron?
  • ¿Qué diseño, datos y código corrieron?
  • ¿Qué salió y qué se decidió (y por qué)?
  • ¿Otro entiende todo sin preguntarte?

02 · Definición

Qué registra cada sección

◎

Objetivo + diseño

Pregunta, Δ, métrica, matriz, n, w, T, α. Lo fijado antes (Temas 27–28, 36–37).

▤

Evidencia

Datos (hash), código (commit), semillas, limpieza, tablas y gráficos (Tema 40) con n.

✎

Decisión + motivo

Veredicto con IC, efecto y riesgo (Temas 38–39, 41–42): qué, por qué y qué haría cambiarlo.

Ficha mínima en una página.
SecciónContieneSin esto…
ObjetivoPregunta, Δ, uso…no se sabe qué se decidió
DiseñoMatriz, n, w, T, semillas…no se puede repetir
EvidenciaTablas, IC, gráficos…el veredicto es opinión
DecisiónVeredicto + motivo + riesgo…nadie sabe qué hacer

03 · Método

Cuaderno vivo en 5 hábitos

  1. 1
    Abrir ficha antes de correr.

    Objetivo + diseño pre-registrados. Correr sin ficha es explorar, no confirmar.

  2. 2
    Versionar config, no copiar números.

    Un YAML/JSON con factores, n, w, T, semillas bajo git. Los números sueltos se pudren.

  3. 3
    Pegar resultados generados.

    Tablas y figuras salidas del script, nunca re-escritas a mano. Lo manual miente.

  4. 4
    Decidir por escrito con ADR.

    Registro de decisión: contexto, opciones, veredicto, motivo y qué lo revertiría.

  5. 5
    Cerrar con manifiesto (Tema 43).

    Commit, hash, semillas, entorno y comando. Ficha sin manifiesto es borrador.

abrir + config→correr + pegar→ADR + manifiesto

04 · Plantilla y anti-patrones

Una página que alcanza

Sirve

Ficha de una página

Objetivo, diseño, evidencia (tabla + IC), veredicto + riesgo + manifiesto. Se lee en 3 minutos y se repite en 30.

No sirve

Volcán de 30 páginas

Nadie lo lee ni lo mantiene. Detalle en anexos generados; decisión en una página.

ADR
Decision Record: fecha, contexto, opciones, decisión, motivo, reversión. El porqué sobrevive al quién.
Config versionada
La receta exacta: factores, niveles, n, w, T, semillas, tol. Sin config no hay trazabilidad.
Diario
Fecha + intento + resultado + siguiente paso. Lo que no se anota se repite (mal).

05 · Representación en Python

Ficha generada, no escrita a mano

Python en tu navegador. La ficha exige las cinco; si falta una, grita.

ficha = {
    "objetivo": "comparar tope 14 vs 18 (Δ=1)",
    "diseno": "2² entrada±1 salida±1, n=16, w=4",
    "evidencia": "d=1.2 IC[0.4,2.0], MAE 0.5",
    "decision": "obra solo si pico (umbral)",
    "manifiesto": "a3f9c1e + maestra 7",
}
faltan = [k for k in ["objetivo","diseno","evidencia","decision","manifiesto"] if k not in ficha]
print("completa" if not faltan else f"faltan {faltan}")

Cinco presentes: auditable. Quitá «decision» y la ficha es un informe sin final.

Config que se versiona

config = {"tope": [14, 18], "n": 16, "w": 4, "maestra": 7, "tol": 1.0}
print(config, "(un dict bajo git vale más que 10 párrafos)")

06 · Exploración

Laboratorio: completitud de la ficha

Activá las 5 secciones (20 puntos cada una). La decisión con motivo pesa doble en la práctica: sin ella la ficha informa pero no decide. Llegá a 100.

EXPERIMENTO 44

Ficha que audita sola

5 × 20 = 100 · sin decisión no hay ficha

Los resultados numéricos aparecen debajo.
Completitud100
Falta crítica—
Nivel—
Veredicto—

Ficha completa: otro decide sin preguntarte.

Barras: objetivo (20), diseño (20), evidencia/datos (20), decisión (20), manifiesto (20). Sin decisión la ficha no decide.

Preguntas para explorar

  1. Apagá decisión: ¿puntaje y veredicto? ¿Por qué un informe sin veredicto no es ficha?
  2. Apagá objetivo con todo lo demás: ¿puntaje? ¿De qué sirve evidencia perfecta sin pregunta?
  3. Con diseño+datos a medias (1/2): ¿nivel? ¿Qué se pierde para repetir?
Ver respuestas sugeridas
  1. 80 pero «incompleta»: informa sin decidir. La decisión con motivo es la razón de la ficha.
  2. 80 también: números huérfanos sin pregunta ni Δ. Evidencia sin objetivo no valida nada.
  3. Parcial (~90): se entiende pero no se repite bit a bit. Para 100 faltan config y hash exactos.

07 · Comprensión

Confusiones frecuentes

«Documento al final»

Al final no hay memoria ni tiempo: ficha abierta antes, cerrada al decidir. Documentar es experimentar.

«Con el script alcanza»

Script sin objetivo ni decisión es arqueología. La ficha dice por qué se corrió y qué se resolvió.

«ADR es burocracia»

Es el porqué que sobrevive al equipo: 5 líneas que evitan re-discutir todo en 6 meses.

«Capturas documentan»

Sin código, config y datos son postales. Todo número cita su generador o no existe.

08 · Práctica guiada

Ejercicios con Python

Ejercicio 1: auditar ficha

¿Completa sin «decision»?

f = {"objetivo":1, "diseno":1, "evidencia":1, "manifiesto":1}
print("Falta decision: informa, no decide (80/100)")
Ver solución razonada

Incompleta: el lector sabe qué pasó pero no qué hacer. La decisión con motivo cierra la ficha.

Ejercicio 2: ADR en 5 líneas

Redactá el ADR del tope.

print("Obra solo si pico: d=1.2 [0.4,2.0] supera Δ; revierte si sequía>-40%")
Ver solución

Contexto, opciones, decisión, motivo y reversión en una línea cada uno: ADR mínimo viable.

Ejercicio 3: config versionada

¿Qué versionar del experimento?

Ver una posible respuesta
print({"factores":2, "n":16, "w":4, "maestra":7, "tol":1.0})

Todo lo que cambia el resultado: factores, n, w, T, semillas, tol. Lo demás es prosa.

09 · Síntesis

Ideas para recordar

  • Ficha en 5: objetivo, diseño, evidencia, decisión + manifiesto.
  • Abrir antes, config versionada, resultados generados, ADR que cierra.
  • Sin decisión no hay ficha; sin manifiesto no hay auditoría.
  • Una página que decide > volcán que nadie lee.
  • Lo no escrito se olvida y se repite mal.

En el próximo tema presentaremos como se debe: presentación de resultados.