Datos para validación

01 · Punto de partida

Basura entra, veredicto sale

Un modelo validado con 5 datos prolijos de un solo día soleado no valida nada: valida ese día. Y un modelo «refutado» por un sensor descalibrado no refuta el modelo: acusa al instrumento. Antes de comparar (Tema 11) hay que responder:

• ¿De dónde viene cada dato y con qué instrumento?
• ¿Qué faltantes, duplicados y atípicos trae?
• ¿Cubren el rango donde se decidirá?
• ¿Alcanzan para la precisión que pedís (Temas 26–28)?

02 · Definición

Fuentes y dimensiones de calidad

03 · Método

Protocolo de datos en 5 pasos

1. 1
   Definir la necesidad desde el uso.

   «12 semanas de niveles, 1 dato/hora, rango 0–14 litros, con instrumento ±0,2». La necesidad manda, no lo disponible.

2. 2
   Relevar fuentes y linaje.

   Tabla: fuente, período, instrumento, responsable, licencia. Sin fila en esta tabla, el dato no existe para validar.

3. 3
   Limpiar con reglas pre-registradas.

   Faltantes: ¿interpolar, descartar, marcar? Atípicos: ¿umbral físico o estadístico? Todo antes de mirar el MAE.

4. 4
   Reservar y congelar el set de validación.

   Separar train/test (Temas 6–7) y congelar. Lo que se toca después de ver el error está contaminado.

5. 5
   Reportar cobertura y tamaño.

   «n útil = 34/40, cobertura 0–14 completa, hueco nocturno documentado». El dictamen cita estas cifras.

04 · Cantidad mínima

Cuántos datos alcanzan (y cuándo no)

Faltante

Ausencia documentada. Se cuenta y se reporta; interpolar sin declarar es inventar evidencia.

Atípico

Valor extremo con causa investigada (corte, feriado, error). Se decide con criterio físico primero, estadístico después.

Cobertura de rango

¿Hay datos en vacío, medio y tope? Validar solo el medio y decidir en el tope es extrapolación (Tema 9).

05 · Representación en Python

Limpiar con reglas, no con tijera

crudos = [11, 12, None, 13, 45, 14, 15, None, 16, -3, 17, 18]
TOPE, PISO = 14, 0  # rango físico del tanque (Tema 2)

faltantes = sum(1 for x in crudos if x is None)
presentes = [x for x in crudos if x is not None]
fuera_rango = [x for x in presentes if not (PISO <= x <= 25)]
# 45 se investiga: ¿rebalse real o error de tipeo? Aquí se marca, no se esconde
limpios = [x for x in presentes if PISO <= x <= 25]

print(f"total {len(crudos)} | faltantes {faltantes} | fuera de rango {fuera_rango}")
print(f"n útil {len(limpios)}/{len(crudos)} ({len(limpios)/len(crudos):.0%} completo)")
print("Decisión documentada: 45 y -3 a investigación, Nones a hueco")

n útil 10/12 (83%). Con menos del 70% completo o sin cobertura del tope, el veredicto sería «datos insuficientes».

Chequeo de cobertura del rango

datos = [2, 3, 4, 5, 6, 7, 8, 12, 13, 14]
tercios = {"bajo": 0, "medio": 0, "alto": 0}
for x in datos:
    tercios["bajo" if x < 5 else "alto" if x > 10 else "medio"] += 1
print(tercios)
print("¿Cubre vacío, medio y tope?" , all(v > 0 for v in tercios.values()))

06 · Exploración

Laboratorio: ¿alcanzan tus datos?

Generamos una historia de n mediciones con faltantes (huecos grises) y atípicos (naranjas, +6). Mové las tres perillas y observá n útil, % completo y la ancho relativo de incerteza ≈ 1/√n útil. Con poco n o muchos huecos, el veredicto honesto es «insuficiente» aunque el modelo sea bueno.

Puntos verdes: mediciones útiles. Grises: huecos (faltantes). Naranjas: atípicos a investigación. La línea punteada es la tendencia real 10 + 0,5·t.

Preguntas para explorar

1. Con n=30, 15% faltantes y 2 atípicos: ¿n útil e incerteza? Subí a n=48: ¿cuánto baja la incerteza? ¿Vale 4× datos para la mitad de incerteza?
2. Poné 40% faltantes con n=30. ¿% completo y veredicto? ¿Por qué el problema no es solo el n sino los huecos nocturnos que sesgan?
3. Con 6 atípicos: ¿los borrarías para «mejorar» el MAE? ¿Qué exige el protocolo antes de descartar uno solo?

07 · Comprensión

Confusiones frecuentes

08 · Práctica guiada

Ejercicios con Python

Ejercicio 1: contar lo útil, no lo total

¿n útil y % completo? ¿Dictaminarías o pedirías más datos?

serie = [10, 11, None, 12, 13, None, 99, 14, 15, 16]
utiles = [x for x in serie if x is not None and 0 <= x <= 30]
print(f"n útil {len(utiles)}/{len(serie)} = {len(utiles)/len(serie):.0%}")
print("99 a investigación; con 80% y huecos, pedir cobertura nocturna")

Ejercicio 2: cobertura antes que cantidad

40 datos del medio, 0 del tope. ¿Validan una decisión en el tope?

datos = [7]*40
print("tope cubierto:", any(x > 10 for x in datos))
print("Veredicto: no valida el tope, solo el medio")

Ejercicio 3: incerteza vs. n

¿Cuántos datos para partir la incerteza a la mitad?

import math
for n in [12, 48]:
    print(n, f"{1/math.sqrt(n):.0%}")
print("4x datos para mitad de incerteza")

09 · Síntesis

Ideas para recordar

En el próximo tema usaremos esos datos para la comparación entre datos reales y simulados.