Validación por expertos

01 · Punto de partida

El dato que no está en la base

Hay sistemas sin historia medible: una planta nueva, un protocolo inédito, una emergencia que nunca ocurrió. Los tests estadísticos (Temas 12–17) no tienen con qué comparar. Queda el conocimiento tácito: el operador que «sabe cuándo la fila se desmadra» o el técnico que «escucha cuando el tanque rebalsa».

• ¿A quién preguntar y qué preguntar exactamente?
• ¿Cómo evitar que la autoridad arrastre al grupo?
• ¿Cómo cuantificar el acuerdo sin fingir precisión?
• ¿Qué vale el «me parece razonable» por escrito?

02 · Definición

Tres formatos clásicos

03 · Método

Protocolo en 5 pasos

1. 1
   Elegir expertos diversos e independientes.

   Operadores, técnicos y usuarios afectados; nadie con interés en que «pase». 3–7 personas bastan.

2. 2
   Preparar escenarios ciegos.

   Pares real/simulado anonimizados, casos borde y un escenario adverso donde el modelo debería fallar.

3. 3
   Calificar individual y por escrito primero.

   Escala 0–10 en coherencia, plausibilidad y utilidad, más comentario. Lo individual precede a lo grupal.

4. 4
   Deliberar con disenso protegido.

   Se presentan los desacuerdos sin nombres. El facilitador pregunta por el peor caso, no por el promedio.

5. 5
   Dictaminar con condiciones.

   «Aprobado para X si se corrige S2; revalidar con datos cuando existan». El disenso que persiste se escribe, no se vota y se esconde.

04 · Sesgos

Los cuatro jinetes del juicio

Disponibilidad

El último incidente pesa más que la estadística. Se compensa con escenarios base representativos, no solo memorables.

Exceso de confianza

Expertos calibran mal su certeza. Se pide intervalo («¿entre qué valores estás 80% seguro?») en vez de punto.

Interés

Quien construyó el modelo quiere que pase. Se separa rol constructor / evaluador siempre.

05 · Representación en Python

Cuantificar acuerdo sin fingir precisión

No hace falta estadística avanzada: promedio, rango (disenso) y tasa de aprobación por escenario alcanzan para decidir y documentar.

# Filas = expertos, columnas = escenarios (0-10)
notas = [
    [8, 7, 9],  # E1 operadora
    [7, 6, 8],  # E2 técnico
    [9, 5, 8],  # E3 discrepa en escenario 2
    [8, 7, 7],  # E4 usuaria
]
UMBRAL = 7.0

for j in range(3):
    col = [f[j] for f in notas]
    prom = sum(col) / len(col)
    disenso = max(col) - min(col)
    aprueban = sum(1 for x in col if x >= UMBRAL)
    print(f"Escenario {j+1}: prom {prom:.1f} | disenso {disenso} | aprueban {aprueban}/{len(col)}")

El escenario 2 tiene promedio 6,2 y disenso 2: no es consenso, es fractura. Eso se delibera, no se promedia y se esconde.

Cara a cara: ¿distinguen real de simulado?

import random
rng = random.Random(11)
# 10 pares ciegos: el experto acierta 6 (cerca del azar 5)
aciertos = sum(rng.random() < 0.6 for _ in range(10))
print(f"Aciertos: {aciertos}/10 (azar esperado: 5/10)")
print("Lectura: indistinguible a ojo -> pasa el Turing de simulación")

06 · Exploración

Laboratorio: panel de expertos en vivo

Calificá tres dimensiones del modelo (0–10): coherencia (¿la lógica cierra?), plausibilidad (¿se parece a lo que veo en planta?) y utilidad (¿sirve para decidir?). El panel simula 5 expertos alrededor de tu juicio con dispersión fija. Observá promedio, disenso y veredicto con umbral 7.

Cada grupo de barras es una dimensión con 5 expertos. La línea blanca es el umbral 7. La dimensión más baja con disenso alto es donde el modelo debe trabajarse.

Preguntas para explorar

1. Subí todo a 9. ¿Promedio, disenso y veredicto? ¿Te tranquiliza o te sospecha una unanimidad instantánea?
2. Bajá plausibilidad a 4 con las otras en 8. ¿Qué dimensión frena el dictamen? ¿Qué harías: promediar o condicionar a revisar S2?
3. Poné coherencia 9, plausibilidad 9, utilidad 4. El modelo es lindo y creíble pero inútil: ¿cuál es el dictamen honesto?

07 · Comprensión

Confusiones frecuentes

08 · Práctica guiada

Ejercicios con Python

Ejercicio 1: leer el disenso, no el promedio

¿Qué escenario está fracturado aunque su promedio «pase»?

esc = {"A": [9, 9, 9, 9], "B": [10, 10, 4, 4]}
for k, v in esc.items():
    print(k, "prom", sum(v)/len(v), "disenso", max(v)-min(v))

Ejercicio 2: cara a cara con números

Si el experto acierta 5/10, ¿qué significa? ¿Y 10/10?

for ac in [5, 10]:
    print(ac, "/10:", "indistinguible (pasa)" if ac <= 6 else "distingue (falla)")

Ejercicio 3: dictamen con condiciones

Redactá el dictamen para este panel: coherencia 8,5, plausibilidad 5,5, utilidad 7.

print("Aprobado con condiciones para uso X.")
print("Condición: revisar S2 (plausibilidad 5.5 < 7).")
print("Revalidar con datos en 60 días. Disenso: E3 exige tope mayor.")

09 · Síntesis

Ideas para recordar

En el próximo tema cerraremos el círculo de la confianza con la calibración de modelos: ajustar sin sobreajustar.