Riesgos de conclusiones incorrectas

01 · Punto de partida

Decidir es gestionar dos errores

Cambiar el turno por una «mejora» que era azar cuesta dinero; no cambiar ante una mejora real cuesta oportunidad. Más el azar que fabrica hallazgos (Tema 39) y el sobreajuste que disfraza memoria de comprensión (Temas 6, 9).

• ¿Qué error duele más aquí: falsa alarma o ceguera?
• ¿Qué potencia tienes para tu Δ?
• ¿El «hallazgo» es señal o p-hacking?
• ¿El modelo comprende o memorizó?

02 · Definición

Tipo I, tipo II y los otros dos

03 · Método

Protocolo anti-culpa en 5 pasos

1. 1
   Pesar costos asimétricos.

   ¿Duele más falsa alarma (obra inútil) o ceguera (colapso)? El costoso pide α o β más chico.

2. 2
   Fijar α y potencia para Δ.

   Ej.: α = 0,05, potencia 80% para Δ = 1. Sin Δ no hay potencia (Temas 27–28).

3. 3
   Pre-registrar y corregir m.

   Una prueba primaria + Bonferroni al resto (Tema 39). Cazar sin corregir es fabricar.

4. 4
   Separar train/test.

   Si train ≪ test hay memoria, no comprensión: volver a Temas 9 y 18.

5. 5
   Exigir réplica.

   Otro equipo, otras semillas, mismo protocolo: lo que no replica no decide.

04 · Potencia y costos

Ver lo relevante con n suficiente

Sobreajuste

Train excelente + test malo = memoria. Antídoto: menos parámetros, test sellado, walk-forward (Tema 6).

Azar múltiple

m×α falsas esperadas (Tema 39). Antídoto: primaria única + corrección.

Replicabilidad

Mismo protocolo, otros datos: ¿sobrevive? Lo que vive una vez es anécdota (Temas 43–44).

05 · Representación en Python

Falsas alarmas y potencia simuladas

import random
rng = random.Random(42)
# 200 experimentos bajo H0 (sin efecto): ¿cuántos p<0.05?
falsas = sum(rng.random() < 0.05 for _ in range(200))
print(f"falsas: {falsas}/200 ≈ {falsas/200:.0%} (≈ α=5%)")

~10/200: el azar fabrica el 5% prometido. Sin corrección, esas 10 serían «hallazgos».

Potencia para Δ con n dado

import math
def potencia(delta, s, n, alfa=0.05):
    ee = s/math.sqrt(n)
    z = 1.645 if alfa == 0.05 else 2.33  # una cola aprox
    # P(detectar |Δ|) ≈ P(Z > z - Δ/EE)
    from math import erf
    def Phi(x):
        return 0.5*(1+erf(x/math.sqrt(2)))
    return 1 - Phi(z - abs(delta)/ee)
print(f"potencia Δ=1, s=2, n=16: {potencia(1,2,16):.0%}")
print(f"potencia Δ=1, s=2, n=64: {potencia(1,2,64):.0%}")

06 · Exploración

Laboratorio: dos curvas, dos errores

H0 (sin efecto) en gris, H1 (con efecto Δ) en lima para tu n y α. La línea es el umbral: a la derecha se rechaza. Roja = falsa alarma (α); naranja = ceguera (β). Mové los tres y mirá el trueque.

Curvas del estadístico bajo H0 y H1. Roja: rechazar siendo H0 (α). Naranja: no rechazar siendo H1 (β).

Preguntas para explorar

1. Con Δ=1, n=16 y α=0,05: ¿potencia y β? ¿Apostarías una obra con 50% de ceguera?
2. Subí n a 64 sin tocar lo demás: ¿potencia? ¿Qué precio pagaste por ver?
3. Subí α a 0,10 con n=16: ¿α y potencia? ¿Cuándo conviene (alarma barata, ceguera cara)?

07 · Comprensión

Confusiones frecuentes

08 · Práctica guiada

Ejercicios con Python

Ejercicio 1: falsas esperadas

¿Alarm as con m=30 bajo H0?

print(30*0.05, "falsas esperadas (reportar 2/30 sin corregir es cazar)")

Ejercicio 2: potencia a mano

¿Potencia con Δ=1, s=2, n=64?

import math
from math import erf
def Phi(x):
    return 0.5*(1+erf(x/math.sqrt(2)))
ee = 2/math.sqrt(64)
print(f"{1-Phi(1.645-1/ee):.0%} (EE 0.25: Δ a 4 EE, casi seguro)")

Ejercicio 3: train≪test delata

¿Memoria o comprensión con train 0,1 y test 2,0?

print("Memoria: 20× peor fuera. Simplificar y revalidar (Temas 9, 6).")

09 · Síntesis

Ideas para recordar

En el próximo tema blindaremos la repetición: reproducibilidad.