01 · Punto de partida
El número no dice «eureka»
Veinte métricas, una da p = 0,03: ¿descubrimiento o azar esperado (1 de cada 20 bajo H0)? Sin pre-registro (qué se preguntó), sin efecto ni IC, el p es un titular sin noticia. Este tema es el manual de lectura honesta de todo el curso.
- ¿Qué hipótesis se fijó antes de mirar?
- ¿p dice rareza o tamaño?
- ¿El IC contiene relevancia práctica?
- ¿Cuántas pruebas se hicieron en silencio?
02 · Definición
Qué dice y qué no dice cada número
Rareza
P(D tan extrema|H0). No es P(H0), no es tamaño, no es importancia. Solo rareza bajo el supuesto.
IC
Efecto plausible con precisión. Si contiene valores relevantes e irrelevantes, el experimento no decide.
Relevancia
Δ mínimo práctico (Temas 27, 38). p ≈ 0 con efecto < Δ = matiz caro, no hallazgo.
| p | Efecto vs. Δ | Lectura |
|---|---|---|
| 0,01 | Supera Δ | Hallazgo accionable |
| 0,01 | Bajo Δ | Matiz (n grande) |
| 0,20 | IC ancho | No concluyente (más n) |
| 0,60 | IC angosto en 0 | Equivalencia práctica |
03 · Método
Checklist de lectura en 5 pasos
- 1Recuperar la pregunta pre-registrada.
¿Qué H0, qué métrica, qué α y qué Δ se fijaron antes? Lo demás es exploratorio, no confirmatorio.
- 2Leer p como rareza.
p = 0,04: «raro al 4% bajo H0», no «96% de que H1 sea cierta».
- 3Leer efecto + IC contra Δ.
¿El IC entero supera Δ? ¿Lo contiene? ¿Ni lo toca? Ahí vive el veredicto (Tema 38).
- 4Contar las pruebas ocultas.
¿20 métricas y se reporta 1? Corregir (Bonferroni α/m) o declarar exploración.
- 5Pedir potencia y réplica.
¿Con este n se podía detectar Δ? ¿Otro equipo con otras semillas vería lo mismo?
04 · Cazadores de asteriscos
p-hacking, HARKing y jardín
p-hacking
Probar hasta que dé
20 métricas, cortes móviles, n flexible: algo dará p < 0,05 por azar. Antídoto: pre-registro + corrección.
HARKing
Inventar la hipótesis después
Ver el pico y escribir «siempre buscamos eso». Antídoto: exploratorio rotulado como tal, confirmación aparte.
- Jardín de senderos
- Cada decisión (outlier sí/no, w, métrica) bifurca: miles de análisis posibles, se reporta el que brilla.
- Cajón (file drawer)
- Solo se publican p < 0,05: la literatura miente por selección. Registrar todo (Tema 44).
- Texas sharpshooter
- Dibujar el blanco alrededor del tiro: elegir la métrica que dio. El blanco se pinta antes.
05 · Representación en Python
20 tests bajo H0: uno «da» solo
Python en tu navegador. Semilla fija: el azar fabricará un «hallazgo».
import random
rng = random.Random(39)
ps = [rng.random() for _ in range(20)] # p uniformes bajo H0
sig = [p for p in ps if p < 0.05]
print(f"significativos sin corregir: {len(sig)}/{len(ps)} (esperado 1)")
print("mínimo:", round(min(ps), 3), "-> ¿hallazgo o azar esperado?")
print(f"Bonferroni α/m = {0.05/20:.4f}: significativos {sum(1 for p in ps if p < 0.05/20)}")Uno da p ≈ 0,02 por azar esperado: sin corrección es «descubrimiento»; con Bonferroni, ruido.
Efecto + IC mandan sobre p
# p=0.01 con efecto 0.1 (Δ=1) vs p=0.2 con IC ancho
print("p=0.01, d=0.1±0.05: matiz (n gigante, irrelevante)")
print("p=0.20, d=0.8±1.5: no concluyente (IC abraza Δ, pedir más n)")06 · Exploración
Laboratorio: la fábrica de «hallazgos»
Simulamos m pruebas bajo H0 (p uniformes) salvo una señal real opcional que empuja un p hacia abajo. Mové m y la señal: observá cuántos «dan» sin corregir vs. con Bonferroni α/m. Con m = 20 y sin señal, el azar regala uno.
p crudos vs. Bonferroni
α = 0,05 · Bonferroni α/m
Con m=20 sin señal, ~1 da p<0,05 por azar: cazarlo es p-hacking.
Barras = p-valores ordenados. Línea lima = 0,05; línea blanca = 0,05/m. Bajo la lima pero sobre la blanca: «hallazgo» que Bonferroni borra.
Preguntas para explorar
- Con m=20 y señal 0: ¿cuántos crudos dan? ¿Bonferroni cuántos deja? ¿Qué enseña sobre reportar 1/20?
- Subí m a 50 sin señal: ¿crudos? ¿El azar fabrica más «descubrimientos» con más métricas?
- Poné señal 1 con m=20: ¿el verdadero sobrevive a Bonferroni? ¿Por qué la señal real sí cruza α/m?
Ver respuestas sugeridas
- ~1 crudo, 0 Bonferroni: el «hallazgo» era azar esperado (m×α = 1). Reportar 1/20 sin contexto es cazar.
- ~2–3 crudos: más pruebas = más falsas alarmas lineales. Sin corrección, medir mucho garantiza «descubrir».
- Sí (p ≈ 0,001 < 0,0025): la señal real es tan rara que sobrevive al castigo. Bonferroni filtra ruido, no verdad fuerte.
07 · Comprensión
Confusiones frecuentes
«p = 0,04, confirmado»
Confirmado con una sola muestra y 20 pruebas es azar con diploma. Confirmar exige pre-registro + réplica.
«p = 0,06, tendencia»
No hay tendencias en Neyman-Pearson: con α = 0,05 no se rechaza. Punto. Más n o nada.
«Bonferroni es muy estricto»
Es conservador a propósito: controla falsas alarmas familiares. Alternativas (Holm, FDR) con protocolo, nunca a ojo.
«IC que contiene 0 = sin efecto»
Contiene 0 + ancho = no concluyente; angosto en 0 = equivalencia (Tema 38). Ancho manda.
08 · Práctica guiada
Ejercicios con Python
Ejercicio 1: azar esperado
¿Falsas alarmas esperadas con m=40?
print(40*0.05, "falsas esperadas bajo H0 (sin señal alguna)")Ver solución razonada
2: reportar «2 hallazgos p < 0,05 de 40» sin corregir es reportar el azar esperado como ciencia.
Ejercicio 2: Bonferroni a mano
¿p = 0,01 sobrevive con m=10?
print(0.01 < 0.05/10, "(0.01 > 0.005: no sobrevive)")Ver solución
No: 0,01 > 0,005. Lo que era «significativo» solo, no lo es en familia de 10. Contexto manda.
Ejercicio 3: lectura completa
Leé: p = 0,02, d = 0,2 ± 0,15, Δ = 1, m = 1 pre-registrada.
Ver una posible respuesta
print("Significativa (p<0.05) pero irrelevante (IC bajo Δ): matiz, no cambio.")Pre-registro limpio + p chico + efecto bajo Δ = verdad menor. No cambiar por 0,2 aunque el p brille.
09 · Síntesis
Ideas para recordar
- p = rareza bajo H0; efecto = tamaño; IC = precisión; m y n = contexto.
- Pre-registro + Δ + corrección múltiple o la lectura es exploración.
- m×α falsas esperadas: contar las ocultas, no solo la que brilla.
- Significativa + relevante = acción; si no, matiz o más n.
- «Casi» no existe: α se fija antes y se obedece.
En el próximo tema dibujaremos honestamente: visualización de resultados.