Validación y Análisis · Tema 38

Comparación de alternativas

¿A o B? El punto no decide: el intervalo de la diferencia, con diseño pareado y relevancia declarada, sí.

01 · Punto de partida

12,4 vs. 12,9 no decide nada

Dos configuraciones, dos medias puntuales: la mayor «gana» por 0,5. ¿Y si el EE es 0,8? ¿Y si es 0,1? Sin intervalo de la diferencia no hay veredicto: hay preferencia decorada con decimales.

  • ¿La diferencia es distinta de cero con 95%?
  • ¿Es relevante en la práctica (Δ mínimo)?
  • ¿Diseño independiente o pareado (CRN)?
  • ¿Qué cuesta equivocarse de lado?

02 · Definición

Significativa y relevante

≠0

Significativa

El IC de la diferencia excluye al 0 (95%). Hay señal estadística, aunque sea mínima.

Δ

Relevante

La diferencia supera el mínimo práctico Δ (1 min, 5%). Sin Δ previo, todo «significativo» con n gigante decide tonterías.

◈

Diseño

Pareado con CRN (Tema 29) para comparar limpio; independiente si no hay pareo posible (Temas 16–17).

Cuatro veredictos posibles.
IC(d)vs. ΔVeredicto
Excluye 0, supera ΔRelevanteCambiar a la ganadora
Excluye 0, bajo ΔIrrelevanteEmpate práctico
Incluye 0, ancho—No concluyente (más n)
Incluye 0, angosto en ΔEquivalentesQuedarse (no-inferioridad)

03 · Método

Protocolo en 5 pasos

  1. 1
    Fijar métrica y Δ antes.

    «Espera media; Δ = 1 min». Sin Δ previo, el p manda y el n gigante decide irrelevancias.

  2. 2
    Elegir diseño: pareado si se puede.

    Mismos días/semillas en A y B (CRN): la diferencia cancela el azar común y afina gratis.

  3. 3
    Correr n por d (Temas 27–28).

    n para la diferencia, no para cada media: la varianza de d manda (menor con CRN).

  4. 4
    Calcular IC de d (no solape a ojo).

    Independiente: EE_dif = √(EE_A²+EE_B²). Pareado: EE de las dᵢ. Solape de IC no decide (Tema 26).

  5. 5
    Dictaminar con tabla + costo.

    Significativa + relevante + costo de cambio = veredicto. Sin costo no hay decisión.

Δ previo→diseño + n→IC(d)→veredicto

04 · Diseños que afinan gratis

CRN y sentido de la diferencia

Pareado (CRN)

Mismas semillas

Aᵢ y Bᵢ con semillaᵢ: el día lluvioso golpea a ambas y se cancela en dᵢ. EE menor con igual n.

Independiente

Semillas distintas

Obligatorio sin pareo posible. EE mayor: hacen falta más réplicas para igual d (Tema 28).

Solape no decide
Dos IC que se tocan pueden diferir significativamente. Solo el IC de d juzga.
No-inferioridad
IC angosto dentro de ±Δ: B no es peor en lo relevante. Útil para cambios baratos.
Múltiple
Comparar 5 alternativas de a pares infla falsas alarmas: corregir (Bonferroni) o jerarquizar.

05 · Representación en Python

IC de la diferencia, no solape

Python en tu navegador. Δ = 1 min fijado antes: ¿significativa y relevante?

import math
A = [12, 13, 11, 12, 13, 12]
B = [11, 12, 10, 11, 12, 11]
DELTA = 1.0
mA, mB = sum(A)/len(A), sum(B)/len(B)
sA = math.sqrt(sum((x-mA)**2 for x in A)/(len(A)-1))
sB = math.sqrt(sum((x-mB)**2 for x in B)/(len(B)-1))
ee = math.sqrt(sA**2/len(A) + sB**2/len(B))
d = mB - mA
print(f"d={d:+.2f} IC95 ≈ [{d-2*ee:.2f}, {d+2*ee:.2f}] (Δ={DELTA})")
print("Significativa:", abs(d) > 2*ee, "| Relevante:", abs(d) > DELTA)

d = −1,00, IC ≈ [−1,93, −0,07]: significativa justo y relevante justo. Veredicto: cambiar con cautela.

Pareado que afina

difs = [b-a for a, b in zip(A, B)]  # CRN: mismo día
md = sum(difs)/len(difs)
sd = math.sqrt(sum((x-md)**2 for x in difs)/(len(difs)-1))
print(f"pareado: d={md:+.2f} ± {2*sd/math.sqrt(len(difs)):.2f} (más angosto)")

06 · Exploración

Laboratorio: ¿B supera a A de verdad?

A ∼ N(12, s), B ∼ N(12 + diferencia, s) con n réplicas. La banda verde es tu Δ = 1 (relevancia); el segmento lima, el IC de d. Mové diferencia, n y ruido: significativa sin relevante es matiz; relevante sin significativa es sospecha.

EXPERIMENTO 38

IC(d) vs. 0 y vs. Δ

d̂ = x̄B−x̄A · Δ = 1 · 95%

Los resultados numéricos aparecen debajo.
d̂+0,00
IC(d)—
SignificativaNo
Veredicto—

Con d=1 y n=16, el IC toca el borde: veredicto justo.

Izquierda: medias A/B con sus IC. Derecha: IC de la diferencia contra 0 (significativa) y contra ±Δ (relevante).

Preguntas para explorar

  1. Con d=+1, n=16 y s=2: ¿d̂, IC y veredicto? Subí a n=64: ¿qué cambia: el centro o el ancho?
  2. Poné d=+0,3 con n=64: ¿significativa? ¿Relevante con Δ=1? ¿Qué harías?
  3. Poné d=−1,5: ¿el IC excluye 0 hacia abajo? ¿Veredicto si «ganar» era subir?
Ver respuestas sugeridas
  1. d̂ ≈ +1, IC ≈ [−0,4, +2,4]: incluye 0 por poco (no significativa) aunque relevante. Más n: el centro igual, el ancho se parte.
  2. Significativa (IC ≈ [+0,1, +0,5]) pero irrelevante (< Δ): empate práctico. No cambiar por 0,3 aunque el p brille.
  3. Sí, hacia abajo: B es peor significativamente. Veredicto: quedarse con A (el signo importa).

07 · Comprensión

Confusiones frecuentes

«Medias distintas = decisión»

Sin IC de d no hay decisión: 12,4 vs. 12,9 con EE 0,8 es empate ruidoso.

«IC solapados = empate»

Falso en ambas direcciones. Solo el IC de la diferencia juzga (Tema 26).

«p chico = cambio»

p chico + efecto menor que Δ = matiz estadístico. El Δ previo manda sobre el p.

«Comparo de a pares hasta que una gane»

Cazar significación entre 10 pares fabrica ganadoras. Corrección múltiple o torneo pre-registrado.

08 · Práctica guiada

Ejercicios con Python

Ejercicio 1: veredicto completo

¿d̂ = 1,5, IC [0,5, 2,5], Δ = 1?

print("Excluye 0 (significativa) y supera Δ (relevante): cambiar")
Ver solución razonada

Significativa + relevante: veredicto cambiar (con costo evaluado). El IC entero sobre Δ da confianza total.

Ejercicio 2: matiz estadístico

¿d̂ = 0,3, IC [0,1, 0,5], Δ = 1?

print("Significativa pero irrelevante: empate práctico, no cambiar")
Ver solución

El p brilla por n grande pero el efecto no mueve la aguja. Cambiar costaría para nada.

Ejercicio 3: no concluyente vs. equivalente

¿IC [−2, +2] vs. [−0,3, +0,3] con Δ = 1?

Ver una posible respuesta
print("[-2,2]: no concluyente (más n). [-0.3,0.3]: equivalentes.")

Ancho que abraza Δ = ignorancia; angosto dentro de Δ = evidencia de igualdad práctica.

09 · Síntesis

Ideas para recordar

  • IC(d) con Δ previo: significativa (0 fuera) + relevante (|d| > Δ) = cambio.
  • Pareado con CRN cuando se pueda: afina gratis.
  • Solape no decide; p sin Δ no decide; pares cazados no deciden.
  • n para la diferencia (Temas 27–28), no para cada media.
  • Informar d̂ ± margen (diseño, n) vs. Δ + costo.

En el próximo tema leeremos bien esos veredictos: interpretación estadística.