Comparación estadística de escenarios

01 · Punto de partida

Comparar es restar con error

A = 121, B = 124 no dice nada sin R y s. Comparar es estimar D = B − A con su intervalo: si el 0 queda fuera, hay ganador estadístico; si queda dentro, empate técnico aunque el punto difiera.

Con muestras comunes (mismas semillas) la diferencia se afina sin más R: el ruido compartido se cancela.

• ¿D = B − A con qué intervalo 95 %?
• ¿El 0 está dentro o fuera?
• ¿Usé mismas semillas para afinar?
• ¿La diferencia es relevante en plata/tiempo, no solo significativa?

02 · Definición

Diferencia con intervalo

03 · Diseño que afina

Mismas semillas, mitad de R

Práctica vs estadística

D = 0,3 significativo con R enorme puede ser irrelevante en plata. Umbral práctico primero.

Solape

Intervalos A/B solapados no deciden: el de D sí. Comparar D, no ojos.

Múltiple

Comparar 5 escenarios infla falsos ganadores: ajustar (Bonferroni) o pre-registrar duelos.

Proporciones

D = p̂B − p̂A con SE = √(pA(1−pA)/RA + pB(1−pB)/RB). Tasas se comparan igual.

04 · Ejemplos

Duelos que se fallan con D

1. 1
   Stock.

   115 vs 125: D = +8 ± 6 gana 125. Con ±10 empatan: más R.

2. 2
   Cajeros.

   2 vs 3: D espera = −2,5 ± 0,5 gana 3. Relevante en SLA.

3. 3
   Promo.

   0,12 vs 0,15 ± 0,02: B gana y es plata (tema 33).

4. 4
   Precio.

   D = +1 ± 3: empate estadístico aunque el punto gane.

5. 5
   Juego.

   Balance A/B con 20000 peleas: D = 1 % ± 0,3 % gana sin discusión.

05 · Representación en Python

Diferencia apareada en 6 líneas

import random, statistics, math
random.seed(431)
Ds = [random.uniform(80,140) for _ in range(300)]
A = [10*min(115,d)-6*115 for d in Ds]
B = [10*min(125,d)-6*125 for d in Ds]
D = [b-a for a,b in zip(A,B)]
m = statistics.mean(D); se = statistics.stdev(D)/math.sqrt(len(D))
print(round(m,1), "±", round(1.96*se,1))

Consejo: con semillas distintas el ± duplica: probá generar Ds separadas para A y B.

Proporciones A/B

import math
pA, pB, n = 0.12, 0.15, 2000
se = math.sqrt(pA*(1-pA)/n + pB*(1-pB)/n)
print(round(pB-pA,3), "±", round(1.96*se,3))

06 · Exploración

Laboratorio: duelo A(120) vs B(120+δ)

A ~ N(120, 8), B ~ N(120+δ, 8), R por brazo. Barras = medias ± 95 %; abajo D con su intervalo vs 0. Mové δ y R: con δ = 1 y R = 30 empatan; con R = 400 ganan.

Arriba medias con intervalos; abajo diferencia con cero. Apareado angosta el intervalo ~40 %.

Preguntas para explorar

1. Con δ = 1 y R = 30, ¿gana alguien? ¿Y con R = 500?
2. Con δ = 0, ¿cuántas veces «gana» uno de 20 repeticiones? ¿Por qué 5 %?
3. ¿Qué cambia a apareado con δ = 1 y R = 100?

07 · Comprensión

Confusiones frecuentes

08 · Práctica guiada

Ejercicios con Python

Ejercicio 1: D con R = 100

A N(120,8), B N(123,8), R = 100. ¿D ± E? ¿Gana B?

import random, statistics, math
random.seed(431)
A = [random.gauss(120,8) for _ in range(100)]
B = [random.gauss(123,8) for _ in range(100)]
D = statistics.mean(B)-statistics.mean(A)
se = math.sqrt(statistics.variance(A)/100+statistics.variance(B)/100)
print(round(D,2), "±", round(1.96*se,2))

Ejercicio 2: apareado afina

Con las Ds comunes del bloque Python (stock 115/125), ¿E apareado vs independiente?

import statistics, math
# D ya calculada arriba como apareada; comparar con SE independiente aproximado
print("apareado usa s(D)/√R: menor que √(sA²+sB²)/√R")

Ejercicio 3: relevancia

D = +0,4 ± 0,2 con umbral práctico 1. ¿Gana? ¿Y con D = +2 ± 0,5?

print("D=0.4: significativo pero irrelevante (<1)")
print("D=2: significativo y relevante")

09 · Síntesis

Ideas para recordar

En el próximo tema cerraremos con casos reales: aplicaciones prácticas en simulación.