Comparación de métodos

01 · Punto de partida

Comparar en serio, no a ojo

Cada técnica promete menos σ, pero solo en su terreno. La comparación justa exige mismo presupuesto de evaluaciones, mismas semillas y métrica común: el factor (s_crudo/s_nuevo)².

En e^x gana el control; en picos, el estratificado; en colas, IS. El crudo es el árbitro.

• ¿Cuál es el presupuesto común (evals)?
• ¿Uso las mismas semillas para todos?
• ¿Mido factor o solo SE?
• ¿El ganador paga su complejidad?

02 · Definición

Reglas del duelo

03 · Protocolo

1. 1
   Fijar presupuesto.

   Ej.: 4 000 evals para todos. Antitético: 2 000 pares; resto: 4 000.

2. 2
   Reutilizar U.

   Generar una base U y derivar cada método de ella (pares, estratos, controles).

3. 3
   Medir y decidir.

   s, SE y factor por método. Elegir el de mayor factor/costo.

Varianza común

Usar las mismas U correlaciona los estimadores: la diferencia se mide con menos ruido.

Costo por eval

Si IS evalúa p y q, cuesta ~2×: el factor debe superar 2.

Robustez

Repetir el duelo con 5 semillas: el ganador debe ganar siempre, no una vez.

04 · Duelo en e^x

Integral e^x en [0,1] = e−1 con 4 000 evals para todos. Resultado típico:

1. 1
   Crudo.

   SE ≈ 0,008. Referencia 1×.

2. 2
   Antitético.

   SE ≈ 0,005. Factor ~3×.

3. 3
   Control x.

   SE ≈ 0,002. Factor ~17×. Ganador aquí.

4. 4
   Estratificado 4.

   SE ≈ 0,004. Factor ~4×. Segundo.

05 · Representación en Python

Benchmark justo en 20 líneas

import random
import math
import statistics

N = 4000
us = [random.random() for _ in range(N)]
crudo = [math.exp(u) for u in us]
anti = [(math.exp(us[i]) + math.exp(1-us[i]))/2 for i in range(0, N, 2)]
mc = sum(us)/N
b = sum((y-sum(crudo)/N)*(c-mc) for y, c in zip(crudo, us))/sum((c-mc)**2 for c in us)
ctrl = [y-b*(c-0.5) for y, c in zip(crudo, us)]
K = 4
est = []
for k in range(K):
    xs = [(k+random.random())/K for _ in range(N//K)]
    est += [math.exp(x) for x in xs]

def se(a):
    return statistics.pstdev(a)/math.sqrt(len(a))
print("crudo", round(se(crudo), 5))
print("anti", round(se(anti), 5))
print("control", round(se(ctrl), 5))
print("estrat", round(se(est), 5))

06 · Exploración

Laboratorio: el duelo en vivo

Cuatro barras con bigotes ±2·SE para e−1 ≈ 1,718 con igual presupuesto. Cambiá N y mirá quién se achica más.

Verde corto = ganador. Si dos empatan, gana el más simple: menos código, menos bugs.

Preguntas para explorar

1. ¿Gana siempre el control en e^x?
2. ¿El ranking cambia con N?
3. ¿Qué método elegirías para un pico agudo?

07 · Comprensión

Confusiones frecuentes

08 · Práctica guiada

Ejercicios con Python

Ejercicio 1: duelo mínimo

Compará crudo vs antitético para e^x con 4 000 evals.

import random
import math
import statistics

us = [random.random() for _ in range(4000)]
crudo = [math.exp(u) for u in us]
anti = [(math.exp(us[i])+math.exp(1-us[i]))/2 for i in range(0, 4000, 2)]
print(statistics.pstdev(crudo)/math.sqrt(4000))
print(statistics.pstdev(anti)/math.sqrt(2000))

Ejercicio 2: precio del IS

Si IS evalúa 2 densidades por muestra, ¿qué factor mínimo lo justifica?

print("Factor > 2 para empatar en tiempo; > 4 para convenir.")

Ejercicio 3: elegir por problema

Elegí técnica para: a) e^x, b) pico [0,9, 1], c) P(Z > 3).

print("a) control x; b) estratificado; c) IS N(3,1)")

09 · Síntesis

Ideas para recordar

En el próximo tema diseñaremos los experimentos: el diseño de experimentos Monte Carlo.