Adaptación

01 · Punto de partida

Reglas que se reescriben

Hasta ahora las reglas eran de piedra: el mismo umbral en la ronda 1 y en la 100. Pero comerciantes cambian precios, conductores aprenden atajos, hormigas olvidan caminos viejos. El agente adaptativo cobra resultados y reescribe su regla para la próxima.

Ese ajuste es la adaptación: memoria de lo que pagó más exploración de lo nuevo. Sin ella el sistema repite; con ella el sistema de mañana no es el de hoy.

• ¿Qué guarda: umbral, preferencia o mapa?
• ¿Cuándo ajusta: cada ronda o cada tanto?
• ¿Cuánto cambia: de a poco o de golpe?
• ¿Cuánto explora lo nuevo contra explotar lo que paga?

02 · Definición

Memoria, imitación y exploración

Todo aprendizaje combina qué se guarda, de quién se copia y cuánto se prueba:

03 · Modos

Rígido que repite frente a adaptativo que ajusta

El rígido es predecible y frágil al cambio; el adaptativo persigue lo que paga pero puede sobreajustar ruido.

Adaptación

Cambio de regla con la experiencia. Individual si prueba solo; social si copia al mejor.

Tasa de aprendizaje

Cuánto se mueve la regla por éxito: chica tarda, grande oscila. Se declara y se barre.

Exploración / explotación

Probar nuevo contra repetir lo que paga. Sin exploración hay convergencia prematura al primer éxito.

Sobreajuste

Aprender ruido como si fuera señal: con tasa alta y pocas rondas el agente persigue suerte.

04 · Ciclo

La ronda que ajusta la regla

Cada aprendizaje actúa, cobra y mueve la regla, en este orden:

1. 1
   Actuar con la regla.

   Elegir con preferencia p más un poco de exploración aleatoria.

2. 2
   Evaluar el pago.

   Cobrar éxito o fracaso de esta ronda: comida, ganancia, acuerdo.

3. 3
   Ajustar con tasa.

   Mover p hacia lo que pagó, acotado en [0, 1] y con registro.

05 · Representación en Python

Preferencia que se mueve con el éxito

La preferencia p es probabilidad de elegir A. El éxito la acerca a lo elegido; el fracaso la aleja.

p, tasa = 0.5, 0.1
for exito in [True, True, False]:
    p = p + tasa * ((1.0 if exito else 0.0) - p) if True else p
    # simplificado: si eligió A, éxito sube p y fracaso la baja
    print(round(p, 3))

Dos éxitos suben p y un fracaso la recorta: la regla persigue, no salta.

Elegir con exploración

A veces se prueba lo contrario a propósito para no estancarse.

import random
def elegir(p, explo=0.1):
    if random.random() < explo:
        return "B" if random.random() < p else "A"
    return "A" if random.random() < p else "B"

print([elegir(0.8) for _ in range(5)])

06 · Exploración

Laboratorio: aprender cuál paga más

Dos opciones: A paga 60 % de las veces y B 40 %. Los agentes arrancan neutros (p = 0,5) y ajustan con tasa: si lo elegido paga, refuerzan; si no, aflojan. La curva es adopción media de A. ¿Cuánta tasa hace falta para aprender sin enloquecer?

El eje horizontal son rondas y el vertical adopción media de A. La línea punteada marca 100 % de adopción. La réplica cambia sorteos de elección y pagos. Exploración fija 10 %.

Preguntas para explorar

1. Con tasa 0, ¿la curva se mueve? ¿Por qué sin tasa no hay aprendizaje aunque haya pagos?
2. Con tasa máxima y pocas rondas, ¿la adopción es estable? Repetila 3 veces: ¿da siempre lo mismo?
3. ¿Qué pasa si A pagara 51 % en vez de 60 %? ¿Aprenderían igual de rápido? ¿Qué dice del ruido?

07 · Comprensión

Confusiones frecuentes

08 · Práctica guiada

Ejercicios con Python

Ejercicio 1: ajustar de a poco

Ejecutá y verificá a dónde va p con dos éxitos. Luego subí la tasa a 0,5 y compará.

p, tasa = 0.5, 0.1
for _ in range(2):
    p = p + tasa * (1.0 - p)
print(round(p, 3))

Ejercicio 2: predecir el fracaso

Sin ejecutar primero: p = 0,8, fracaso con tasa 0,2. ¿Sube o baja? Comprobalo después.

p, tasa = 0.8, 0.2
p = p + tasa * (0.0 - p)
print(round(p, 3))

Ejercicio 3: explorar para no estancarse

Con p = 0,9 y exploración 0, ¿cuándo prueba B? ¿Y con 0,1?

print("con 0 nunca, con 0,1 una de cada diez")

09 · Síntesis

Ideas para recordar

En el próximo tema estudiaremos la heterogeneidad de agentes: diversidad de tipos y comportamientos.