Contexto (ventana de contexto)
La cantidad de texto (o de tokens) que un modelo puede tener presente a la vez para producir una respuesta. Es su memoria de trabajo inmediata.
- Última revisión:
- Fuentes:
- 2 fuentes · 2 verificadas
Todo modelo tiene un límite de cuánto puede "mirar" al mismo tiempo: el contexto. Si le pasas un documento enorme, sólo entra lo que cabe en esa ventana. Lo que queda fuera, el modelo no lo considera, por más relevante que sea.
Una ventana mayor suena siempre mejor, pero no garantiza que el modelo la use bien. El estudio "Lost in the Middle" (Liu et al., 2023) mostró que los modelos aprovechan bien lo que está al principio y al final del contexto, pero degradan en el medio: tener más lugar no equivale a prestar más atención. Esa brecha entre capacidad y uso efectivo es justamente lo que motiva técnicas como RAG, que traen sólo la información necesaria en vez de meterlo todo de golpe.
El contexto es también un cuello de botella económico: procesar más tokens cuesta más cómputo y más dinero. Por eso la longitud del contexto es a la vez una capacidad técnica (cuánto cabe), un comportamiento (cuánto se usa bien) y un costo.
¿Por qué te importa?
Cuando un asistente 'olvida' algo que le diste antes, o se equivoca en un documento largo, casi siempre es un asunto de contexto. Saber que la memoria del modelo es limitada y desigual te ayuda a organizar mejor lo que le pasas.
Ejemplos
- Modelos con ventanas que pasaron de miles a cientos de miles —o un millón— de tokens en pocos años.
- El hallazgo de Liu et al. (2023): los modelos rinden peor en la parte media de un contexto largo.
- El uso de RAG para entregar sólo el pasaje relevante en vez de todo un repositorio.
Términos relacionados
Debate y controversia
Se discute si ampliar la ventana de contexto reduce o no la necesidad de RAG (para muchos casos no la elimina), y cómo medir de forma justa si un modelo realmente "usa" bien un contexto extenso en vez de inflar métricas de laboratorio.
Fuentes
Nelson F. Liu et al. · 2023
WebFetch confirmó título exacto y autores (Liu et al.) en arXiv 2307.03172, año 2023.
- Attention Is All You Need Verificada
Ashish Vaswani et al. · 2017
WebFetch confirmó título y autores (Vaswani et al.) en arXiv 1706.03762, 2017 (arquitectura Transformer, base del procesamiento del contexto).