← Volver al glosario
Caché de claves y valores (KV cache)
Memoria temporal que reutiliza valores de atención ya calculados al generar tokens de forma secuencial.
Avanzado transformer inferencia memoria
Definición completa
En modelos Transformer, la caché KV conserva las claves y los valores de tokens previos para no recalcularlos en cada paso de generación. Reduce cómputo repetido y latencia, a cambio de consumir memoria, especialmente con contextos largos o muchas solicitudes concurrentes.
Ejemplo en contexto empresarial
Un servicio de generación mantiene en caché estados previos para producir la siguiente parte de una respuesta más rápido.