← Volver al glosario
Caché de prompts (Prompt caching)
Técnica que reutiliza el procesamiento de prefijos de entrada repetidos para reducir tiempo o coste de inferencia.
Intermedio inferencia costes latencia
Definición completa
La caché de prompts permite que una plataforma reconozca partes idénticas o reutilizables de solicitudes anteriores, como instrucciones extensas o documentos de referencia. La disponibilidad, duración y ahorro dependen del proveedor y de la configuración.
Ejemplo en contexto empresarial
Una aplicación reutiliza las instrucciones y el manual de producto incluidos en muchas consultas de atención al cliente.