Cómputo en tiempo de inferencia (Inference-time compute)

Recursos de cálculo que un modelo utiliza al generar una respuesta, además de los empleados durante su entrenamiento.

Avanzado inferencia razonamiento optimizacion

Definición completa

Aumentar el cómputo en tiempo de inferencia puede permitir que un modelo explore, genere o compruebe más opciones antes de responder. Puede mejorar ciertos resultados, aunque también aumenta la latencia y el coste, y no garantiza una respuesta correcta.

Ejemplo en contexto empresarial

Un modelo dedica más pasos de cálculo a comparar varias soluciones de un problema de programación.