Definición completa

Fase inicial en la que un modelo de lenguaje se entrena con enormes cantidades de texto público de internet para aprender patrones generales del lenguaje y el mundo.

Ejemplo en contexto empresarial

GPT-4 y Claude se pre-entrenan con billones de palabras antes de cualquier ajuste empresarial.