Definición completa

Proceso de dividir texto en unidades más pequeñas (tokens) que el modelo puede procesar, como palabras o subpalabras.

Ejemplo en contexto empresarial

La palabra 'tokenización' podría dividirse en ['token', 'ización'].