← Volver al glosario
Mixture of Experts (MoE)
Arquitectura que divide el modelo en múltiples expertos especializados, activando solo los relevantes para cada entrada.
Avanzado arquitectura escalabilidad eficiencia
Definición completa
Arquitectura que divide el modelo en múltiples expertos especializados, activando solo los relevantes para cada entrada.
Ejemplo en contexto empresarial
Mixtral 8x7B usa 8 expertos pero solo activa 2 por token.