QbitAI informó el 4 de noviembre de que un laboratorio dependiente del 招商局先进技术研究院 publicó Lion-ER-35B-A3B, un modelo de lenguaje y visión con arquitectura de mezcla de expertos para razonamiento incorporado. El informe le atribuye unos 35 mil millones de parámetros totales, con alrededor de 3 mil millones activados por token.
El informe dice que el conjunto de entrenamiento supervisado contiene 312,380 muestras.
En la evaluación del laboratorio con cuatro respuestas por pregunta (avg@4), el modelo obtuvo una media ponderada por igual de 65.29 en diez benchmarks públicos; son resultados comunicados por el laboratorio.
QbitAI dice que los pesos del modelo están disponibles en Hugging Face en formato BF16 Safetensors y que son compatibles con Transformers, vLLM y SGLang.