Mistral ha presentado hoy, martes 6 de octubre, el Mistral Large 4 (ML4), un modelo dotado de un billón de parámetros que se presenta como «uno de los modelos de peso abierto más avanzados».
- El lanzamiento lo había anunciado el día anterior Arthur Mensch, cofundador y director general de Mistral, en un mensaje en X en el que se mostraba la inesperada remontada de una deportista francesa que se había convertido en un icono gracias al comentario del presentador de televisión: «Entonces, quizá…»
- Además, en las últimas semanas ha multiplicado las declaraciones destinadas a reajustar la percepción del retraso europeo, lo que ha elevado aún más las expectativas.
Las características del nuevo modelo de Mistral son las siguientes:
- En total, Mistral Large 4 se basa en un billón de parámetros. Sin embargo, su arquitectura, denominada «de mezcla de expertos», está diseñada para utilizar solo 49 mil millones en cada consulta, lo que reduce el costo de funcionamiento.
- El entrenamiento se llevó a cabo partiendo de cero en 4.000 procesadores Nvidia Grace Blackwell en los centros de datos de Mistral en Europa durante dos meses. A modo de referencia, esto supone unos 10 megavatios de potencia instalada. La diferencia con respecto a los laboratorios estadounidenses sigue siendo considerable en este aspecto.
- Solo la planta Colossus de xAI en Memphis cuenta con unos 555.000 procesadores y una potencia de 2 gigavatios, lo que supone doscientas veces la potencia que utiliza Mistral.
Los «pesos» del modelo, es decir, los parámetros que permiten ejecutarlo de forma autónoma, no se publicarán hasta el 27 de octubre. Hasta entonces, solo estará disponible el acceso de pago.
- La cuestión de la destilación sigue sin resolverse. Entrenar un modelo a partir de las respuestas de otro más avanzado permite captar parte de sus capacidades a un menor costo. El comunicado de Mistral no dice nada sobre la composición de sus datos de entrenamiento, pero la empresa ha anunciado que ofrecerá más detalles sobre su arquitectura y su método cuando se publiquen los pesos, el 27 de octubre.
- A título informativo, Mistral trabaja con modelos denominados «de código abierto», cuyos parámetros publica el desarrollador, lo que permite a cualquiera descargarlos y ejecutarlos en sus propios servidores. Por el contrario, los modelos cerrados de OpenAI o Anthropic solo son accesibles a través de sus propios servicios.
Mistral se presenta así como líder mundial en modelos abiertos en los ámbitos de la ciberseguridad, las finanzas, la industria y el procesamiento de imágenes, y afirma ocupar el primer puesto «fuera de China» en todas las categorías.
- La expresión «fuera de China» es reveladora: Mistral no pretende superar a los laboratorios chinos, sino solo ser el mejor fuera de ellos. De hecho, una persona al tanto del asunto nos indica que los equipos de Mistral saben que están por detrás de los modelos chinos de código abierto.
- Para situar su modelo, Mistral lo ha comparado con GLM, la referencia china en modelos abiertos, durante una prueba en DeepSWE que mide la capacidad de resolver de forma autónoma problemas reales de programación.
Por su parte, el énfasis en la ciberseguridad podría ser fruto de un cálculo político, en un contexto en el que crece el interés de los actores públicos y las empresas tecnológicas por la creación de una oferta soberana.
- ML4 se sitúa entre los cinco primeros puestos mundiales del Artificial Analysis Cyber Index y se presenta como el mejor modelo de peso abierto desarrollado fuera de China en este índice, aunque queda por detrás de MiMo-V2.6-Pro en la clasificación general y al mismo nivel que GLM-5.3-Flash, un modelo notablemente más pequeño.
- Destaca especialmente en CyberGym-E2E, donde alcanza un 82 %, por delante de MiMo-V2.6-Pro, en tareas que consisten en reproducir y, a continuación, corregir vulnerabilidades en programas de código abierto reales, lo que supone la mejor puntuación anunciada hasta la fecha, entre todos los modelos.
- Mistral ve en ello un argumento de soberanía: los modelos cerrados estadounidenses suelen negarse a trabajar en tareas de defensa, mientras que los atacantes ya logran eludir sus medidas de seguridad («jailbreak»). De hecho, Hugging Face había utilizado GLM-5.2 para analizar el incidente del que fue víctima en julio.
