MADRID, 6 (Portaltic/EP)
AMD ha presentado Instella, una nueva familia de modelo de lenguaje de gran tamaño (LLM, por sus siglas en inglés) con 3.000 millones de parámetros que facilita bajo una modalidad “totalmente abierta”.
Instella se componen de cuatro modelos: Instella-3B-Stage1, para el desarrollo del lenguaje natural en la fase de preentrenamiento; Instella-3B, para la mejora de las capacidades para resolver problemas en la fase de preentrenamiento; Instella-3B-SFT, que utiliza el ajuste fino supervisado para habilitar el seguimiento de instrucciones; y Instella-3B-Instruct, para fortalecer las capacidades de chat y alinearlo con las preferencias humanas.
La compañía tecnológica ha utilizado 128 GPU Instinct MI300X para entrenar Instella desde cero usando para ello 4,15 billones de tokens. Con ello, han aumentado la capacidad y la escalabilidad del modelo respecto de su predecesor, AMD OLMo -se entrenó con 64 GPU Instinct MI250 y 1,3 billones de tokens y ofrecía mil millones de parámetros-.
Como resultado, el rendimiento de esta familia de LLM supera al de los modelos abiertos más avanzados del momento comparables en tamaño, como Llama-3.2-3B, Gemma-2-2B y Qwen-2.5-3B, como aseguran desde AMD en una nota de prensa.
AMD ha publicado Instella como una familia de LLM “totalmente abierta y accesible”, lo que significa que ha facilitado el acceso al peso de los modelos, los hiperparámetros de entrenamientos, los conjuntos de datos y el código. Pueden encontrarse en Hugging Face y GitHub.
“Al abrir completamente el código fuente de los modelos de Instella pretendemos fomentar la innovación y la colaboración dentro de la comunidad de IA”, afirman.
- Te recomendamos -
