MADRID, 28 (SERVIMEDIA)
Un equipo de investigadores de la Universidad de Granada (UGR) desarrolló una innovadora metodología para reducir el tamaño y hacer más accesibles los modelos de lenguaje basados en BERT, que es un sistema que utiliza el aprendizaje automático o inteligencia artificial (IA), para procesar el lenguaje natural.
Según explicó la UGR, el enfoque diseñado en el trabajo se denomina ‘Persistent BERT Compression and Explainability (PBCE)’ y utiliza homología persistente para identificar y eliminar neuronas redundantes, logrando una reducción del tamaño del modelo de hasta un 47% en BERT Base y un 42% en BERT Large, sin afectar significativamente la precisión de las tareas de procesamiento del lenguaje natural que este sistema logra.
BERT se usa, por ejemplo, en los buscadores de internet como Google para clasificar los resultados de búsqueda, entender mejor las consultas de los usuarios y ofrecer respuestas adecuadas.
Los grandes modelos de lenguaje (LLM) como BERT revolucionaron el campo de la IA, pero su elevado consumo de recursos limita su uso en dispositivos con menor capacidad, como, por ejemplo, los móviles. Además, son esencialmente modelos de caja negra, difíciles de explicar e interpretar. Por ello, los investigadores de la UGR dieron un paso hacia la ‘IA verde’: mejorar la eficiencia de los modelos sin aumentar su huella de carbono.
Este método no solo reduce el tamaño del modelo, sino que también “mejora la interpretabilidad del comportamiento de las neuronas, acercándonos a redes neuronales más explicables”, detalló uno de los autores del estudio Luis Balderas, quien también es investigador de la UGR y delInstituto Andaluz Interuniversitario en Ciencia de Datos e Inteligencia Computacional (Instituto DaSCI).
- Te recomendamos -
