TARRAGONA, 6 (EUROPA PRESS)
Un equipo investigador internacional liderado por la Universitat Rovira i Virgili (URV) de Tarragona ha evidenciado limitaciones en los modelos de inteligencia artificial (IA) en la comprensión del lenguaje tras compararlas con las de los humanos, según ha informado la URV en un comunicado este jueves.
Los investigadores formularon 40 preguntas a siete modelos de IA -Bard, ChatGPT-3.5, ChatGPT-4, Falcon, Gemini, Llama2 y Mixtral-utilizando estructuras gramaticales simples y verbos de uso frecuente y, por otro lado, se sometió a un grupo de 400 personas a las mismas preguntas y se comparó la precisión de sus respuestas.
La media de aciertos de los humanos fue del 89%, mientras que el ChatGPT-4 ofreció un 83% de respuestas correctas; en los otros modelos, ninguno de los MEL (modelos extensos de lenguaje) alcanzó una precisión superior al 70%.
La investigadora líder del Grupo de Investigación en Lengua y Lingüística de la URV, Vittoria Dentella, ha asegurado que “los MEL no comprenden realmente el lenguaje; simplemente aprovechan los patrones estadísticos presentes en sus datos de entrenamiento”.
Los resultados han evidenciado que, a pesar de su éxito en algunas tareas específicas, los modelos no alcanzan un nivel comparable al de las personas en pruebas sencillas para la comprensión de textos.
- Te recomendamos -
