La inteligencia artificial generativa ha experimentado un crecimiento exponencial en los últimos meses, dando lugar a aplicaciones capaces de crear contenidos originales a partir de datos existentes. Millones de personas recurren a estas herramientas diariamente para diversas tareas, pero ¿realmente entendemos su alcance? Un equipo de investigadores de la Universidad Politécnica de Madrid (UPM), en colaboración con la Universidad Carlos III de Madrid y la Universidad de Valladolid, se ha propuesto arrojar luz sobre el real dominio léxico de GPT.
Descifrando el Conocimiento Léxico de ChatGPT
Ignorábamos algo tan básico como la cantidad de palabras de la lengua española que puede identificar ChatGPT. Para abordar esta incógnita, los investigadores desarrollaron la aplicación ChatWords. Esta herramienta permite evaluar el conocimiento léxico que el sistema de inteligencia artificial tiene de diferentes idiomas, ofreciendo una perspectiva única sobre su dominio del español.
Los primeros resultados del estudio son de suma relevancia. Según el análisis de más de 90.000 palabras del diccionario de la Real Academia de la Lengua, el modelo ChatGPT3.5turbo desconoce aproximadamente el 20 % de las palabras. Pero eso no es todo; del 80 % restante, alrededor del 5 % ofrece significados erróneos en algunos casos. Estos hallazgos plantean preguntas cruciales sobre la fiabilidad y precisión de las aplicaciones de inteligencia artificial en el procesamiento del lenguaje.
Un reto para la sabiduría de ChatGPT
¿Qué significa este desconocimiento lingüístico de ChatGPT? Para entender mejor los resultados, es esencial compararlos con el conocimiento léxico promedio de un hispanohablante, que reconoce alrededor de 30.000 palabras, aproximadamente un tercio del léxico español. Javier Conde, profesor ayudante en la Escuela Técnica Superior de Ingenieros de Telecomunicación (ETSIT) de la UPM, señala: «Quizás ChatGPT no sea hoy en día tan sabio como aparenta».
A pesar de la aparente sabiduría de las aplicaciones de inteligencia artificial, los resultados demuestran que no todo es oro. Javier Conde destaca: «No es oro todo lo que reluce, y analizando los significados que da ChatGPT de las palabras, vemos que hay un porcentaje no despreciable en que el sentido que señala es incorrecto». Esto plantea dudas sobre la verdadera comprensión semántica de estas herramientas.
En este contexto, surge una preocupación adicional. Pedro Reviriego, coautor del estudio y profesor titular de ETSIT, advierte sobre la posibilidad de que el contenido generado por estas aplicaciones tenga un número cada vez menor de palabras distintas. En palabras de Reviriego, «es fundamental garantizar la riqueza léxica en el texto creado por inteligencia artificial». Esto plantea el desafío de preservar la diversidad y complejidad del lenguaje en la era de la inteligencia artificial.
El futuro de ChatWords y su evaluación continua de las capacidades de la IA
La aplicación ChatWords, de código abierto y diseñada para ser fácil de usar y ampliar, marca un hito en la evaluación del conocimiento léxico de ChatGPT. Sin embargo, los investigadores no se detienen aquí. Su próximo paso implica evaluar otros idiomas y modelos de lenguaje de gran tamaño (LLM) para comprender mejor cómo evoluciona el conocimiento léxico de estas herramientas a medida que surgen nuevas versiones y herramientas.
Este trabajo se enmarca en el proyecto «Redes del Futuro para Centros de Procesados de Datos y Operadores», financiado por la Agencia Estatal de Investigación, y cuenta con el respaldo de OpenAI. OpenAI, el laboratorio estadounidense responsable de ChatGPT, apoya la investigación a través de su programa de acceso a investigadores, destacando la importancia de comprender los límites y potencialidades de la inteligencia artificial en el procesamiento del lenguaje.
Vía: SINC
