ChatGPT está perdiendo su toque especial y ahora es menos precisa

Una reciente investigación llevada a cabo por la Universidad de Stanford ha arrojado resultados sorprendentes en relación con la calidad de las respuestas proporcionadas por las versiones ChatGPT 3.5 y ChatGPT 4 de los modelos de lenguaje desarrollados por OpenAI. Los hallazgos revelaron que, con el paso del tiempo, la precisión de estas inteligencias artificiales ha disminuido, especialmente en lo que respecta a preguntas relacionadas con tareas matemáticas y la escritura de código.

James Zou, uno de los científicos a cargo de esta investigación, expresó su asombro ante el retroceso evidente que han experimentado ChatGPT 3.5 y ChatGPT 4 en comparación con versiones anteriores. Zou comentó: “Cuando ajustamos un modelo de lenguaje grande para mejorar su desempeño en ciertas tareas, eso en realidad puede tener muchas consecuencias no deseadas, que en realidad podrían perjudicar el desempeño de este modelo en otras tareas”. Esta declaración resalta la complejidad de mantener un equilibrio adecuado entre las capacidades de un modelo de lenguaje y su rendimiento general en diversas áreas.

Un aspecto particularmente impactante de la investigación es la disminución de la precisión de ChatGPT 4 en la identificación de números primos. Entre los meses de marzo y junio de 2023, se registró una disminución de aproximadamente un 2.4% en la capacidad de la inteligencia artificial para reconocer estos números fundamentales en matemáticas. Este hallazgo ha planteado interrogantes significativos sobre las causas detrás de esta fluctuación en el rendimiento de los modelos.

A pesar de los resultados reveladores, los investigadores aún no han determinado con exactitud por qué la calidad de las respuestas de ChatGPT 3.5 y ChatGPT 4 ha venido disminuyendo con el tiempo. Sin embargo, este estudio subraya la necesidad de una continua supervisión y ajuste de estos modelos para garantizar que sigan siendo herramientas fiables y precisas en una variedad de tareas, manteniendo un equilibrio adecuado entre la mejora de las capacidades específicas y el rendimiento general del modelo.

Pruebas adicionales

Además de las pruebas relacionadas con la lógica matemática, los investigadores llevaron a cabo un análisis exhaustivo de la capacidad de los modelos de inteligencia artificial de OpenAI al someterlos al Examen de Licencia Médica de los Estados Unidos. Los resultados de estas pruebas revelaron una pérdida significativa en la efectividad de ambos sistemas, ChatGPT 3.5 y ChatGPT 4, con una disminución de casi un 1% en su capacidad para responder preguntas médicas de manera precisa y coherente.

Este hallazgo agrega otra capa de preocupación sobre la tendencia a la disminución en la calidad de las respuestas proporcionadas por estos modelos con el paso del tiempo. La pérdida de precisión en un campo tan crítico como el de la medicina plantea cuestiones importantes sobre la confiabilidad de las inteligencias artificiales en aplicaciones médicas y de atención sanitaria.

Sigue leyendo:
– OpenAI ya no podrá utilizar el contenido del New York Times para entrenar a ChatGPT
– ChatGPT Enterprise: cuáles son las funciones de la nueva versión de IA de OpenAI
– Qué es la “alucinación” de la inteligencia artificial y por qué es una de las fallas potencialmente más peligrosas de esta tecnología