Estudiantes de contabilidad derrotan al programa de inteligencia artificial ChatGPT

El chatbot de inteligencia artificial ChatGPT ha demostrado ser muy bueno para escribir textos o incluso para pasar exámenes de algunas profesiones, pero la contabilidad aún no es uno de sus fuertes.

Investigadores de la Brigham Young University y de otras 186 universidades querían saber cómo le iría a la tecnología de OpenAI en los exámenes de contabilidad. Así que pusieron a prueba la versión original, ChatGPT.

Los investigadores afirman que, aunque todavía le queda trabajo por hacer en el ámbito de la contabilidad, se trata de una tecnología revolucionaria que cambiará la forma en que todo el mundo enseña y aprende, para mejor.

“Cuando apareció esta tecnología, a todo el mundo le preocupaba que los estudiantes pudieran utilizarla para hacer trampas”, afirma el autor principal del estudio, David Wood, profesor de contabilidad de la BYU. “Pero las oportunidades de hacer trampas siempre han existido. Así que nosotros intentamos centrarnos en lo que podemos hacer ahora con esta tecnología que no podíamos hacer antes para mejorar el proceso de enseñanza del profesorado y el proceso de aprendizaje de los estudiantes. Probarlo fue revelador”, agregó.

En respuesta al intenso debate sobre cómo modelos como ChatGPT deberían influir en la educación, Wood decidió reclutar a tantos profesores como fuera posible para ver cómo le iba a la IA frente a estudiantes universitarios reales de contabilidad.

Campaña de reclutamiento y resultados

La campaña de reclutamiento de Wood coautores en las redes sociales explotó: 327 coautores de 186 instituciones educativas de 14 países participaron en la investigación, aportando 25,181 preguntas de exámenes de contabilidad presenciales. También reclutaron a estudiantes universitarios de la BYU (incluida la hija de Wood, Jessica) para que aportaran otras 2,268 preguntas de bancos de exámenes de libros de texto a ChatGPT. Las preguntas abarcaban sistemas de información contable (SIC), auditoría, contabilidad financiera, contabilidad de gestión y fiscalidad, y variaban en dificultad y tipo (verdadero/falso, opción múltiple, respuesta corta, etc.).

Aunque los resultados de ChatGPT fueron impresionantes, los de los estudiantes fueron mejores. Los estudiantes obtuvieron una puntuación media global del 76.7%, frente al 47.4% de ChatGPT. En un 11.3% de las preguntas, ChatGPT obtuvo una puntuación superior a la media de los estudiantes, especialmente en AIS y auditoría. Pero el bot de IA lo hizo peor en las evaluaciones fiscales, financieras y de gestión, posiblemente porque ChatGPT tuvo problemas con los procesos matemáticos requeridos para este último tipo.

En cuanto al tipo de pregunta, ChatGPT obtuvo mejores resultados en las preguntas de verdadero/falso (68.7% de aciertos) y en las de opción múltiple (59.5%), pero tuvo problemas con las preguntas de respuesta corta (entre el 28.7% y el 39.1%). En general, ChatGPT tuvo más dificultades para responder a las preguntas de orden superior. De hecho, a veces ChatGPT proporcionaba descripciones escritas autorizadas para las respuestas incorrectas, o respondía a la misma pregunta de diferentes maneras.

“No es perfecto; no vas a utilizarlo para todo”, afirma Jessica Wood, estudiante de primer año en la BYU. “Intentar aprender únicamente utilizando ChatGPT es una tontería”.

Seguir leyendo:

• ChatGPT: investigador logró crear virus indetectable utilizando Inteligencia Artificial

• OpenAI pagará hasta $20,000 dólares a usuarios que detecten fallos en ChatGPT

• ChatGPT podría ser capaz de predecir el comportamiento del mercado financiero