Junio ​​Wan/

La capacidad de ChatGPT para proporcionar respuestas conversacionales a cualquier pregunta en cualquier momento hace que el chatbot sea un recurso útil para sus necesidades de información. A pesar de la conveniencia, un nuevo estudio encuentra que es posible que no desee utilizar ChatGPT para consultas de ingeniería de software.

Antes del auge de los chatbots de IA, Stack Overflow era el recurso al que acudían los programadores que necesitaban asesoramiento para sus proyectos, con un modelo de preguntas y respuestas similar al de ChatGPT.

También: Cómo impedir que el nuevo rastreador web de entrenamiento de inteligencia artificial de OpenAI ingiera sus datos

Sin embargo, con Stack Overflow, tienes que esperar a que alguien responda tu pregunta, mientras que con ChatGPT no es así.

Como resultado, muchos ingenieros de software y programadores han recurrido a ChatGPT con sus preguntas. Dado que no había datos que mostraran cuán eficaz es ChatGPT para responder a ese tipo de mensajes, un nuevo estudio de la Universidad Purdue investigó el dilema.

Para descubrir qué tan eficiente es ChatGPT para responder solicitudes de ingeniería de software, los investigadores formularon preguntas de ChatGPT 517 Stack Overflow y examinaron la precisión y calidad de esas respuestas.

También: Cómo usar ChatGPT para escribir código

Los resultados mostraron que de las 512 preguntas, 259 (52%) de las respuestas de ChatGPT fueron incorrectas y sólo 248 (48%) fueron correctas. Además, un enorme 77% de las respuestas fueron detalladas.

A pesar de la importante inexactitud de las respuestas, los resultados mostraron que las respuestas eran completas el 65% de las veces y abordaban todos los aspectos de la pregunta.

Para analizar más a fondo la calidad de las respuestas de ChatGPT, los investigadores pidieron a 12 participantes con diferentes niveles de experiencia en programación que dieran su opinión sobre las respuestas.

Además: Stack Overflow utiliza IA para brindar a los programadores un nuevo acceso al conocimiento de la comunidad

Aunque los participantes prefirieron las respuestas de Stack Overflow a las de ChatGPT en varias categorías, como se ve en el gráfico, los participantes no lograron identificar correctamente las respuestas incorrectas generadas por ChatGPT el 39,34% de las veces.

Universidad de Purdue

Según el estudio, las respuestas bien articuladas que generó ChatGPT hicieron que los usuarios pasaran por alto información incorrecta en las respuestas.

“Los usuarios pasan por alto información incorrecta en las respuestas de ChatGPT (39,34% de las veces) debido a la información integral, bien articulada y humanoide de las respuestas de ChatGPT”, escribieron los autores.

También: Cómo ChatGPT puede reescribir y mejorar su código existente

La generación de respuestas que suenan plausibles y que son incorrectas es un problema importante en todos los chatbots porque permite la difusión de información errónea. Además de ese riesgo, las bajas puntuaciones de precisión deberían ser suficientes para hacerte reconsiderar el uso de ChatGPT para este tipo de mensajes.