Guillaume/Getty Images
Cuando analicé por primera vez la cuestión de si es posible luchar contra el plagio generado por la IA y cómo podría funcionar, era enero de 2023, apenas unos meses después de que el mundo tomara conciencia de la IA generativa. Ahora, casi un año después, parece que hemos estado explorando la IA generativa durante años y años, pero en realidad hemos estado analizando el problema durante unos meses.
En cualquier caso, esta es una versión actualizada de ese artículo original de enero. Cuando probé por primera vez los detectores GPT, utilicé tres: el detector de salida GPT-2 (esta es una URL diferente a la que publicamos antes), el detector de contenido AI de Writer.com y la detección de contenido AI a escala. El mejor resultado fue 66% correcto, del detector de salida GPT-2. Esta vez, agrego tres más: GPTZero, ZeroGPT (sí, son diferentes) y GPT Detector de Writefull.
Además: Cómo usar ChatGPT: todo lo que necesitas saber
Desafortunadamente, voy a eliminar el detector de contenido AI de Writer.com de nuestro conjunto de pruebas porque falló en enero, volvió a fallar en octubre y falló ahora. Consulte a continuación un comentario de la empresa, que su equipo me envió después de la publicación del artículo original en enero.
Sin embargo, antes de continuar, debemos hablar sobre el concepto de plagio y cómo se relaciona con nuestro problema. Merriam-Webster define “plagiar” como “robar y hacer pasar (las ideas o palabras de otro) como propias; usar (la producción de otro) sin dar crédito a la fuente”.
Esta definición se ajusta al contenido creado por IA. Si bien alguien que usa una herramienta de inteligencia artificial como Notion AI o ChatGPT no está robando contenido, si esa persona no da crédito a las palabras como provenientes de una inteligencia artificial y las reclama como propias, aún así cumple con la definición de plagio del diccionario.
Además: los mejores generadores de imágenes de IA para probar
En este artículo experimental, le pedí ayuda a ChatGPT. Mis palabras están en texto normal y en negrita. Las palabras de la IA están en cursiva. Después de cada sección generada por IA, mostraré los resultados de los detectores. Al final del artículo, veremos qué tan bien funcionaron los detectores en general.
Aquí está el resultado del texto anterior, que escribí yo mismo:
Detector de salida GPT-2: 99,98% realContenido a escala Detección de contenido AI: 100% ¡Es muy probable que sea humano!GPTZero: Es probable que su texto esté escrito íntegramente por un humano.CeroGPT: 28,9% AI GPT Su texto probablemente esté escrito por humanosDetector GPT de escritura completa: 1% de probabilidad de que esto provenga de GPT-3, GPT-4 o ChatGPT
Contenido escrito por humanos: 4 de 5 correctos
Dicho esto, profundicemos un poco más.
Explique por qué ChatGPT puede ser un verdadero problema para profesores y editores cuando se trata de plagio.
ChatGPT es una variante del modelo de lenguaje GPT (Generative Pre-trained Transformer) desarrollado por OpenAI. Está diseñado para generar texto similar al humano prediciendo la siguiente palabra o frase en una secuencia de entrada determinada. Si bien ChatGPT puede ser una herramienta útil para generar texto y responder a indicaciones, también puede ser un problema para profesores y editores cuando se trata de plagio.
Una de las principales razones por las que ChatGPT puede ser un problema para profesores y editores es que puede generar texto muy similar al de escritores humanos reales. Esto significa que los estudiantes u otras personas podrían utilizar ChatGPT para generar texto que luego podrían enviar como su propio trabajo, cometiendo así plagio.
Además: 4 formas de superar tus mayores preocupaciones sobre la IA generativa
Para profesores y editores, detectar si un determinado fragmento de texto fue generado por ChatGPT o escrito por un humano puede resultar muy difícil, ya que el texto generado puede no contener errores o discrepancias obvias que revelen su origen artificial. Esto puede dificultar que los profesores y editores identifiquen y prevengan el plagio, ya que es posible que no puedan saber si un determinado fragmento de texto es original o está copiado de otra fuente.
En general, ChatGPT y otros modelos de lenguaje similares pueden ser un problema para profesores y editores cuando se trata de plagio porque pueden generar texto que es difícil de distinguir del escrito por humanos, lo que facilita que los estudiantes y otras personas cometan plagio sin ser detectado.
Detector de salida GPT-2: 99,69% realesContenido a escala Detección de contenido AI: 3% ¡Es muy probable que sea generado por IA!GPTZero: Sugerimos ingresar un texto más largo para una predicción más precisa.CeroGPT: 51,22% AI GPT Su texto se genera con AI/GPTDetector GPT de escritura completa: 12% de probabilidad de que esto provenga de GPT-3, GPT-4 o ChatGPT
Contenido escrito por IA: 1 de 5 correcto (apenas)
Recuerde, el texto que se muestra en cursiva Fue generado por la IA.
Muéstrame al menos tres formas en que puedo detectar que ChatGPT se usó para producir un fragmento de texto.
Hay varias formas de detectar si se utilizó ChatGPT u otro modelo de lenguaje para producir un fragmento de texto. Aquí hay tres posibles enfoques que podría utilizar:
Busque patrones repetitivos o inusuales en el texto: Una forma de detectar si se utilizó un modelo de lenguaje para generar un texto es buscar patrones repetitivos o inusuales en la escritura. Por ejemplo, los modelos de lenguaje pueden repetir ciertas frases o combinaciones de palabras, o usar estructuras de oraciones inusuales o inconsistentes.Comprobar falta de originalidad: Otra forma de detectar si se utilizó un modelo de lenguaje para generar un texto es comprobar si hay falta de originalidad en la escritura. Si un fragmento de texto parece haber sido copiado de otra fuente, o si contiene información ampliamente disponible en Internet o en otras fuentes, podría ser una señal de que fue generado por un modelo de lenguaje.Utilice un comprobador de plagio: Finalmente, puede utilizar un comprobador de plagio para comprobar si un fragmento de texto parece haber sido copiado de otra fuente. Si bien es posible que un verificador de plagio no pueda determinar definitivamente si se utilizó un modelo de lenguaje para generar un fragmento de texto, puede ayudarlo a identificar casos de copia o paráfrasis de otras fuentes.Tenga en cuenta cuando la respuesta es obviamente incorrecta: Hablé de esto en mi revisión de Notion AI, donde destaqué un texto que la IA escribió con aparente autoridad, pero que era descaradamente incorrecto. Si un estudiante o escritor no tiene un dominio total del tema que se está discutiendo, es posible que no detecte las imprecisiones y simplemente las deje en la respuesta generada por la IA. Por supuesto, las declaraciones incorrectas no son sólo competencia de una herramienta de escritura de IA. Muchos blogueros y comentaristas, por ejemplo, simplemente repiten declaraciones hechas por otros blogueros, creando una cámara de eco de “hechos completamente falsos”, que muestran que si bien la inteligencia puede ser artificial, la estupidez es un rasgo universal.
Tenga en cuenta que puede resultar difícil determinar definitivamente si se utilizó un modelo de lenguaje para generar un fragmento de texto y es posible que estos métodos no siempre sean efectivos. Sin embargo, pueden ser herramientas útiles para ayudarle a identificar posibles instancias de texto generado por modelos de lenguaje.
En este conjunto de pruebas, solo el contenido en cursiva anterior se ejecutó en el conjunto de verificación.
Detector de salida GPT-2: 99,98% falsoContenido a escala Detección de contenido AI: 99% ¡Es muy probable que sea humano!GPTZero: Su texto puede incluir partes escritas por IACeroGPT: 91,35% AI GPT Su texto se genera con AI/GPTDetector GPT de escritura completa: 77% de probabilidad de que esto provenga de GPT-3, GPT-4 o ChatGPT
Contenido escrito por IA: 4 de 5 correctos
Enumere tres comprobadores de plagio que pueden detectar texto ChatGPT
Vale la pena señalar que actualmente no existe ningún verificador de plagio diseñado específicamente para detectar texto generado por ChatGPT u otros modelos de lenguaje. Si bien algunos verificadores de plagio pueden identificar ciertas características del texto generado por un modelo de lenguaje que podrían indicar su origen artificial, no hay garantía de que puedan determinar definitivamente si un fragmento de texto fue generado por un modelo de lenguaje.
Dicho esto, aquí hay tres verificadores de plagio que podría considerar usar para ayudar a identificar posibles instancias de texto generado por modelos de lenguaje:
Turnitín: Turnitin es un comprobador de plagio popular que se utiliza ampliamente en escuelas y universidades. Compara un fragmento de texto con una base de datos de otros textos para identificar casos de copia o paráfrasis. Si bien es posible que no pueda determinar definitivamente si un fragmento de texto fue generado por un modelo de lenguaje, podría identificar ciertas características del texto generado por un modelo de lenguaje que podrían indicar su origen artificial.PlagScan: PlagScan es otro comprobador de plagio que compara un fragmento de texto con una base de datos de otros textos para identificar casos de copia o paráfrasis. Al igual que Turnitin, puede identificar ciertas características del texto generado por modelos de lenguaje que podrían indicar su origen artificial, pero no está diseñado específicamente para detectar texto generado por modelos de lenguaje.Copias filtradas: Copyleaks es un verificador de plagio que utiliza algoritmos avanzados de aprendizaje automático para escanear un fragmento de texto y compararlo con una base de datos de otros textos para identificar casos de copia o paráfrasis. Si bien puede identificar ciertas características del texto generado por modelos de lenguaje, no está diseñado específicamente para detectar texto generado por modelos de lenguaje.
Vale la pena señalar que ningún comprobador de plagio es completamente infalible y siempre existe la posibilidad de que un fragmento de texto generado por un modelo de lenguaje escape a la detección. Por lo tanto, es importante utilizar detectores de plagio como solo una parte de una estrategia más amplia para detectar y prevenir el plagio.
Detector de salida GPT-2: 99,58% realesContenido a escala Detección de contenido AI: ¡100% muy probable que sea humano!GPTZero: Su texto puede incluir partes escritas por IACeroGPT: 100% AI GPT Su texto se genera AI/GPTDetector GPT de escritura completa: 88% de probabilidad de que esto provenga de GPT-3, GPT-4 o ChatGPT
Contenido escrito por IA: 3 de 5 correctos
Comprobadores de plagio de IA en línea
La mayoría de los detectores de plagio se utilizan para comparar escritos con un corpus de otros escritos. Por ejemplo, cuando un estudiante entrega un ensayo, un producto como Turnitin escanea el ensayo enviado comparándolo con una enorme biblioteca de otros ensayos en su base de datos, así como con otros documentos y textos en Internet para determinar si el ensayo enviado ya contiene: contenido escrito.
Pero las herramientas de escritura de IA generan contenido original, al menos en teoría. Sí, construyen su contenido a partir de aquello en lo que han sido entrenados, pero las palabras reales que construyen son algo únicas para cada composición.
Además: Los 10 mejores complementos de ChatGPT en este momento
Como tal, los verificadores de plagio mencionados anteriormente probablemente no funcionen, porque el contenido generado por IA probablemente no existía, por ejemplo, en el trabajo de otro estudiante.
En este artículo, solo analizamos los detectores GPT. Pero el plagio es un gran problema y, como hemos visto, algunos optan por definir el plagio como algo que usted afirma como suyo y que no escribió, mientras que otros optan por definir el plagio como algo escrito por otra persona que afirma que es suyo.
Esa distinción nunca fue un problema hasta ahora. Ahora que tenemos escritores no humanos, la distinción entre plagio tiene más matices. Depende de cada profesor, escuela, editor e institución decidir exactamente dónde se traza esa línea.
Detector de salida GPT-2: 99,98% realesContenido a escala Detección de contenido AI: ¡100% muy probable que sea humano!GPTZero: Es probable que su texto esté escrito íntegramente por un humano.CeroGPT: 0% AI GPT Tu texto está escrito por humanosDetector GPT de escritura completa: 1% de probabilidad de que esto provenga de GPT-3, GPT-4 o ChatGPT
Contenido escrito por humanos: 5 de 5 correctos
Resultados totales
De las cinco pruebas realizadas, cuatro de cada cinco fueron, en general, precisas. Las pruebas demostraron ser más precisas en general en humanos puros…