OLIVIER MORIN/AFP vía Getty Images
Singapur ha identificado seis riesgos principales asociados con la inteligencia artificial (IA) generativa y ha propuesto un marco sobre cómo abordar estos problemas. También ha establecido una fundación que busca aprovechar la comunidad de código abierto para desarrollar kits de herramientas de prueba que mitiguen los riesgos de adoptar la IA.
Las alucinaciones, la desinformación acelerada, los problemas de derechos de autor y los sesgos incrustados se encuentran entre los riesgos clave de la IA generativa descritos en un informe publicado por la Autoridad de Desarrollo de Medios Infocomm (IMDA) de Singapur. El documento de debate detalla el marco del país para la adopción “confiable y responsable” de la tecnología emergente, incluidos los estándares de divulgación y la interoperabilidad global. El informe fue desarrollado conjuntamente con Aicadium, una empresa de tecnología de inteligencia artificial fundada por la firma de inversión estatal Temasek Holdings.
También: El auge actual de la IA amplificará los problemas sociales si no actuamos ahora, dice un especialista en ética de la IA
El marco ofrece una mirada a cómo los formuladores de políticas pueden impulsar la gobernanza de la IA existente para abordar las “características únicas” y las preocupaciones inmediatas de la IA generativa. También analiza la inversión necesaria para garantizar resultados de gobernanza a largo plazo, dijo IMDA.
Al identificar las alucinaciones como un riesgo clave, el informe señaló que, al igual que todos los modelos de IA, los modelos de IA generativos cometen errores y estos a menudo son vívidos y adquieren una antropomorfización.
“Se sabe que las versiones actuales y pasadas de ChatGPT cometen errores fácticos. Estos modelos también tienen más dificultades para realizar tareas como lógica, matemáticas y sentido común”, señala el documento de discusión.
“Esto se debe a que ChatGPT es un modelo de cómo las personas usan el lenguaje. Aunque el lenguaje a menudo refleja el mundo, estos sistemas aún no tienen una comprensión profunda de cómo funciona el mundo”.
Estas respuestas falsas también pueden ser engañosamente convincentes o auténticas, agrega el informe, señalando cómo los modelos de lenguaje han creado respuestas aparentemente legítimas pero erróneas a preguntas médicas, además de generar códigos de software que son susceptibles a vulnerabilidades.
Además, la difusión de contenido falso es cada vez más difícil de identificar debido a textos, imágenes y vídeos convincentes pero engañosos, que potencialmente pueden generarse a escala utilizando IA generativa.
También: Cómo usar ChatGPT para escribir código
Los ataques de suplantación de identidad y reputación se han vuelto más fáciles, incluidos los ataques de ingeniería social que utilizan deepfakes para obtener acceso a personas privilegiadas.
La IA generativa también permite causar otros tipos de daños, donde los actores de amenazas con poca o ninguna habilidad técnica pueden generar código malicioso.
También: No se deje engañar por aplicaciones ChatGPT falsas: esto es lo que debe tener en cuenta
Estos riesgos emergentes podrían requerir nuevos enfoques para la gobernanza de la IA generativa, según el documento de debate.
La Ministra de Comunicaciones e Información de Singapur, Josephine Teo, señaló que los líderes mundiales todavía están explorando arquitecturas y enfoques alternativos de IA, y muchas personas advierten sobre los peligros de la IA.
La IA ofrece “inteligencia similar a la humana” a un nivel potencialmente alto y a un costo significativamente reducido, lo que es especialmente valioso para países como Singapur, donde el capital humano es un diferenciador clave, dijo Teo, quien habló en la cumbre Asia Tech x Singapur de esta semana. .
Sin embargo, el uso inadecuado de la IA puede causar un gran daño, señaló. “Por lo tanto, son necesarias barreras de seguridad para guiar a las personas a usarlos de manera responsable y para que los productos de IA sean 'seguros para todos nosotros' por diseño”, dijo.
“Esperamos [the discussion paper] provocará muchas conversaciones y creará conciencia sobre las medidas de seguridad necesarias”, añadió.
También: 6 formas dañinas de utilizar ChatGPT
Durante un diálogo a puerta cerrada en la cumbre, reveló que altos funcionarios gubernamentales también debatieron los avances recientes en IA, incluidos los modelos de IA generativa, y consideraron cómo estos podrían impulsar el crecimiento económico e impactar a las sociedades.
Los funcionarios llegaron a un consenso de que la IA debía ser gobernada y utilizada “apropiadamente” para el bien de la humanidad, dijo Teo, quien proporcionó un resumen como presidente de la discusión. Los participantes en la reunión, que incluyeron ministros, representaron a naciones como Alemania, Japón, Tailandia y los Países Bajos.
Los delegados también coincidieron en que una mayor colaboración e intercambio de información sobre las políticas de gobernanza de la IA ayudaría a identificar puntos comunes y conduciría a una mejor alineación entre los enfoques. Esta unidad conduciría a marcos de gobernanza y estándares técnicos de IA sostenibles y adecuados para su propósito, dijo Teo.
Los funcionarios instaron a una mayor interoperabilidad entre los marcos de gobernanza, que creen que es necesaria para facilitar el desarrollo responsable y la adopción de tecnologías de IA a nivel mundial.
También se reconoció que la ética de la IA debería inculcarse en las primeras etapas de la educación, mientras que se debería priorizar la inversión en recapacitación.
Galvanizando a la comunidad
Singapur ha lanzado una fundación sin fines de lucro para “aprovechar el poder colectivo” y las contribuciones de la comunidad global de código abierto para desarrollar herramientas de prueba de IA. El objetivo aquí es facilitar la adopción de una IA responsable y promover las mejores prácticas y estándares para la IA.
Llamada AI Verify Foundation, establecerá la dirección estratégica y la hoja de ruta de desarrollo de AI Verify, que se introdujo el año pasado como un marco y un conjunto de herramientas para pruebas de gobernanza. El kit de herramientas de prueba se ha hecho de código abierto.
También: Este nuevo sistema de inteligencia artificial puede leer la mente con precisión aproximadamente la mitad del tiempo
La cosecha actual de 60 miembros de AI Verify Foundation incluye IBM, Salesforce, DBS, Singapore Airlines, Zoom, Hitachi y Standard Chartered.
La fundación opera como una subsidiaria de propiedad total de IMDA. Dado que las tecnologías de prueba de IA aún son incipientes, la agencia gubernamental de Singapur dijo que aprovechar las comunidades de investigación y de código abierto ayudaría a desarrollar aún más el segmento de mercado.
Teo dijo: “Creemos que la IA es el próximo gran cambio desde Internet y los dispositivos móviles. En medio de temores y preocupaciones muy reales sobre su desarrollo, necesitaremos orientar activamente la IA hacia usos beneficiosos y lejos de los malos. Esto es fundamental para la forma en que Singapur piensa en la IA.”
En su discurso en la cumbre, el Viceprimer Ministro y Ministro de Finanzas de Singapur, Lawrence Wong, reiteró además la importancia de generar confianza en la IA, para que la tecnología pueda tener una aceptación generalizada.
“Ya estamos utilizando el aprendizaje automático para optimizar la toma de decisiones y la IA generativa irá más allá para crear contenido potencialmente nuevo y generar nuevas ideas”, dijo Wong. “Sin embargo, sigue habiendo serias preocupaciones. Si se usa incorrectamente, [AI] puede perpetuar sesgos peligrosos en la toma de decisiones. Y con la última ola de IA, los riesgos son aún mayores a medida que la IA se vuelve más íntima y humana”.
Además: es más probable que la IA cause la ruina mundial que el cambio climático, según un experto en IA
Estos desafíos plantean cuestiones difíciles para los reguladores, las empresas y la sociedad en general, afirmó. “¿En qué tipo de trabajo se debería permitir que ayude la IA? ¿Cuánto control sobre la toma de decisiones debería tener una IA y qué salvaguardas éticas deberíamos implementar para ayudar a guiar su desarrollo?”
Wong añadió: “Ninguna persona, organización o incluso país tendrá todas las respuestas. Todos tendremos que unirnos para participar en debates críticos para determinar las barreras de seguridad adecuadas que serán necesarias para construir sistemas de IA más confiables”.
En una mesa redonda, Alexandra van Huffelen, del Ministerio del Interior y Relaciones del Reino de los Países Bajos, reconoció los beneficios potenciales de la IA, pero expresó su preocupación por su posible impacto, especialmente en medio de señales contradictorias de la industria.
El Ministro de Digitalización señaló que los actores del mercado, como OpenAI, promocionan los beneficios de sus productos, pero al mismo tiempo advierten que la IA tiene el potencial de destruir a la humanidad.
“Es una historia loca que contar”, bromeó van Huffelen, antes de preguntarle a un panelista de Microsoft cómo se sentía al ser su empresa un inversor en OpenAI, la creación detrás de ChatGPT.
También: Usé ChatGPT para escribir la misma rutina en estos 10 idiomas
Los cofundadores y el director ejecutivo de OpenAI publicaron conjuntamente el mes pasado una nota en el sitio web de la compañía, instando a la regulación de los sistemas de inteligencia artificial de “superinteligencia”. Hablaron de la necesidad de que una autoridad global, como la Agencia Internacional de Energía Atómica, supervise el desarrollo de la IA. Esta agencia debería “inspeccionar los sistemas, exigir auditorías, comprobar el cumplimiento de las normas de seguridad, imponer restricciones a los grados de despliegue y niveles de seguridad”, entre otras responsabilidades, propusieron.
“Sería importante que dicha agencia se centrara en reducir el riesgo existencial y no en cuestiones que deberían dejarse en manos de cada país, como definir qué se le debería permitir decir a una IA”, señalaron. “En términos de posibles ventajas y desventajas, la superinteligencia será más poderosa que otras tecnologías con las que la humanidad ha tenido que lidiar en el pasado… Dada la posibilidad de riesgo existencial, no podemos simplemente ser reactivos. La energía nuclear es una opción común. Utilicé un ejemplo histórico de una tecnología con esta propiedad.”
En respuesta, el presidente de Microsoft en Asia, Ahmed Mazhari, reconoció que la reacción de van Huffelen no era injustificada y señaló que los mismos defensores que firmaron una petición en marzo para detener los desarrollos de IA habían procedido el mes siguiente a invertir en su propio chatbot de IA.
También: Los mejores chatbots con IA: ChatGPT y alternativas para probar
Al señalar el daño social resultante de la falta de supervisión de las plataformas de redes sociales, Mazhari dijo que la industria tecnológica tiene la responsabilidad de evitar que se repita ese fracaso con la IA.
Señaló que el debate en curso y la mayor conciencia sobre la necesidad de regulaciones sobre la IA, en particular en las áreas de IA generativa, era una señal positiva para una tecnología que llegó al mercado hace apenas seis meses.
Además, van Huffelen subrayó la necesidad de que las empresas de tecnología actúen de manera responsable, junto con la necesidad de establecer reglas y hacerlas cumplir para garantizar que las organizaciones cumplan con estas regulaciones. Dijo que todavía “no se ha probado” si este enfoque dual podría lograrse en conjunto.
También enfatizó la importancia de generar confianza, para que la gente quiera usar la tecnología, y garantizar que los usuarios tengan control sobre lo que hacen en línea, como lo tendrían en el mundo físico.
También: ¿Cómo funciona ChatGPT?
El panelista Keith Strier, vicepresidente de iniciativas mundiales de IA de Nvidia, señaló la complejidad de la gobernanza debido a la amplia accesibilidad de las herramientas de IA. Esta disponibilidad general significa que hay más oportunidades para fabricar productos inseguros.
Strier sugirió que las regulaciones deberían ser parte de la solución, pero no la única respuesta, ya que los estándares industriales, las normas sociales y la educación son igualmente cruciales para garantizar la adopción segura de la IA.