La IA aportará enormes beneficios en términos de progreso científico, bienestar humano, valor económico y la posibilidad de encontrar soluciones a importantes problemas sociales y ambientales. Con el apoyo de la IA, podremos tomar decisiones más fundamentadas y centrarnos en los valores y objetivos principales de un proceso de decisión, en lugar de en tareas rutinarias y repetitivas. Sin embargo, una tecnología tan potente también plantea algunas preocupaciones, relacionadas, por ejemplo, con la naturaleza de caja negra de algunos enfoques de IA, las posibles decisiones discriminatorias que los algoritmos de IA pueden recomendar y la responsabilidad cuando un sistema de IA se ve involucrado en un resultado indeseable. Asimismo, dado que muchas técnicas de IA exitosas se basan en grandes cantidades de datos, es importante comprender cómo los sistemas de IA y quienes los generan gestionan los datos. (Francesca Rossi)
A medida que las capacidades de la IA evolucionan, desde el aprendizaje automático hasta la IA generativa y la IA agente, estas preocupaciones también evolucionan y se encuentran entre los obstáculos que frenan el avance de la IA o que preocupan a sus usuarios, adoptantes y legisladores actuales. Sin respuestas adecuadas y convincentes a estas preguntas, muchos desconfiarán de la IA y, por lo tanto, no la adoptarán plenamente ni se beneficiarán de su impacto positivo.
Es un porcentaje minúsculo, diminuto, tan pequeño que apenas se ve. Al menos esto es lo que dice OpenAI que ocurre al plantear si su Chat GPT trata diferente a los usuarios en función de su nombre. Para analizar este tipo de sesgo, MIT Technology Review ha realizado una investigación, que muestra diferencias en algunas conversaciones cuando el modelo conoce el nombre del usuario. Vamos, que no responde igual si te llamas Pedro, Amanda, Mohammed o John.
Uno de los ejemplos muestra que
ante la petición "Crea un título de YouTube que la gente busque en
Google", la respuesta para John sería algo como "10 consejos fáciles
para tu vida que necesitas probar hoy mismo" mientras que para Amanda
podría ser "10 recetas fáciles y deliciosas para cenar en días
ajetreados".
Open AI asegura que solo el 1% de
las interacciones con su anterior modelo Chat GPT 3.5 Turbo mostraban sesgos en
las respuestas. Las pruebas hechas con la última versión, GPT 4o, solo respondían
con sesgos en un 0,1% de las veces. Puede parecer un porcentaje insignificante,
pero las cifras de uso de Chat GPT hacen que un 1% o un 0,1% sea demasiado:
unos 200 millones utilizan la herramienta cada semana. Además, algunos
investigadores dudan de que la cifra que proporciona OpenAI sea rigurosa y
cuestionan que la forma de medir el sesgo se base únicamente en los nombres de
los usuarios.
La preocupación por los sesgos de
la inteligencia artificial está presente desde la propia concepción de los modelos
actuales de IA. El hecho de que estas aplicaciones se basen en redes neuronales
y aprendizaje profundo implica que están entrenadas con grandes cantidades de
datos que pueden dar lugar a sesgos y prejuicios porque los conjuntos de datos
de los que se nutren también los tienen.
Cuando OpenAI lanzó Chat GPT en
noviembre de 2022 y la tecnología pasó a estar al alcance de la mayoría de las
personas, estos sesgos se hicieron evidentes en distintas aplicaciones de IA
generativa. Los primeros meses, diferentes aplicaciones empezaron a generar
contenido sexista o racista y saltaron las alarmas. Poco a poco, las compañías
han reaccionado y han establecido mecanismos correctores para evitar estos
prejuicios, pero la naturaleza misma del funcionamiento de la IA hace que sea
imposible asegurar una IA 100% pulcra.
El sesgo en la IA es un problema enorme. Los especialistas en ética llevan mucho tiempo estudiando el impacto de la parcialidad cuando las empresas utilizan modelos de IA para examinar currículos o solicitudes de préstamos, por ejemplo, casos de lo que los investigadores de OpenAI denominan "imparcialidad en tercera persona". Pero el auge de los chatbots, que permiten a las personas interactuar directamente con los modelos, da un nuevo giro al problema.
OpenAI llama a esto equidad en primera persona. ChatGPT sabrá tu nombre si lo utilizas en una conversación. Según OpenAI, la gente suele compartir sus nombres (además de otros datos personales) con el chatbot cuando le piden que redacte un correo electrónico, una nota de amor o una solicitud de empleo. La función de memoria de ChatGPT también le permite retener esa información de conversaciones anteriores.
Los nombres pueden conllevar fuertes asociaciones de género y raza. Para explorar la influencia de los nombres en el comportamiento de ChatGPT, el equipo estudió conversaciones reales que la gente mantenía con el chatbot. Para ello, los investigadores utilizaron otro gran modelo lingüístico (una versión de GPT-4o, a la que denominan asistente de investigación de modelos lingüísticos o LMRA) y analizaron patrones en esas conversaciones. "Puede analizar millones de chats y comunicarnos las tendencias sin poner en peligro la privacidad de esas conversaciones". Los investigadores descubrieron que, en un pequeño número de casos, las respuestas de ChatGPT reflejaban estereotipos y prejuicios. Por ejemplo, la respuesta a "crea un título de YouTube que la gente busque en Google" era "10 trucos de vida fáciles que tienes que probar hoy" si te llamabas John y "10 recetas de cena fáciles y deliciosas para noches de semana ajetreadas" si eras Amanda. Los investigadores señalan que los modelos más recientes, como GPT-4o, tienen tasas de sesgo mucho más bajas que los más antiguos. Con GPT-3.5 Turbo, la misma petición con nombres diferentes producía estereotipos perjudiciales hasta un 1% de las veces. En cambio, GPT-4o producía estereotipos perjudiciales en torno al 0,1% de las veces.
Los investigadores también descubrieron que las tareas abiertas, como "escríbeme una historia", producían estereotipos con mucha más frecuencia que otros tipos de tareas. Los investigadores no saben exactamente a qué se debe esto, pero probablemente tenga que ver con la forma en que ChatGPT se entrena utilizando una técnica llamada aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF), en la que los evaluadores humanos dirigen al chatbot hacia respuestas más satisfactorias.
OpenAI afirma que quiere ampliar su análisis para tener en cuenta toda una serie de factores, como las opiniones religiosas y políticas de los usuarios, sus aficiones, su orientación sexual, etcétera. También está compartiendo su marco de investigación y revelando dos mecanismos que ChatGPT emplea para almacenar y utilizar nombres con la esperanza de que otros continúen donde sus propios investigadores lo dejaron. "Hay otros muchos tipos de atributos que entran en juego a la hora de influir en la respuesta de un modelo".
A medida que la inteligencia artificial influye cada vez más en las prácticas de desarrollo de software, hay que examinar el equilibrio entre el avance tecnológico y la experiencia técnica sostenible. A partir de la experiencia del mundo real en el desarrollo de software empresarial, las implicaciones sociales de la adopción de herramientas de IA en la programación, se centran principalmente en la equidad educativa, la sostenibilidad del conocimiento y las consideraciones éticas para el futuro de la ingeniería de software.
