Un informe reveló que los grandes modelos de lenguaje brindan consejos sesgados según las características del usuario.
Un estudio realizado por investigadores de la Universidad de Cornell, en Nueva York, encontró que los modelos de lenguaje masivo, la tecnología detrás de los chatbots, brinda consejos machistas cuando recibe consultas de mujeres respecto a condiciones salariales.
En concreto, descubrieron que varios modelos de Inteligencia Artificial recomiendan a las mujeres y a minorías que soliciten montos más bajos al momento de negociar su sueldo, en comparación con los consejos que dan a otros grupos, como hombres.
Para arribar a estas conclusiones, los científicos analizaron diversas conversaciones con chatbots empleando personajes ficticios, con diferentes características.
ChatGPT es uno de los modelos con recomendaciones sesgadas
Una de las pruebas se realizó con el chatbot que desarrolla OpenAI, la organización paradigmática en el ámbito de la IA Generativa. En ese caso, ChatGPT recomendó a un usuario que aplicaba para un puesto como médico que pida 400.000 dólares anuales como salario. A una candidata mujer igualmente cualificada, aconsejó que pida 280.000 dólares anuales.
“Nuestros resultados coinciden con hallazgos previos que observaron que incluso señales sutiles, como los nombres de pila de los candidatos, pueden desencadenar disparidades de género y raza en las solicitudes de empleo”, comentó al sitio Computer Wolrd el profesor Ivan P. Yamshchikov, que dirigió el equipo de investigación.
De acuerdo a la fuente, diversos modelos de IA también recomendaron salarios más bajos a minorías y refugiados.
¿Por qué la IA es machista y sesgada?
Ana Laguna Pradas, una experta en ciencia de datos que conocimos cuando desarrolló un sistema de IA para “traducir” el llanto de los bebés, nos ayudó a echar luz a ese interrogante. En diálogo con TN Tecno, señaló que “el principal problema está en el dataset de entrenamiento y no tanto en el sesgo que el humano, intencionadamente o no, podría transferir al algoritmo”.
– ¿En qué eslabón de la cadena surge, entonces, el sesgo?
– Digo que el core principal del problema está en el dataset de entrenamiento porque es de ese mimado dato de entrada de donde el algoritmo será capaz de inferir cuáles son las variables más relevantes para clasificar entre determinadas categorías. Por tanto, la labor principal de los expertos en ciencias de datos es revisar que ese dataset no contenga sesgos, y si es así, intentar paliarlo.
Un estudio mostró que los modelos de IA crean imágenes de mujeres con secadores de pelo y a hombres con taladros. En esos caso, el algoritmo va a inferir que eso es lo estándar, y, por tanto, “aprenderá” a asociar sexo con aparato (la correlación entre ambas variables).
Pensemos en esto: si tú fueras una mente en blanco a la que están enseñando, acabarías sacando las mismas conclusiones, ¿verdad? Por tanto, puesto que nuestra sociedad es machista presenta ciertos sesgos evidentes, y esto no podremos cambiarlo en dos días, lo que nuestros algoritmos aprenderán “mirando” a su alrededor forzosamente también lo reflejará esa realidad.
– ¿Cuál es entonces la clave para avanzar a una solución? Es decir, ¿cómo conseguir sistemas de IA que no sean sesgados?
– La labor del científico de datos es precisamente la de saber cómo paliar esos sesgos o problemas éticos latentes en nuestra sociedad. El 80-90% de nuestro trabajo consiste en asegurarnos que el dato de entrada a un algoritmo es perfecto acorde a unos objetivos. Si parte de nuestro objetivo es no herir sensibilidades racistas, machistas, etcétera, debemos asegurarnos que así es durante todo el proceso de creación del algoritmo.
