Inteligencia Artificial (IA): sesgos, subjetividades, desigualdad automatizada, exclusión y colonialismo digital

La revista Nueva Sociedad de la Fundación Friedrich Ebert dedicó su número 294 de julio-agosto de 2021 a la Inteligencia Artificial (IA) en una mirada crítica desde las ciencias sociales. El objetivo fue mostrar sus luces y sombras, sus efectos en la autonomía individual, en la democracia, las relaciones laborales, entre otras y sobre las necesidades de regulación.

Este volumen incluye el aporte de diez especialistas. En esta nota nos vamos a referir a los trabajos de Enzo Ferrante, Ingeniero de Sistemas, sobre las razones por las cuales la IA debería importarnos y el de Sofía Scasserra, economista, sobre los impactos en la desigualdad, y como podría agravar las brechas existentes.

La inteligencia artificial ya no es parte de un futuro de ciencia ficción; está en nuestras vidas, a veces de manera visible y en la mayor parte de los casos, sin que seamos conscientes de ello. El futuro de la democracia, de los derechos ciudadanos y laborales, y de la capacidad ciudadana para incidir en el rumbo político y social a escala global depende de lo que hagamos con ella, señala el editor de la publicación.

¿Por qué importarnos?
Ferrante señala que cada vez más la inteligencia artificial es parte de nuestras vidas, a menudo de manera imperceptible. Ya no se trata de utopías tecnológicas sobre el futuro, sino de un presente muy concreto. Pero detrás de avances que incluyen desde diagnósticos médicos hasta vigilancia masiva están los algoritmos, cuyos sesgos amenazan con perpetuar e incluso profundizar las desigualdades del presente. Poner el foco en los datos, los modelos y las personas puede servir para construir una inteligencia artificial más justa.

El autor plantea que no se trata de obstaculizar el avance de la IA como disciplina, sino de que tanto quienes la utilizan como quienes la desarrollan sean conscientes de sus limitaciones, y de que se tomen en cuenta a la hora de concebir y hacer uso de estas tecnologías.

Definiciones
La IA se describe como la disciplina que se encarga de comprender y construir entidades inteligentes (pero artificiales). Esta definición es muy amplia y abarca conceptos que van desde los sistemas de razonamiento deductivo basados en reglas lógicas hasta algoritmos de aprendizaje automático que buscan detectar automáticamente patrones en conjuntos de datos y luego usarlos para realizar predicciones.

Un elemento central para este último subcampo de la inteligencia artificial son los datos, que constituyen la materia prima utilizada para automatizar el proceso de aprendizaje en el que los sistemas son entrenados para realizar predicciones. Los datos pueden ser imágenes, sonidos, texto escrito, redes, tablas o cualquier representación que se nos ocurra. La idea central es que los modelos de aprendizaje automático aprenden a partir de los datos.

Pero ¿cómo aprenden estos sistemas? Existen distintos paradigmas de aprendizaje. Uno de los más utilizados es el del aprendizaje supervisado, en el que los sistemas son sometidos a un proceso de entrenamiento que es guiado por anotaciones o etiquetas. Se intenta asociar características o patrones propios de los datos con las correspondientes etiquetas. Es decir, se analizan los datos en busca de patrones distintivos que permitan separar una categoría de la otra. Esta capacidad de generalización es un rasgo primordial, dado que de nada serviría un modelo predictivo que solo acertara en situaciones conocidas.

¿Sexista y racista?
Los modelos de IA pueden ser sexistas y racistas. En otras palabras, pueden adquirir un sesgo que los lleve a presentar un rendimiento dispar en grupos caracterizados por distintos atributos demográficos (étnicos y raciales), lo que redunda en un comportamiento desigual o discriminatorio. Y una de las razones detrás de este comportamiento son justamente los datos que usan para entrenarlos.

En los sistemas comerciales de reconocimiento facial se muestra un rendimiento dispar respecto a variables demográficas como el género y el color de la piel; son las mujeres de piel negra el grupo para el cual los modelos presentan peor rendimiento. Este hecho está posiblemente relacionado con la falta de representatividad de mujeres negras en las bases de datos utilizadas para el entrenamiento.

La brecha salarial entre hombres y mujeres es una realidad del mundo desigual en que vivimos, y probablemente los datos con los que fue entrenado el modelo la reflejaran, por lo que su recomendación era asignarle mayor límite de gasto al hombre que a la mujer. Es decir, los datos son un reflejo (acotado) de la realidad actual. Sin embargo, en estas situaciones cabe preguntarse: ¿realmente queremos que el modelo perpetúe (y hasta en ocasiones amplifique) las desigualdades, por el solo hecho de que vivimos en una sociedad desigual? ¿O queremos modificar esta realidad?

Objetividad cuestionada
La selección de los datos, la población utilizada para construir las muestras, las variables que se miden: todas son decisiones humanas que están lejos de ser neutrales. El aura de neutralidad que muchas veces se atribuye a los sistemas automáticos se desvanece en el instante mismo en que comprendemos la relación entre los datos, los modelos y las personas. Y la necesidad de auditar la equidad de nuestros modelos se vuelve sumamente relevante anota Ferrante.

Los sistemas de inteligencia artificial están diseñados por personas con sus propias visiones del mundo, prejuicios, valoraciones de los hechos y sesgos adquiridos a lo largo de su experiencia de vida, que pueden filtrarse en el diseño y la definición de criterios de evaluación para estos modelos. Si esos grupos de trabajo no son lo suficientemente diversos como para reflejar una amplia variedad de visiones, muy probablemente no lleguen siquiera a darse cuenta de la existencia de los sesgos, y por tanto a corregirlos.

Sesgos
La industria de la IA está viviendo una crisis de diversidad, aunque hay muchos esfuerzos para diversificarla. Solo 18% de los trabajos publicados en las principales conferencias de IA son realizados por mujeres, y que más de 80% de los docentes de IA son hombres. Esta disparidad también se refleja en la industria, donde, por ejemplo, las mujeres representan solo 15% del personal de investigación de IA en Facebook y 10% en Google, dos de las empresas líderes a escala global.

Y a escala regional la situación tampoco mejora. Por ejemplo, según un informe elaborado para la Argentina sobre mujeres en el sistema universitario entre 2010 y 2016, existen grandes brechas de género en el ingreso y egreso de las estudiantes de las disciplinas ciencia, tecnología, ingeniería y matemática: 33% de mujeres y 67% de varones.

Exclusión
Sofía Scasserra señala que la IA plantea nuevos problemas y desafíos respecto de la industrialización del Sur global, que se enfrenta a renovadas formas de colonialismo. Lejos de reducir las desigualdades, las normas para la economía digital que están siendo negociadas en la Organización Mundial del Comercio (OMC) podrían agravar las brechas existentes.

La autora anota que, si los algoritmos deciden sobre las personas, sobre su libertad, sobre su empleo, sobre su capacidad de acceder a seguros, servicios médicos y otras cuestiones fundamentales de la vida, es menester tener la posibilidad de regularlos. Sin embargo, eso no está ocurriendo en la OMC.

Los derechos de propiedad intelectual fueron, son y serán un tema de controversia global. No existen argumentos más fuertes que generar ingresos adicionales para reinvertir para defender su existencia. La idea de que si no existieran normas de propiedad no habría innovación es falsa: esas normas tienen apenas algo más de 25 años de existencia en la OMC, y siempre hubo innovación a lo largo de la historia.

Estas normas no solo limitan la posibilidad de acceder a los códigos fuente de la IA que se programa en el mundo. Amparadas por un velo de secretismo y poder, las empresas deciden sobre la vida de las personas sin que estas puedan saber cuáles fueron los criterios de selección y los datos contemplados o si fueron activamente discriminadas o no. La sistematización de desigualdades dentro de las sociedades está a la orden del día anota la investigadora.

Colonialismo digital
La acumulación de datos pasa casi inadvertida por el Sur global, EE.UU. funciona como una aspiradora que absorbió en grandes volúmenes la materia prima para la IA y pudo así desarrollar sistemas que hoy son inigualables. Aun si un país se planteara la posibilidad de generar un Google local, no lograría el mismo éxito debido a la escasez de datos y, en muchos lugares, de recursos humanos capacitados.

Indudablemente la escala llevó a la eficiencia en lo que podría considerarse una especie de monopolio natural. Sería muy oneroso para un país encauzar una estrategia de ese tipo y el resultado sería incierto. La competencia con los gigantes tecnológicos carece de sentido en una economía que ya los ha coronado como reyes y señores. El colonialismo digital es hoy una realidad inapelable.

Efectivamente, la competencia con los gigantes tecnológicos no tiene sentido, pero ¿y la complementariedad? Se pueden crear nuevos servicios a escala nacional con un proyecto de soberanía de datos que sirva para mejorar la administración pública, construir cadenas regionales de valor y trabajar desde universidades y empresas desarrollos locales de IA para atender las necesidades nacionales.

Comercio desigual
Lo que se trabaja en la OMC genera desigualdades en distintos niveles. La agenda de comercio electrónico se vincula sobre todo con la desregulación de la economía digital del futuro: Transferencia transfronteriza de datos; prohibición de exigencias de localización y procesamiento; no divulgación del código fuente; exención de impuestos aduaneros por venta de servicios digitales; 0bligatoriedad del principio de neutralidad de la web (los Estados no puedan regular los contenidos ni a las empresas que operan en sus mercados digitales).

También hay normas respecto a la autorización del envío masivo de correos no deseados, normativas liberalizadoras en materia de compras y licitaciones públicas, limitaciones a la protección de datos, desvinculación de las empresas en su responsabilidad como intermediarias de los contenidos que se publican en internet y limitaciones a la solicitud de autorización previa para operar en un mercado, entre otras. Estas normas generan un marco que limita la capacidad de los Estados de impulsar una estrategia soberana de industrialización digital, que incluya la generación de IA.

Este aparato regulatorio potencia el extractivismo digital desmedido del Norte global respecto del Sur, al permitirle tomar datos sin pagar por ellos, eliminar la posibilidad de procesarlos localmente y que cuente con ellos para el diseño de mejores políticas públicas, y limitar también la capacidad de auditar la inteligencia artificial que se genere, aun si afecta a la población en aspectos tan diversos como la seguridad, la democracia, el empleo y los derechos. En un mundo que recién empieza a comprender cómo nos impacta esta tecnología, desregularla y limitar la capacidad de accionar de los Estados no parece ser la mejor opción.

Colofón
Nadie llamó a la sociedad civil a la mesa del diseño y desarrollo de una tecnología que regula de facto nuestras sociedades. Tampoco nos llamaron a participar en la formulación de las normas que regulan esta tecnología. El producto es, como era de esperarse, una tecnología autoritaria y monopólica que envía órdenes desde países lejanos y a la que obedecemos de manera complaciente, anota Scasserra.

COMENTARIOS

No hay comentarios.

DEJE SU COMENTARIO

La finalidad de este servicio es sumar valor a las noticias y establecer un contacto más fluido con nuestros lectores. Los comentarios deben acotarse al tema de discusión. Se apreciará la brevedad y claridad.


No se lee? Cambie el texto.


TODOS los blogs


Invirtiendo a futuro

Gino Bettocchi

La era inteligente

Rafael Lemor Ferrand

Doña cata

Rosa Bonilla

Blindspot

Alfonso de los Heros

Construyendo Xperiencias

Rodrigo Fernández de Paredes A.

Diversidad en acción

Pamela Navarro

Sin data no hay paraíso

Carlo Rodriguez

Conexión ESAN

Conexión ESAN

Conexión universitaria

Conexion-universitaria

Café financiero

 Sergio Urday

La pepa de Wall Street

Vania Diez Canseco Rizo Patrón

Comunicación en movimiento

Benjamín Edwards

Zona de disconfort

Alana Visconti

Universo físico y digital

Patricia Goicochea

Desde Columbia

Maria Paz Oliva

Inversión alternativa

James Loveday

Con sentido de propósito

Susy Caballero Jara

Shot de integridad

Carolina Sáenz Llanos

Detrás del branding

Daniela Nicholson

Persona in Centro

Cecilia Flores

Mindset en acción

Víctor Lozano

Marketing de miércoles

Jorge Lazo Arias

Derecho y cultura política

Adrián Simons Pino

VITAMINA ESG

Sheila La Serna

ID: Inteligencia Digital

por Eduardo Solis

Coaching para liderar

Mariana Isasi

El buen lobby

Felipe Gutiérrez

TENGO UNA QUEJA

Debora Delgado

De Pyme a Grande

Hugo Sánchez

Sostenibilidad integrada

Adriana Quirós C.

Gestión de la Gobernanza

Marco Antonio Zaldivar

Marca Personal 360º

Silvia Moreno Gálvez

Creatividad al natural

Andrés Briceño

Mindset de CEO

Carla Olivieri

Clic Digital

IAB Perú

Market-IN

Jose Oropeza

Cuadrando Cuentas

Julia y Luis

Liderazgo con ciencia

Mauricio Bock

Pluma Laboral

Alonso J. Camila

Economía e Integridad

Carlos Bustamante B.

Aprendiendo - nivel CEO

Francisco Pinedo

Portafolio Global

BlackRock

Menos face más book

Rafael Zavala Batlle

Visiones para el desarrollo

CAF –Banco de Desarrollo de América Latina y el Caribe–

Te lo cuento fácil

Alumnos de la Universidad del Pacífico

Fuera de la caja

María Camino

Orquestación Estratégica

Dr. Diego Noreña

Más allá del efectivo

Felipe Rincón

Mujer, ejecutiva y trasgresora

Zendy Manzaneda Cipriani

Disrupcion en la nube

Disrupción en la Nube

Revolución digital

Pablo Bermudez

Economía desde el campus

Grupo Económica

Síntesis legislativa

José Ignacio Beteta Bazán

La parábola del mudo

Javier Dávila Quevedo

Arturo Goga

Arturo Goga

Sumando Valores

Superintendencia del Mercado de Valores

@infraestructura

Rosselló Abogados

Minería 2021

Instituto de Ingenieros de Minas del Perú (IIMP)

Conciencia Corporativa

Verónica Roca Rey

Agenda Legal

Estudio Echecopar

Perspectiva Forestal

Comité Forestal SNI y Comité de Madera e Industria de la Madera ADEX

Pensando laboralmente

César Puntriano

Auditoria del Siglo 21

Karla Barreto

Economía conductual

Bertrand Regader

Cultura financiera

Walter Eyzaguirre

Triple enfoque

Cecilia Rizo Patrón

Gestiona tus Finanzas

Giovanna Prialé Reyes

Segunda opinión

Eduardo Herrera Velarde

Parte de Guerra

Pablo O'Brien

El cine es un espejo

Raúl Ortiz Mory

Ruarte's - Washington Capital

R. Washington Lopez

Atalaya Económica

Manuel Romero Caro

Terapia de Pareja

Luciana Olivares

Próspero Perú

Gladys Triveño

Herejías Económicas

Germán Alarco

Inversión e Infraestructura

Profesor de ESAN Graduate School of Business Sergio Bravo Orellana

Blog Universitario

Blog Universitario

Juegomaniáticos

Juan Pablo Robles

Gestión del Talento

Ricardo Alania Vera

Personas Power

Ana Romero

Millennials

Pamela Romero Wilson

Reglas de Juego

Pierino Stucchi

Humor S.A.

Jaime Herrera

Bitácora bursátil.

Equipo de Análisis de Intéligo SAB

Vivir Seguro

Asociación Peruana de Empresas de Seguros

El deporte de hacer negocios

Luis Carrillo Pinto

Zona de Intercambio

Julio Guadalupe

Innovar o ser cambiado

Andy Garcia Peña

Economía aplicada

Juan Mendoza

El Vino de la Semana

José Bracamonte

Carpeta Gerencial

IE Business School

Desafíos para el progreso

Banco Interamericano de Desarrollo

Diálogo a fondo

Fondo Monetario Internacional

Predio legal

Martín Mejorada

e-strategia

José Kusunoki Gutiérrez

Vinos, piscos y mucho más

Sommelier Giovanni Bisso

Palabra de Gestión

Julio Lira Segura

Impacto ambiental

Lorenzo de la Puente

Inversiones Globales

Carlos Palomino Selem

Moda Inc.

Daniel Trelles

Divina Ejecutiva

Fiorella

Menú Legal

Oscar Sumar

Analizando tus inversiones

Diego Alonso Ruiz

Reformas incompletas

Instituto Peruano de Economía

Empresa&Familia

Pablo Domínguez

Hoy sí atiendo provincias

Félix Villanueva - Aurum Consultoría y Mercado

Smart money

Luis Ramírez

Consumer Psyco

Cristina Quiñones

Gestión de servicios

Otto Regalado Pezúa

Marketing 20/20

Michael Penny

Mercados&Retail

Percy Vigil Vidal

CAFÉ TAIPÁ

Milton Vela

Anuncias, luego existes

Alexander Chiu Werner

Marcas & Mentes

Lizardo Vargas Bianchi

Riesgos Financieros

Gregorio Belaunde

Economía para todos

Carlos Parodi

De regreso a lo básico

Paúl Lira Briceño