Es el título del informe provisional terminado por el Órgano Consultivo de Alto Nivel sobre IA de las Naciones Unidas (ONU) a finales de 2023. Esta instancia inició sus trabajos luego de ser convocada por el secretario general el 26 de octubre de 2023.

El informe final se terminará en agosto de 2024 antes de la Cumbre del Futuro. Se trata de un documento para discusión y sobre el cual se están recibiendo aportes hasta finales de marzo de 2024 (https://www.un.org/en/ai-advisory-body). Aquí, en esta nota, nos centraremos en los riesgos y retos; en los principios y en las principales funciones que debería tener el sistema de gobierno (regulación) a nivel internacional.

Justificación
Según el Órgano Consultivo las oportunidades y los riesgos de la IA para las personas y la sociedad son evidentes y han acaparado el interés público. También se manifiestan a escala mundial, con tensiones geoestratégicas sobre el acceso a los datos, la informática y el talento que alimentan la IA, y se habla de una nueva carrera armamentística de la IA. Ni los beneficios ni los riesgos se distribuyen equitativamente.

Esta tecnología exige gobernanza, no sólo para afrontar los retos y riesgos, sino también para garantizar que aprovechamos su potencial de forma que nadie quede excluido. Una medida clave del éxito es la medida en que las tecnologías de IA ayudan a alcanzar los Objetivos de Desarrollo Sostenible (ODS).

Objetivos y contenido
El Órgano Consultivo sobre IA se creó para analizar y proponer recomendaciones sobre la gobernanza internacional de la IA. Ellos interpretan este mandato no sólo como una reflexión sobre cómo gobernar la IA en la actualidad, sino también cómo preparar nuestras instituciones para un entorno en el que el ritmo del cambio no hará sino aumentar.

Por tanto, la gobernanza de la IA debe reflejar las cualidades de la propia tecnología y sus usos en rápida evolución -ágil, en red, flexible-, así como ser potenciadora e integradora, en beneficio de toda la humanidad.

En el informe se incluyen en primer lugar las oportunidades y los facilitadores que pueden ayudar a aprovechar los beneficios potenciales de la IA. En segundo lugar, se destaca los riesgos y desafíos que la IA presenta ahora y en un futuro previsible. En tercer lugar, se sostiene que para abordar el déficit de gobernanza mundial se necesitan principios claros, así como nuevas funciones y acuerdos institucionales. El informe concluye con recomendaciones preliminares y próximos pasos a seguir.

Riesgos y retos
Luego de mencionar algunas de sus oportunidades y principales beneficios, el Órgano Consultivo mapeo los principales riesgos de la IA. En primer lugar, desde la perspectiva de sus características técnicas. A continuación, analizan los riesgos desde el punto de vista del uso inadecuado, incluido el doble uso, y de consideraciones más amplias sobre la interacción hombre-máquina. Por último, examinan los riesgos desde la perspectiva de la vulnerabilidad.

Al respecto, algunos riesgos de la IA tienen su origen en las limitaciones técnicas de estos sistemas. Estos riesgos van desde los sesgos perjudiciales hasta diversos peligros de la información, como la falta de precisión, las “alucinaciones” que son problemas conocidos en la IA generativa.

Otros riesgos
Otros riesgos son más producto de los humanos que de la IA. Las falsificaciones profundas y las campañas de información hostiles no son más que el último ejemplo de tecnologías desplegadas con fines malévolos. Pueden plantear graves riesgos para la confianza de la sociedad y el debate democrático.

Otras están relacionadas con la interacción hombre-máquina. A nivel individual, esto incluye una confianza excesiva en los sistemas de IA (sesgo de automatización) y la posible pérdida de competencias con el tiempo. A nivel social, incluye el impacto en los mercados laborales si grandes sectores de la mano de obra se ven desplazados, o en la creatividad si no se protegen los derechos de propiedad intelectual.

Tampoco se pueden descartar cambios sociales en la forma en que nos relacionamos los seres humanos a medida que aumenta el número de interacciones mediadas por la IA. hombre-máquina. Esto puede tener consecuencias imprevisibles para la vida familiar y para el bienestar físico y emocional.

Seguridad
Otra categoría de riesgo reseñada por el Órgano Consultivo se refiere a cuestiones de seguridad de mayor envergadura, con un debate en curso sobre las posibles “líneas rojas” de la IA, ya sea en el contexto de los sistemas de armamento autónomos o de la militarización más amplia de la IA. Existen pruebas creíbles del creciente uso de sistemas de IA con funciones autónomas en el campo de batalla. Podría estar en marcha una nueva carrera armamentística con consecuencias para la estabilidad mundial y el umbral de los conflictos armados.

La persecución y el daño de seres humanos por parte de máquinas es una de esas “líneas rojas” que no deben cruzarse. En muchas jurisdicciones, el uso de la IA por parte de las fuerzas de seguridad, en particular la vigilancia biométrica en tiempo real se ha identificado como un riesgo inaceptable que viola el derecho a la privacidad. También preocupa la IA incontrolable o incontenible, incluida la posibilidad de que pueda suponer una amenaza existencial para la humanidad.

El Órgano Consultivo anota que elaborar una lista exhaustiva de los riesgos de la IA para siempre es una misión imposible. Dada la naturaleza ubicua y en rápida evolución de la IA y su uso. A medida que la tecnología, su adopción y su uso evolucionen, se producirá una evolución de los riesgos. Esto habla de la necesidad de mantener los riesgos bajo revisión a través de la ciencia interdisciplinar y de enfoques basados en pruebas.

Principios y funciones
El Órgano Consultivo presentó diversas opciones sobre la gobernanza internacional de la IA revisando, entre otras, las funciones que desempeñan las instituciones de gobernanza del sistema de la ONU.

Se señala que estas organizaciones ofrecen inspiración y ejemplos de gobernanza y coordinación mundiales en tanto que han tratado de: (a) crear consenso científico sobre riesgos, impacto y política; (b) establecer normas mundiales; (c) proporcionar capacitación, garantía mutua y supervisión; (d) crear redes y poner en común recursos de investigación; (e) implicar a diversas partes interesadas; y f) facilitar los flujos comerciales y abordar los riesgos sistémicos.

5 principios rectores
Según el Órgano Consultivo la IA debe gobernarse de forma inclusiva, por y para el beneficio de Todos. A pesar de su potencial, muchos pueblos del mundo aún no están en condiciones de acceder a la IA y utilizarla de forma que mejore significativamente sus vidas. Todos los ciudadanos, incluidos los del Sur Global, deben poder crear sus propias oportunidades, aprovecharlas y alcanzar la prosperidad a través de la IA. Todos los países, grandes o pequeños, deben poder participar en la gobernanza de la IA.

La IA debe regirse por el interés público. No hacer daño es necesario, pero no suficiente. Se necesita un marco más amplio para la rendición de cuentas de las empresas y otras organizaciones que construyen, despliegan y controlan la IA, así como de las que la utilizan en múltiples sectores de la economía y la sociedad a lo largo del ciclo de vida de la IA. Esto no puede depender únicamente de la autorregulación: se necesitan normas vinculantes aplicadas por los Estados miembros de forma coherente para garantizar que prevalezcan los intereses públicos y no los privados.

La gobernanza de la IA debe ir a la par de la gobernanza de los datos y la promoción del procomún de datos. La IA no puede disociarse de otros componentes como la necesidad de marcos normativos que protegen la privacidad y la seguridad de los datos personales, de conformidad con la legislación aplicable, al tiempo que facilitan activamente el uso de dichos datos.

Universal
La gobernanza de la IA debe ser universal, estar interconectada y arraigada en la colaboración adaptativa de múltiples partes interesadas. Una gobernanza eficaz debe aprovechar las instituciones existentes, que tendrán que revisar sus funciones actuales a la luz del impacto de la IA. También se necesitan nuevas funciones horizontales de coordinación y supervisión, que deberían encomendarse a una nueva estructura organizativa, que podrían formar nodos en una red de estructuras de gobernanza.

La gobernanza de la IA debe basarse en la Carta de las Naciones Unidas, la legislación internacional sobre derechos humanos y otros compromisos internacionales acordados, como los ODS. La ONU tiene un papel normativo e institucional único que desempeñar; alinear la gobernanza de la IA con los valores fundacionales de la ONU -en particular, la Carta de las NU y su compromiso con la paz y la seguridad, los derechos humanos y el desarrollo sostenible- ofrece una base y una brújula sólidas.

La ONU está en condiciones de considerar el impacto de la IA en una serie de condiciones económicas, sociales, sanitarias, de seguridad y culturales a escala mundial, todo ello basado en la necesidad de mantener el respeto universal y la aplicación de los derechos humanos y el Estado de derecho. Se anota que hay experiencias internacionales valiosas.

Funciones institucionales
El Órgano Consultivo considera que, para gobernar adecuadamente la IA para la humanidad, un régimen de gobernanza internacional para la IA debería llevar a cabo al menos las siguientes 7 funciones. Éstas podrían ser llevadas a cabo por instituciones individuales o por una red de instituciones.

En primer lugar, evaluar periódicamente las orientaciones futuras y las implicaciones de la IA. En la actualidad no existe una función institucionalizada autorizada para realizar evaluaciones independientes, integradoras y multidisciplinares sobre la trayectoria futura y las implicaciones de la IA. Un consenso sobre la dirección y el ritmo de las tecnologías de IA -y los riesgos y oportunidades asociados- podría ser un recurso al que recurrir para que los responsables políticos desarrollen programas nacionales de IA que fomenten la innovación y gestionen los riesgos.

En segundo lugar, reforzar la interoperabilidad de los esfuerzos de gobernanza que surjan en todo el mundo y su asentamiento en normas internacionales a través de un Marco Mundial de Gobernanza de la IA respaldado en un entorno universal (ONU). Los esfuerzos de gobernanza de la IA también podrían coordinarse a través de un organismo que armonizara las políticas, construyera entendimientos comunes, aflorara las mejores prácticas, apoyara la aplicación y promoviera el aprendizaje entre iguales.

Marco regulatorio
En tercer lugar, desarrollar y armonizar normas, seguridad y marcos de gestión de riesgos. Se anota que están en marcha varias iniciativas importantes para desarrollar normas técnicas y normativas, de seguridad y marcos de gestión de riesgos, pero falta una armonización y alineación globales.

En cuarto lugar, facilitar el desarrollo, despliegue y uso de la IA en beneficio económico y social a través de la cooperación internacional entre múltiples partes interesadas. Además de las normas para evitar daños y usos indebidos, los desarrolladores y usuarios, especialmente en el Sur Global, necesitan facilitadores fundamentales, como normas para el etiquetado y las pruebas de datos, protocolos de protección e intercambio de datos que permitan las pruebas y el despliegue transfronterizo de las nuevas empresas, así como responsabilidad jurídica, resolución de conflictos, desarrollo empresarial y otros mecanismos de apoyo.

Colaboración internacional
En quinto lugar, fomentar la colaboración internacional en el desarrollo del talento y el acceso a la informática, infraestructura, creación de diversos conjuntos de datos de alta calidad, intercambio responsable de modelos de código abierto y bienes públicos basados en la IA para los ODS. Esto puede requerir recursos en red y esfuerzos para crear conjuntos de datos y bienes comunes de datos para su uso en interés público, el intercambio responsable de modelos de código abierto, recursos computacionales y educación y formación a gran escala.

En sexto lugar, se requiere supervisar los riesgos, notificar incidentes, coordinar la respuesta de emergencia. La naturaleza sin fronteras de las herramientas de IA, que pueden proliferar por todo el planeta plantea nuevos retos a la seguridad internacional y a la estabilidad mundial.

Los modelos de IA podrían reducir las barreras de acceso a las armas de destrucción masiva. Las herramientas cibernéticas habilitadas por la IA aumentan el riesgo de ataques a infraestructuras críticas y la IA de doble uso puede utilizarse para alimentar armas autónomas letales que podrían suponer un riesgo para el derecho humanitario internacional y otras normas. Los bots pueden difundir rápidamente información perjudicial, con características cada vez más humanas, de forma que pueden causar daños significativos a los mercados y las instituciones públicas.

No se puede descartar la posibilidad de que una IA malintencionada escape al control y plantee riesgos aún mayores. Ante estos retos, deben crearse capacidades a escala mundial para vigilar, informar y responder rápidamente a las vulnerabilidades sistémicas y a las perturbaciones de la estabilidad internacional.

Por último, una función principal sería el cumplimiento y responsabilidad basados en normas. El Órgano Consultivo anota que no se puede descartar que sean necesarias normas jurídicamente vinculantes y su aplicación a escala mundial. Las normas no vinculantes también podrían desempeñar un papel importante, solas o en combinación con normas vinculantes.

Colofón
El Órgano Consultivo termina señalando que perciben los beneficios reales de la IA; al mismo tiempo, son conscientes de sus riesgos y en especial de la inacción ante estos. Ellos sostienen que la gobernanza mundial de la IA es esencial para aprovechar las importantes oportunidades y sortear los riesgos que esta tecnología presenta hoy (y mañana) para todos los Estados, comunidades y personas.