Violencia algorítmica y desigualdad: cuando el machismo llega desde el código

Por Dylan Resnik en Página 12

La inteligencia artificial puede parecer, para muchos, neutra. Pero alcanza con profundizar un poco en su funcionamiento para notar que no lo es. Y que muchas veces arrastra preconceptos machistas y violentos contra las mujeres y minorías.

“La inteligencia artificial no es neutral: los algoritmos internalizan y codifican los discursos dominantes, que son occidentales, heteropatriarcales y machistas”, explica Delfina Gilli, maestranda en Humanidades Aumentadas (UNR) y creadora del Laboratorio de IA Feminista (LABIAF), un espacio horizontal de debate y estudio de las nuevas tecnologías que en pocos meses logró reunir a 140 profesionales de toda América Latina.

El dato no es menor en el contexto en el que la marcha por el Ni Una Menos pone la lupa sobre la violencia machista. Los datos son alarmantes: según el observatorio Ahora que sí nos ven en lo que va del 2026 hubo al menos 103 casos de femicidios, transfemicidios, femicidios vinculados e instigaciones al suicidio. Desde la primera marcha del 2015, hubo un asesinato agravado por el odio de género cada 31 horas.

Ni una menos: el mapa de los cortes por la marcha contra la violencia de género

Sin embargo, hay un tipo de machismo más difícil de ver, una violencia que se cuela desde el código. Las nuevas tecnologías, con la inteligencia artificial a la cabeza, impulsan potentes algoritmos que toman cada vez más peso en las decisiones de millones de personas en el día a día y abren una pregunta: ¿por qué es relevante hacer una lectura feminista de este tipo de herramientas?

Laboratorio de IA Feminista

Entrevistada por Página|12, Delfina Gilli explica que el Laboratorio de IA Feminista nace, en primer lugar, como una idea dentro de su tesina de grado, donde explora el colonialismo del saber y el racismo algorítmico. Luego surgieron los primeros posteos en redes sociales y se fue armando una comunidad que, desde octubre del 2025, creció “vorazmente”.

La expropiación de la identidad en la era del deepfake

“El objetivo es pensar en disputar el sentido mismo de lo que se nos vende como inteligencia, de lo que se nos vende como progreso”, sostiene Gilli. Y añade: “Como proyecto federal y regional, lo que buscamos es desarticular esas lógicas extractivistas y coloniales que codifican los algoritmos”.

En el espacio apuestan a “poner los cuerpos como mujeres, como disidencias, en el origen mismo de cómo se piensan, cómo se diseñan, cómo se entrenan, cómo se regulan las inteligencias artificiales”.

Actualmente, el espacio está conducido a través de una gestión colectiva integrada por María Virginia Avila, co-creadora de la consultora Nómadas y doctoranda en economía; Jazmín Mosquera, también de Nómadas y licenciada en psicología, especialista en abordaje de violencias por razones de género; y Catalina Cirio, magíster en políticas públicas e investigadora de procesos legislativos con perspectiva de género.

De códigos y sesgos

¿Por qué un sistema informático, un Gran Modelo de Lenguaje (LLM) como los famosos chatbots de IA, puede ser discriminatorio? Gilli, quien también es gestora cultural por la UNR, da una explicación al asunto y dice que tiene que ver con la esencia misma de cómo se entrenan estos modelos.

Los modelos de IA no crean contenido desde cero, sino que lo hacen mediante un proceso de extractivismo masivo de datos a escala global. Estos megadatasets vienen configurados por el Norte global y responden a lógicas occidentalistas al absorber millones y millones de textos, de imágenes y de registros de internet sin ningún tipo de mediación curatorial, de consentimiento o de compensación.

“Al procesar estadísticamente esos volúmenes que son masivos, los algoritmos lo que hacen es internalizar y codificar los discursos dominantes, que son occidentales, heteropatriarcales, machistas”, ya que “salen de una infraestructura de la web que está históricamente monopolizada y dominada por contenidos creados desde Estados Unidos y China”, explica Gilli.

Y añade: “Lo que se va a reproducir justamente son estas lógicas blancas, masculinas, angloparlantes, y lo que entienden estas automatizaciones, estas inteligencias artificiales, es eso justamente como una norma universal. Entonces, se termina mercantilizando y relegando a la periferia esas realidades de las regiones subalternizadas”.

Después, en otro punto más filosófico, dice Gilli, está la discusión por lo que se entiende por inteligencia, que se lee como una cuestión técnica, corporativa, con un modelo de sociedad hiperproductivo, automatizado e individualista. “Estas lógicas invisibilizan otras vinculadas a parámetros no tan cuantificables, pero que sostienen nuestra vida social, como las economías de cuidado, las redes de apoyo comunitario, la cuestión del afecto, de las memorias colectivas”.

Las consecuencias reales

Las consecuencias reales de este tipo de sesgos son muchas. Se puede pensar, por ejemplo, en el escándalo que suscitó el sistema de IA de contratación para Amazon. El algoritmo funcionó del 2014 al 2018 en la compañía para la revisión de currículums. Sin embargo, el sistema, por ser entrenado con los propios datos de la empresa, y por ser una compañía vinculada a un rubro asociado históricamente a lo masculino, subestimó a miles de candidatas mujeres y les negó la posibilidad de un empleo.

¿Qué hay detrás de la ola de despidos por el avance de la inteligencia artificial?

Otro ejemplo lo aporta Gilli, y está vinculado a su tema de investigación. Allí lo que hizo fue trabajar con la IA de Meta para generar imágenes. “Cuando pedís que represente lo latinoamericano, te va a arrojar una imagen muy folklorizada, muy exotizante, con colores muy vibrantes, con una lógica cuasi mexicanizada. Obviamente, personas con rasgos de pueblos originarios, o sea, hay cuestiones en relación a la representación visual que, sobre todo en las imágenes, se logra ver muy bien en relación a estos sesgos racistas”, sostiene.

A estos sesgos discriminatorios se les podría sumar otro factor. Al ser estas empresas en su gran mayoría conducidas por hombres y, además, con fines de lucro o empresariales concretos, se producen nuevos tipos de violencia contra las mujeres. El gran ejemplo sobre esto es el uso de sistemas de IA para crear deepfakes hipersexualizadas y sin consentimiento de mujeres. Las empresas, que pugnan históricamente por la no regulación, dan pocas y tímidas respuestas al respecto.

Una IA representativa

Maria Frances Gaska, directora de tecnología de Humai, una organización que trabaja por la inteligencia artificial en proyectos de impacto social, aporta por su lado una mirada externa al laboratorio y explica por qué, en este contexto, es relevante dar una lectura amplia a lo que está sucediendo en el ambiente tecnológico.

“En mi opinión, hay una crisis generalizada en las relaciones entre personas de distinto género que excede y precede a la explosión de la IA generativa. Pero es interesante pensar en el impacto de lo que está sucediendo”, dice. Y añade: “En estos últimos años no se puede subestimar la importancia de la IA en cuanto a su impacto tanto económico como cultural. Pensemos que la inversión proyectada sólo en centros de datos representó el 92% del crecimiento del PBI en Estados Unidos”.

Desde este punto de vista, la sociedad está destinando una enorme parte de sus recursos al desarrollo de estas tecnologías “y las mujeres están profundamente subrepresentadas entre la fuerza de trabajo que lleva adelante este proceso”. “En 2024 OpenAI reportó que sólo un 16% de técnicos son mujeres. Sobre Anthropic no existen datos publicados, pero lo que vemos en la industria en general es que la representación es muy pero muy minoritaria”, afirma Frances Gaska.

Quien luego cierra: “Al diluirse o perderse completamente la mirada femenina sobre los temas que se investigan y hacia dónde concretamente crecen los productos, se puede estar perdiendo el potencial de que esta tecnología tan potente y disruptiva nos represente y nos beneficie”.

La IA como una posible herramienta

El repaso de factores explica por qué la inteligencia artificial debe pensarse en clave feminista en relación a todas las discriminaciones, sesgos y violencias que se ponen en juego, pero, ¿se puede pensar al revés? Es decir, ¿pueden usarse estos mismos sistemas para generar nuevas propuestas, que promuevan la igualdad y el bienestar de las mujeres y disidencias?

La respuesta, para el LABIAF es que sí se puede. “El movimiento de Ni Una Menos nace fundamentalmente de los datos, de contar femicidios de forma colectiva, construir estadísticas propias, nombrar lo que el Estado no quiere ver”, explican. Y añaden que en este sentido la inteligencia artificial puede ser una “herramienta muy poderosa siempre y cuando esté políticamente bien orientada”.

Una posible implementación sería pensar en una detección temprana de situaciones de riesgo con “una inteligencia artificial que tenga un análisis automatizado de ciertos patrones discursivos o frecuencias, indicadores de vulnerabilidad, que puedan predecir escaladas de violencia antes de que suceda algo”.

Pero también cumplir un rol “casi histórico” en la centralización y en la integración de datos. Esto se debe a que —tal como quedó claro con el nuevo debate del Gobierno sobre el número de femicidios en el país, que celebra una baja en medio de la destrucción de políticas públicas— en “Argentina tiene un problema estructural de registro de violencia de género, donde los datos están completamente fragmentados”.