FEM.IA : Justicia Inteligente
¿Qué pensamos cuando hablamos de justicia? Lo primero que viene a la mente es Iustitia, diosa romana de la justicia que equilibra la balanza de la verdad y la justicia, con los ojos vendados representa la justicia ciega, equitativa e imparcial. ¿Pero acaso lo es? En 2019 , la Red por la Ciudanización de la Justicia, publicó su informe “No es Justicia: Análisis de sentencias y resoluciones judiciales del país” en el que identificaron una gran cuantía de deficiencias técnico-jurídicas en la impartición de justicia en México, deficiencias que impiden el acceso de las mujeres a la justicia en condiciones de igualdad, no discriminación y transparencia.
Los principales hallazgos de esta investigación nos llevaron a desarrollar “FEMIA: Justicia Inteligente”, un proyecto engendrado desde Saturdays AI Latam (2020), que busca implementar Inteligencia Artificial para dotar de herramientas a organizaciones como Equis Justicia para mejorar y automatizar sus análisis y propuestas de política pública en pro del acceso y la impartición de justicia con perspectiva de género .
NUESTRO EJE DE IMPACTO
Paz, justicia e instituciones sólidas
De acuerdo con la ONU (Organización de las Naciones Unidas, 2020) las instituciones débiles y el acceso limitado a la justicia es una grave amenaza para el desarrollo sostenible, las leyes y las políticas deben aplicarse sin ningún tipo de discriminación y las controversias deben resolverse mediante sistemas de justicia y política que funcionen bien. El presente proyecto busca analizar y mejorar una de las principales instituciones identificadas por la ONU : el poder judicial. En específico, el caso de México, dado que es uno de los países latinoamericanos con mayor índice de impunidad según el Índice de Escalas de Impunidad en el mundo (UDLAP, 2019), en donde hace falta fortalecer el Estado de derecho, garantizar el acceso a la justicia y proteger los derechos humanos.
Igualdad de género
La ONU reconoce que existen leyes y normas sociales discriminatorias contra las mujeres, que siguen siendo generalizadas. En el caso particular de los litigios, el acceso de las mujeres a la justicia se ve obstaculizado por prejuicios y asociaciones implícitas al género.
Reducción de las desigualdades
Adicional a la categoría género, existen otras cualidades por las que las personas son juzgadas con sentencias discriminatorias. La ONU reconoce poblaciones vulnerables en riesgo de ser excluidas, tales como: refugiados, migrantes, personas pertenecientes a pueblos indígenas, ancianos, personas con discapacidad y niños.
EL PROBLEMA
El problema que atacamos tiene dos componentes: la transparencia y la perspectiva de género. En materia de transparencia, el Poder Judicial y sus sentencias son considerados una”caja negra” en México; hasta antes de agosto de 2020, las leyes mexicanas permitían que el Poder Judicial publicara sólo las sentencias de “interés público”, un término ambiguo sujeto a interpretación que permitía que no se tuviera obligación de publicar sentencia alguna. A partir de este año y gracias a una reforma a la Ley de Transparencia impulsada desde la Sociedad Civil, el Poder Judicial de cada entidad está obligado a publicar TODAS las sentencias en el margen temporal de medio año a partir de la publicación de la modificación legislativa.
Ahora bien, en materia de perspectiva de género, en 2016 la Suprema Corte de Justicia de la Nación emitió un criterio obligatorio para aplicar justicia con perspectiva de género, lo cual de acuerdo a la organización civil mexicana (Equis Justicia para las Mujeres, 2020) implica “hacer realidad el derecho a la igualdad, remediando las relaciones asimétricas de poder y situaciones estructurales de desigualdad, así como visualizando la presencia de estereotipos discriminatorios de género en la producción e interpretación normativa y en la valoración de hechos y pruebas”.
El hecho de tener todas las sentencias públicas representa una gran oportunidad para auditar al Poder Judicial, identificar si se está juzgando con perspectiva de género y en su defecto identificar áreas de mejora; pero también representa un reto, puesto que es una gran cantidad de información a analizar.
LA SOLUCIÓN TRADICIONAL
Tradicionalmente, el proceso de análisis de sentencias se hace manual, es decir, en base a la lectura e interpretación por parte de expertos en leyes y derechos humanos. En esta línea, (Equis Justicia para las Mujeres, 2017) desarrolló una Metodología de Análisis de Sentencias que consiste en 8 elementos:
1.- Análisis de los hechos
2.- Valoración de las pruebas
3.- Detección de situaciones de riesgo y órdenes de protección
4.- Identificación de los derechos afectados
5.- Ubicar el derecho aplicable al caso
6.- Argumentación y/o razonamientos utilizados para resolver
7.- Reparación del daño
8.- Medidas de seguimiento de las sentencias
En base a estos criterios, se estableció una calificación del 1 al 10 en donde el 1 representa a una sentencia que no incluye la perspectiva de género y el 10 a una que lo incluye perfectamente.
LA SOLUCIÓN CON INTELIGENCIA ARTIFICIAL: FEM.IA
La apuesta de la Inteligencia Artificial es automatizar el proceso de analizar todas las sentencias emitidas por el Poder Judicial, lo cual, no busca sustituir la labor de las personas defensoras de derechos humanos sino, apoyarlas a identificar las sentencias cuyo análisis sea prioritario.
Es por ello que, desarrollamos un prototipo de modelo para predecir si una sentencia incluiría o no perspectiva de género. El propósito del prototipo es aplicarlo a las miles de sentencias que serán publicadas en los siguientes meses para distinguir a las sentencias cuyo análisis es más inmediato.
NUESTROS DATOS
En 2019, la Red por la Ciudanización de la Justicia hizo su primer reporte de hallazgos de un primer ejercicio de auditoría judicial ciudadana en base a la metodología de Equis Justicia para las Mujeres. La Red, compuesta por 14 organizaciones de la Sociedad Civil, se hizo cargo de analizar más de 100 sentencias emitidas por el Poder Judicial.
En colaboración con Equis Justicia para las Mujeres, tuvimos acceso a las sentencias analizadas y su correspondiente calificación. La anatomía de nuestro data set fue la siguiente:
· Se analizaron 138 Sentencias emitidas por 5 Poderes Judiciales Estales
· Las sentencias corresponden a los años 2011 a 2018
· Cada sentencia tiene 7076 palabras en promedio
· Los principales temas de las sentencias son: Pensión alimenticia, violencia familiar, Homicidio, Feminicidio, Divorcio incausado, entre otros.
· El promedio de la calificación otorgada es de 1.7 de un total de 10 puntos
EL PROCESO
Nuestro proceso de Ciencia de Datos siguió los siguientes pasos:
1. Almacenamiento de sentencias
Se estableció una conexión desde Google Drive a la nube donde se albergan las sentencias, evitando fugas de información (sin necesidad de descargar los 138 archivos).
2. Tokenización
Los documentos en diversos formatos fueron convertidos a palabras o tokens para crear el corpus.
3. Creación de la base de datos
Se creó una base de datos conteniendo: información sobre las sentencias, la calificación de cada una de las sentencias, el corpus y la columna de predicción y, para filtrar si una sentencia incluye o no la perspectiva de género.
4. Análisis exploratorio de los datos
En este paso se aplicaron varias técnicas de limpieza del procesamiento natural del lenguaje (NLP), tales como:
- Puntuación: se removieron acentos y carácteres especiales del corpus
- Minúsculas: se convirtió el corpus en minúsculas para hacer más fácil la búsqueda de las palabras más frecuentes
- Stop words: se eliminaron las palabras comunes, tales como preposiciones y artículos, ya que no brindan mucho valor al modelo
- Stemming: mediante esta técnica se buscó reducir las palabras a una raíz común
- Bag of words: esta es la técnica utilizada para vectorizar los tokens, es decir, convertir las palabras del corpus en vectores de números que puedan alimentar al modelo.
5. Modelo de Machine Learning (Aprendizaje de Máquina)
Para realizar el prototipo de modelo se establecieron los siguientes criterios:
a) Variable dependiente a predecir: el status de una sentencia que incluye o no perspectiva de género. Se asume que una sentencia incluye la Perspectiva de Género si la calificación otorgada por los expertos en derechos humanos es mayor a 6/10.
b) Variables independientes: corpus de palabras de las sentencias
c) Partición del dataset: 80% Entrenamiento / 20% Resultados
d) Usuarios finales del modelo: defensoras y defensores de derechos humanos, miembros de la sociedad civil, activistas y público en general.
e) Limitaciones: debido a la falta de volumen de datos, el tamaño de la muestra podría no ser estadísticamente significativo. Se desconoce el tamaño del universo de sentencias sujetas a perspectiva de género de 2011 a 2018 debido a la opacidad de las Instituciones en México.
f) Metodología: se eligió el Gaussian Naive Bayes Classifier al ser un modelo adecuado para la clasificación de las sentencias.
6. Validación
Se obtuvo un accuracy de 100% para el set de entrenamiento y un 95% para el test de evaluación, lo cual, observando los datos de entrada indica que el modelo está sobre ajustado por los datos desbalanceados. Dado que 136 de las sentencias tienen una calificación por debajo del 6 (etiquetadas sin perspectiva de género), el modelo no hace una clasificación objetiva.
Si bien se está explorando la opción de balancear los datos artificialmente, se estima que el problema se corrija cuando se obtenga un mayor volumen de datos en los siguientes meses.
RETOS DEL PROYECTO
· El poco volumen de datos: fue un tema para alcanzar los resultados deseados, sin embargo, en los próximos años se espera un volumen de sentencias nunca antes visto.
· Idiomas: existen mucho menos herramientas de NLP en lenguas diferentes al inglés, se considera que teniendo un mayor volumen de datos se podrán formar diccionarios afines.
· Formato de las sentencias: los Poderes Judiciales de las diferentes entidades en México emiten formatos muy diferentes y algunas ocasiones hasta ilegibles, lo cual dificulta en gran medida la tokenización.
APRENDIZAJE Y SIGUIENTES PASOS
En general, fue un excelente primer paso para dar a conocer el problema, sus retos y soluciones. Estamos ya colaborando con Equis Justicia para las Mujeres para ciudadanizar cada vez más la justicia y formar herramientas más robustas de análisis, esperamos que con ello mejore el acceso de las mujeres a la justicia y la impartición de justicia con perspectiva de género.
FUENTES CONSULTADAS
Organización de las Naciones Unidas (2020). Objetivo 16: Promover sociedades justas, pacíficas e inclusivas. septiembre 25, 2020, de United Nations Sitio web: https://www.un.org/sustainabledevelopment/es/peace-justice/
Organización de las Naciones Unidas (2020). Objetivo 5: Lograr la igualdad entre los géneros y empoderar a todas las mujeres y las niñas. septiembre 25, 2020, de United Nations Sitio web: https://www.un.org/sustainabledevelopment/es/gender-equality/
Organización de las Naciones Unidas (2020). Objetivo 10: Reducir la desigualdad en y entre los países. Septiembre 25, 2020, de United Nations Sitio web: https://www.un.org/sustainabledevelopment/es/inequality/
Le Clercq, J. & Rodríguez, G. (2020). Escalas de impunidad en el mundo. Puebla, México: UDLAP.
“Todas las sentencias del Poder Judicial serán transparentes”, T. l. (13 de Agosto de 2020). Gallegos, Santiago . Obtenido de Diario Valor : https://diariovalor.com/todas-las-sentencias-del-poder-judicial-seran-transparentes-t202008131853.html
Equis Justicia para las Mujeres. (2020). Juzgar con perspectiva de género . Obtenido de https://equis.org.mx/juzgar-con-perspectiva-de-genero/
Equis Justicia para las Mujeres. (2019). No es justicia: Análisis de sentencias y resoluciones judiciales del país. Obtenido de https://ciudanizandolajusticia.org/noesjusticia.pdf
Equis Justicia para las Mujeres. (2017). Metodología para el análisis de las decisiones jurisdiccionales desde la perspectiva de género. Obtenido de: https://equis.org.mx/wp-content/uploads/2019/07/Metodologia.pdf
