Algoritmos y crímenes

Si usted vive en Bogotá, o incluso si ha ido de visita, lo más seguro es que le preocupe la inseguridad de la ciudad. ¿Qué le parecería si se utilizara un algoritmo de inteligencia artificial para ayudar a predecir dónde y cuándo es más probable que ocurran crímenes y que a partir de esa información se enviara a la policía a patrullar esas zonas? Aunque parezca ciencia ficción, con una reciente inversión de 3.800 millones de pesos, la Secretaría de Seguridad de Bogotá busca implementar un sistema de predicción de delitos que convertiría tal hipótesis en una realidad. El problema es que en ciudades donde ya se han implementado tecnologías de predicción de crimen, como Chicago y Los Ángeles,  la comunidad académica y las organizaciones defensoras de derechos humanos han expresado sus preocupaciones frente a los riesgos de sesgos sistemáticos. Si bien en algunos casos se ha mostrado que estas tecnologías pueden ayudar a reducir el crimen, también se ha mostrado que pueden replicar y amplificar prácticas policiales discriminatorias. Bajo el elegante y mítico nombre de inteligencia artificial, lo que hay es estadística, y lo que estos modelos hacen es aprender patrones en los datos para hacer predicciones. Si los datos son sesgados, los modelos aprenderán estos sesgos. Por ejemplo, en Estados Unidos la policía ha sido más propensa a requisar y arrestar a afroamericanos que a personas blancas, las investigaciones académicas han demostrado que los algoritmos con frecuencia perpetúan estas prácticas racistas. En el contexto bogotano surgen preocupaciones parecidas. El riesgo principal está en los datos que se utilizarían para entrenar el modelo. Si, por ejemplo, se usan datos de crímenes reportados, el riesgo más grande surge a partir de las diferencias en la proporción de gente que pone denuncias. En la encuesta de percepción y victimización de la Cámara de Comercio de Bogotá de 2014, 17% de los encuestados en la localidad de Santafé reportaron haber sido víctimas directas de un delito, mientras que en la localidad vecina de Chapinero este número fue del 9%. Sin embargo, sólo el 17% de las víctimas en Santafé reportaron el delito, mientras que el 28% de las víctimas en Chapinero lo hicieron. Es decir, si bien la probabilidad de ser víctima de un robo en Santafé es casi el doble que en Chapinero, en los datos de reportes estas dos localidades aparentan un índice de inseguridad prácticamente igual. Más grave aún es el hecho de que un tercio de las personas que no denuncian deciden no hacerlo por falta de confianza en las autoridades. Esta falta de confianza suele ser consecuencia de la relación que las autoridades han tenido con las comunidades. Así las cosas, es muy probable que quienes habitan en áreas de la ciudad que han sido marginalizadas por las autoridades, también sean marginalizados por el sistema predictivo. Así como los sesgos en los datos pueden resultar en el descuido de ciertas zonas, también pueden resultar en la represión de ciertas comunidades. Por ejemplo, ¿qué pasaría si se utilizaran datos de decomiso de drogas para determinar dónde patrullar? Si como sugirió el representante a la Cámara Gabriel Santos, el decreto de decomiso de la dosis mínima no es para decomisar droga en El Chicó, sino en Suba y Ciudad Bolívar, un algoritmo predictivo determinaría que la policía debería ir más a Suba y a Ciudad Bolívar. Si la policía ha decidido deliberadamente a quién detener por ciertos crímenes y a quién no, el modelo matemático va a reproducir esa decisión. Estas herramientas conllevan nuevos retos, pues los seres humanos con frecuencia hacen uso del contexto para interpretar la información y tomar una decisión. Por ejemplo, un oficial de la policía puede saber si en ciertos barrios los habitantes tienden o no reportar los crímenes, o si la razón por la cual hay más detenciones de cierto tipo en una localidad es porque esa ha sido la política de la policía hasta entonces. El problema de entregarle las riendas a un algoritmo predictivo es que éste no entenderá ni hará uso del contexto de la misma forma. Contrario a lo que muchas veces se cree, los modelos de aprendizaje de máquinas no tienen la capacidad de descubrir cuál es la causa de un fenómeno. ¿Qué significa todo esto? Significa que los sistemas de predicción de delitos presentan grandes riesgos. Estas herramientas son proclives a sistematizar, perpetuar y amplificar las desigualdades en las prácticas de la policía en diferentes zonas, ocultándolas tras una máscara de imparcialidad matemática. También significa que si Bogotá decide seguir adelante con la implementación de este tipo de tecnologías, lo debe hacer de forma responsable y transparente. Si bien en estadística y en economía se han desarrollado metodologías para lidiar con datos sesgados, es importante reconocer que todavía no existe un modelo de predicción de delitos que garantice no perpetuar, o por lo menos no amplificar, los sesgos existentes. Con esto en mente, se deben tomar pasos deliberados para mitigar los sesgos. También se debe realizar una evaluación transparente para entender si hay beneficios en términos de mejora de la seguridad, y si existen costos sociales asociados que amenacen los derechos de algunas comunidades. Estos resultados deben informar un debate abierto entre las organizaciones gubernamentales, la academia y la ciudadanía para determinar si esta es la solución que la ciudad necesita, o si por el contrario es un vehículo para codificar y sistematizar prácticas que amenazan las libertades civiles y el acceso equitativo a la seguridad. *Maria De Arteaga González, candidata a Doctora en Aprendizaje de Máquinas y Políticas Públicas en la Universidad de Carnegie Mellon, Maria Cuéllar Correa, profesora asistente de Criminología en la Universidad de Pensilvania, Doctora en Estadística y Políticas Públicas de la Universidad de Carnegie Mellon.