La Oficina de Estadísticas e Investigaciones Criminales de Nueva Gales del Sur (BOCSAR) reclamó recientemente las regulaciones de licencias de alcohol de Sydney, comúnmente conocidas como leyes de bloqueo, redujo las agresiones no domésticas en un 13% en el CBD. Su cálculo se basó en la decisión de asignar 1, 837 de estas ofensas tanto a Kings Cross como al CBD, es decir, contando dos veces los datos. Nuestro análisis encontró que esta decisión fue fundamental para la conclusión de que las agresiones disminuyeron en el CBD. Para todas las demás opciones sobre las áreas a las que se asignaron los datos sobre delitos y el tipo de análisis, no encontramos ninguna disminución.

Nuestros hallazgos destacan una pregunta importante:¿cómo funcionan las opciones de recopilación de datos, ¿El preprocesamiento y el análisis afectan las decisiones de política?

La asignación de delitos a áreas es solo una de las varias opciones que se toman cuando se utilizan datos para evaluar los impactos de las políticas. Otras opciones incluyen cómo medir los delitos violentos, qué período de tiempo considerar y la extensión geográfica de las áreas a incluir. La pregunta es:si se hicieran otras elecciones, ¿Los resultados afectarían la decisión de derogar o continuar las leyes?

Nuestros hallazgos apuntan a la necesidad de seguir un par de principios cuando se utilizan datos para informar la formulación de políticas. Primero, la institución que recopila los datos y la institución que analiza los datos deben ser independientes entre sí. Segundo, necesitamos tanta transparencia sobre los datos y su análisis como sea posible.

Entonces, ¿qué mostraron exactamente los análisis?

BOCSAR optó por utilizar asaltos no domésticos mensuales a partir de 2009. No hay nada de malo en estas elecciones, pero se podrían haber hecho otros.

Por ejemplo, por qué desde 2009 en adelante, no de 2005? ¿Por qué mensualmente? no a diario? Por qué denunció agresiones no domésticas, ¿No se informó de agresiones que causaron lesiones corporales graves? ¿Por qué dividir el área solo en CBD y Kings Cross?

Una forma de evaluar el impacto de tales elecciones es utilizar diferentes subconjuntos de datos, diferentes tipos de preprocesamiento de datos y diferentes técnicas estadísticas y / o de aprendizaje automático. Si la conclusión sigue siendo la misma, entonces nuestra decisión es robusta a esta fuente de variabilidad. Que no, necesitamos entender por qué.

Para el recinto de Kings Cross, El análisis realizado por el Centro de Ciencia de Datos Traslacionales de la Universidad de Sydney mostró que la conclusión se mantuvo sin cambios independientemente de la frecuencia y el período durante el cual se recopilaron los datos y se realizó el análisis. Las agresiones no domésticas habían disminuido tras la introducción de las leyes de cierre patronal en 2014.

Para el CBD sucedió lo contrario. Solo si hacemos exactamente las mismas elecciones que BOCSAR, en particular asignando 1, 837 crímenes contra el CBD y King Cross, ¿Podríamos concluir que las agresiones no domésticas han disminuido muy ligeramente?

Bajo todas las demás variaciones de los análisis, incluyendo datos, metodología y asignación espacial de esos datos, no encontramos disminución. Las agresiones no domésticas en el CBD habían disminuido desde 2008 y, si algo, más lentamente después de que entraron en vigor las leyes de cierre patronal.

Entonces, ¿por qué la inclusión de 1, 837 crímenes tan críticos para las conclusiones sobre el CDB?

Utilizando datos proporcionados por BOCSAR, graficamos la ubicación más probable de esos 1, 837 delitos. La Figura 1 muestra que estos crímenes ocurrieron principalmente en Kings Cross, un área en la que la tasa de criminalidad ha disminuido desde 2014. Decimos "ubicación más probable" porque aún no hemos recibido los datos adicionales que solicitamos a BOCSAR para ayudarnos a ubicar exactamente dónde ocurrieron estos delitos.

Con la eliminación de esos 1, 837 delitos del CBD, no detectamos disminución de agresiones no domésticas. Pero aparentemente BOCSAR lo hizo. Después de eliminar esos delitos del CBD, BOCSAR publicó un informe actualizado de una investigación parlamentaria sobre la economía nocturna de Sydney. Este informe afirmó que los ataques en el CBD disminuyeron en un 4% (mucho menos que el 13% original).

Luego, el comité solicitó nuestros comentarios. Encontramos que el informe no proporcionó un intervalo de confianza para esta disminución. Sin embargo, el informe tuvo la virtud de informar estimaciones de incertidumbre para otras cantidades y en otros lugares afirmó resultados "estadísticamente significativos".

Replicamos el análisis de BOCSAR y descubrimos que el cambio en el crimen podría haber sido tan bajo como una disminución del 12% y tan alto como un aumento del 6%. En otras palabras, el resultado es "estadísticamente insignificante".

¿Cuáles son las implicaciones para la formulación de políticas?

¿Por qué importa esto? Hay dos razones.

Primero, el peligro de no explicar, cuantificar y reportar la incertidumbre es que el público pierde la confianza en la formulación de políticas impulsada por los datos. Solo si las conclusiones reconocen y explican la incertidumbre inherente a inferir cantidades complejas a partir de datos, podremos tomar decisiones políticas sólidas y explicables que generen confianza en el público.

Segundo, si no aceptamos e informamos sobre la incertidumbre, podríamos dejar de buscar otras explicaciones. Entonces podríamos no lograr el resultado que todos desean:una reducción de la violencia y una economía nocturna saludable.

¿Cómo procedemos desde aquí? Haríamos dos recomendaciones:

1. La institución que recopila y cura los datos debe ser distinta, informado pero independiente de la institución o instituciones que analizan los datos.
2. Debe haber tanta transparencia de datos como sea posible, lo que permitiría a diferentes grupos realizar diferentes tipos de análisis, utilizando diferentes fuentes de datos.

Estamos casi seguros de que estos grupos diferentes producirían hallazgos diferentes, pero la discusión subsiguiente podría proporcionar ideas que nos acerquen a decisiones políticas más sólidas y aceptables.

Para citar al físico ganador del Premio Nobel Richard Feynman:"Si permitimos eso, a medida que avanzamos, seguimos inseguros, dejaremos oportunidades para alternativas ... para avanzar, hay que dejar entreabierta la puerta a lo desconocido ".

La recomendación del comité parlamentario de que BOCSAR y el Centro de Ciencia de Datos Traslacionales trabajen juntos más de cerca parece hacer precisamente eso. Esperamos una colaboración continua para ampliar nuestra comprensión de los factores que impulsan los delitos violentos.

Este artículo se ha vuelto a publicar de The Conversation con una licencia de Creative Commons. Lea el artículo original.