IA sí, responsabilidad no: el modelo nacional

Un documento reciente sobre gobierno algorítmico y el colapso del derecho administrativo tradicional ( “ALGORITHMIC GOVERNMENT AND THECOLLAPSE OFTRADITIONAL ADMINISTRATIVE LAW”) —que he revisado como insumo para este análisis, no como fuente académica verificada de forma independiente— plantea una tesis incómoda pero necesaria: el derecho administrativo fue diseñado para controlar decisiones humanas, no decisiones producidas por sistemas entrenados con datos.

Cuando el Estado delega en algoritmos la clasificación de riesgo, la identificación de personas o la asignación de recursos policiales, los mecanismos clásicos de control —motivación del acto, impugnación, responsabilidad del funcionario— simplemente dejan de operar como deberían.

¿Quién responde cuando el algoritmo se equivoca?

Esta es la pregunta que ningún gobierno mexicano, federal, estatal o municipal, ha respondido con seriedad.

Si un sistema de reconocimiento facial identifica erróneamente a una persona como sospechosa, ¿quién es responsable: el policía que ejecutó la detención, el funcionario que autorizó el sistema, la empresa que lo vendió, o el algoritmo mismo?

Hoy, en la práctica, la respuesta es nadie.

No existe en México un marco de responsabilidad administrativa diseñado específicamente para decisiones mediadas por sistemas automatizados de seguridad.

La opacidad institucional no es un efecto colateral: es, en muchos casos, la condición que permite que estos sistemas se sigan comprando sin escrutinio.

La caja negra y el derecho a saber

El fenómeno de los "black box algorithms" —sistemas que producen resultados sin que sea posible explicar cómo llegaron a ellos— tiene una consecuencia constitucional directa: sin explicación no hay debido proceso.

Una persona clasificada como de "alto riesgo" por un sistema predictivo, o identificada erróneamente por una cámara con reconocimiento facial, tiene derecho a saber por qué.

En México no existe obligación clara, exigible ante tribunales, de que las instituciones de seguridad revelen la lógica de estas herramientas, y mucho menos de que las empresas privadas que las desarrollan renuncien al secreto industrial cuando venden tecnología al Estado.

Supervisión judicial: un vacío que nadie ha llenado

Los tribunales mexicanos —del amparo a las salas especializadas— carecen de criterios consolidados para revisar la legalidad de un sistema algorítmico como tal, más allá del acto administrativo puntual que produce.

No hay jurisprudencia robusta sobre auditoría de algoritmos de seguridad pública, ni estándares técnicos mínimos que un juez pueda exigir para evaluar si un sistema de videovigilancia predictiva es proporcional, no discriminatorio y jurídicamente controlable.

Esta ausencia no es casualidad: refleja que el poder judicial, como el ejecutivo, ha llegado tarde a un debate que otras jurisdicciones ya están teniendo.

Los límites que ningún nivel de gobierno ha fijado

Hay decisiones que, por su gravedad, no deberían depender —ni siquiera parcialmente— de un sistema automatizado: privación de la libertad, prisión preventiva, separación de menores, acceso a beneficios esenciales.

El llamado "human in the loop" —la idea de que un humano siempre supervisa la recomendación del algoritmo— suele ser, en la práctica documentada en otros países, una ficción: el funcionario aprueba lo que la máquina sugiere, fenómeno conocido como automation bias.

No conozco evidencia pública verificada de que exista en México un diagnóstico institucional serio sobre este riesgo específico, lo cual es en sí mismo revelador.

La omisión de los tres órdenes de gobierno

Aquí es donde la crítica debe ser más dura.

El gobierno federal ha impulsado la expansión de plataformas de inteligencia criminal y videovigilancia sin una ley general de inteligencia artificial aplicada a la seguridad pública.

Los gobiernos estatales han contratado sistemas de reconocimiento facial y análisis de cámaras C4/C5 sin auditorías independientes públicas ni mecanismos de rendición de cuentas hacia la ciudadanía.

Los municipios, con capacidades técnicas limitadas, replican estos esquemas por presión política o mediática, sin capacidad real de supervisión.

Ningún nivel de gobierno ha discutido públicamente, con evidencia técnica, tasas de error, sesgos identificados o mecanismos de impugnación ciudadana.

La modernización se presenta como sinónimo de seguridad, cuando en realidad puede ser sinónimo de opacidad delegada a un proveedor privado.

Propuestas mínimas para salir del vacío

a) Primero, evaluación jurídica obligatoria antes de la contratación de cualquier sistema de IA en seguridad pública, no después de que ocurra un daño.

b) Segundo, auditorías técnicas independientes y periódicas, con resultados públicos, sobre precisión y sesgo.

c) Tercero, transparencia contractual: ninguna empresa debería poder invocar secreto industrial frente a un poder público que la contrata con recursos ciudadanos.

d) Cuarto, una lista explícita de decisiones que jamás pueden automatizarse sin intervención humana verificable y documentada.

e) Quinto, mecanismos claros y accesibles para que cualquier persona afectada por una clasificación algorítmica pueda conocerla, impugnarla y, en su caso, corregirla.

La tecnología no es el problema.

El problema es un Estado mexicano que adopta herramientas de vigilancia y predicción con la misma velocidad con la que evade la responsabilidad de controlarlas.

Mientras eso no cambie, cada nuevo sistema "inteligente" de seguridad pública será, ante todo, un nuevo espacio de opacidad institucional.

_____

Nota del editor: Alberto Guerrero Baena es consultor especializado en Política de Seguridad, Policía y Movimientos Sociales, además de titular de la Escuela de Seguridad Pública y Política Criminal del Instituto Latinoamericano de Estudios Estratégicos, así como exfuncionario de Seguridad Municipal y Estatal. Puedes escucharlo con su análisis en Políticas de Seguridad los martes a las 5:25 hrs y los miércoles a las 18:20 hrs en MVS Noticias, en el 102.5 FM de la Ciudad de México. Escríbele a albertobaenamx@gmail.com y síguelo en redes sociales como @guerrerobaenamx Las opiniones publicadas en esta columna corresponden exclusivamente al autor.