marybernalj 
Hay una pregunta que pocas veces pensamos cuando accedemos a un nuevo “sistema de inteligencia artificial”: ¿esto es realmente IA?, y es una pregunta que cada vez es más importante.
Escuchamos que “la IA está en todas partes”. En los bancos, en los hospitales, en los sistemas de contratación, en las plataformas que deciden qué contenido ves. Y en muchos casos, es cierto. Pero en muchos otros, más de los que quisiéramos admitir, lo que se llama IA es, en el mejor de los casos, una automatización sencilla con un nombre glamoroso. Y en el peor, una decisión humana empaquetada en una interfaz que parece objetiva precisamente porque parece técnica.
Esto no es un problema menor. Es el problema central.
Llamarle “inteligencia artificial” a algo no es un acto neutro. Es un acto de posicionamiento.
La etiqueta IA carga con una promesa implícita: que el sistema aprende, que se adapta, que supera las limitaciones del juicio humano. Y esa promesa, bien justificada o no, produce un efecto muy concreto: hace que las decisiones del sistema se perciban como más objetivas, más confiables, más difíciles de cuestionar.
Ese efecto es poderoso. Y cuando no está respaldado por la realidad técnica del sistema, se convierte en un problema serio.
Porque en la práctica, una parte significativa de lo que hoy se vende, se despliega y se evalúa bajo el nombre de “IA” no es más que automatización convencional con un nombre más atractivo. Reglas fijas escritas por alguien hace años. Modelos estadísticos simples sin monitoreo ni mantenimiento. Sistemas de filtrado manual empaquetados en una interfaz que parece sofisticada precisamente porque pocos se atreven a abrirla y mirar adentro.
No lo digo para desacreditar la tecnología. Lo digo porque confundir ambas cosas tiene consecuencias reales.
La necesidad de Auditoría. El traje nuevo del algoritmo
Pensemos en un sistema de evaluación crediticia. O en una plataforma de selección de personal. O en un sistema de priorización de atención en salud. Todos presentados como “soluciones de IA”. Todos con dashboards, modelos y visualizaciones que transmiten sofisticación.
Pero al revisar el funcionamiento interno, al hacer las preguntas que debería hacer toda auditoría, aparece con frecuencia una realidad más modesta: un modelo de regresión lineal entrenado con datos de hace cinco años, sin validación cruzada, sin monitoreo de deriva, sin documentación de las variables de entrada. O peor: un conjunto de reglas manuales codificadas por alguien que ya no trabaja en la empresa, que nadie ha revisado desde entonces, y que produce resultados sistemáticamente desiguales según el grupo poblacional que se evalúa.
¿Es eso IA? Técnicamente, en algunos casos sí. Pero la pregunta más importante no es cómo se llama. Es qué garantías ofrece, quién responde por sus errores, y si quienes son afectados por sus decisiones saben siquiera que un sistema automatizado interviene en su vida.
Antes de evaluar si un sistema de IA es justo, preciso o explicable, hay que saber qué tipo de sistema es. Eso requiere responder al menos esto:
¿El sistema aprende o ejecuta reglas fijas? No es lo mismo un modelo que se entrena con datos nuevos que un conjunto de condiciones codificadas hace años. El tipo de sistema determina qué riesgos buscar y qué metodologías aplicar. Confundirlos es auditar la pregunta equivocada.
¿Con qué datos fue construido y qué tan vigentes están? Un modelo entrenado con datos desactualizados no es un modelo confiable: es una fotografía vieja aplicada a un mundo que ya cambió. La calidad, representatividad y vigencia de los datos de entrenamiento es el primer indicador real de confiabilidad , mucho antes que cualquier métrica de performance.
¿Quién lo diseñó y con qué criterios explícitos? Las decisiones de diseño de un sistema automatizado son decisiones de valores. Qué se optimiza, qué se ignora, qué margen de error se considera tolerable, todo eso refleja una visión del mundo. Esa visión necesita estar documentada y ser examinable. Si no lo está, no hay auditoría posible: hay solo confianza ciega.
¿El sistema se actualiza o está congelado en el tiempo? Un modelo que no se monitorea se degrada. El fenómeno se llama data drift: la distancia que crece entre los datos con que el sistema fue entrenado y los datos del mundo real en que opera. Es una de las causas más frecuentes de falla silenciosa, y una de las menos visibles si nadie está mirando.
¿Se puede explicar por qué el sistema tomó una decisión concreta? En contextos donde el sistema afecta derechos o accesos , crédito, salud, empleo, justicia, la explicabilidad no es una característica deseable. Es una condición mínima de legitimidad. Si nadie puede decir por qué el sistema decidió lo que decidió en un caso específico, entonces nadie puede corregirlo cuando se equivoca.
Lo que más preocupa no es que haya sistemas de baja calidad técnica. Eso existe en todos los campos y tiene solución técnica.
Lo que preocupa es el efecto de legitimidad que produce la etiqueta “IA”. Cuando una decisión viene de un algoritmo, tiende a percibirse como más objetiva, más neutral, más difícil de cuestionar que una decisión humana equivalente. Aunque el algoritmo esté reproduciendo exactamente los sesgos de quien lo diseñó. Aunque esté tomando decisiones con datos que nadie ha verificado. Aunque nadie en la organización pueda explicar por qué produce los resultados que produce.
Esa legitimidad prestada, el hecho de que “es tecnología” funcione como argumento de autoridad, es uno de los riesgos más subestimados en el despliegue de sistemas automatizados en América Latina.
Y la auditoría de IA, bien entendida, es precisamente el mecanismo para romperla.
¿Qué significa auditar bien?
Auditar un sistema de IA no es ejecutar un checklist técnico. Es un proceso de investigación crítica que debe combinar competencia técnica, comprensión del contexto organizacional y sensibilidad hacia los grupos que son afectados por las decisiones del sistema.
Una auditoría bien hecha debe poder responder:
- ¿El sistema hace lo que dice hacer?
- ¿Lo hace bien para todos los grupos que evalúa, o hay poblaciones que reciben peores resultados?
- ¿Los errores son aleatorios o sistemáticos?
- ¿Hay mecanismos de corrección cuando falla?
- ¿Quiénes son afectados y tienen alguna forma de recurrir?
No es un proceso neutral. Requiere criterio, postura y voluntad de encontrar problemas, no de confirmar que todo está bien.
En la región, estamos en un momento crítico. Los sistemas automatizados se están adoptando a gran velocidad en sectores de alto impacto: sistemas judiciales, plataformas de crédito, selección de beneficiarios de programas sociales. Y la capacidad institucional para auditar esos sistemas va muy por detrás de la velocidad de adopción.
Eso requiere profesionales con formación técnica y visión crítica. Marcos que exijan transparencia. Organizaciones dispuestas a mirar dentro de sus propios sistemas con honestidad.
Y requiere, sobre todo, normalizar la pregunta que abre este artículo. Hacerla sin incomodidad. Hacerla sistemáticamente. Hacerla antes de desplegar, no después de fallar.
¿Esto que llamamos IA, realmente lo es?
Es la pregunta más sencilla. Y, con frecuencia, la más reveladora.
La auditoría de IA no es un problema técnico con solución técnica. Es un problema de gobernanza, de transparencia y de poder. Saber si un sistema es realmente lo que dice ser, si produce resultados justos, si puede ser corregido cuando falla, esas preguntas son, en el fondo, preguntas sobre quién tiene derecho a tomar decisiones que afectan la vida de las personas. Y eso, más que cualquier modelo o métrica, es lo que debería estar en el centro de cualquier conversación seria sobre inteligencia artificial.
¿Tienes un reto de datos o IA? Conversemos
