El modelo AML que su examinador acaba de señalar fue construido en 2017. Esto es lo que debe hacer este trimestre.

Es un tipo particular de tarde del viernes. La reunión de salida ha terminado, los examinadores se han ido y el CRO está reenviando el borrador del Matter Requiring Attention a un grupo pequeño. El hallazgo dice, más o menos, lo que ha dicho durante una década: el sistema de monitoreo de transacciones de la institución no está calibrado a su perfil de riesgo actual. Los umbrales están desactualizados. La metodología de calibración no está documentada de manera que el examinador pueda replicarla. El programa de pruebas por debajo del umbral ha caducado. La tasa de conversión de alertas a SARs es “inconsistente con el perfil de riesgo de la institución” — que en términos del examinador significa: sus alertas son teatro, y sus SARs no provienen de las alertas que está generando.

He redactado seis versiones del informe que cierra este MRA en los últimos tres años. La forma del trabajo es siempre la misma. La forma del error también suele ser la misma. Este artículo es lo que quisiera poder entregarle a un oficial de BSA el lunes después.

Lo que suele decir el hallazgo

La terminología varía — MRA, MRIA, carta supervisora, orden de consentimiento — y el regulador varía — OCC, FDIC, NCUA, la Reserva Federal, FinCEN a través de alguno de ellos — pero el fondo es casi siempre uno o más de:

• Los umbrales del sistema de MT fueron establecidos en la implementación y no han sido revisados formalmente.
• La institución no puede producir una metodología de calibración que otro lector cuantitativo pueda replicar.
• Las pruebas por debajo del umbral no se han ejecutado con una cadencia definida, o no se han ejecutado en absoluto.
• La biblioteca de reglas no está alineada con las tipologías actuales — sin reglas para estratificación en canales fintech, sin reglas para rampas de acceso a criptomonedas, sin actualización de las tipologías de estratificación introducidas en los últimos tres años de avisos de FinCEN.
• Las tasas de falsos positivos en el filtrado de sanciones son lo suficientemente altas como para diluir estadísticamente los hallazgos relevantes.

Cada uno de estos es un problema de calibración disfrazado de problema de controles. Son hallazgos reales — el regulador tiene razón — pero son solucionables dentro de un ciclo de examen si el trabajo se secuencia correctamente.

Por qué se rompió la calibración de 2017

La mayoría de los sistemas de MT fueron calibrados por el proveedor en la implementación, en un estudio de dos semanas, con tres meses de datos — generalmente un subconjunto depurado porque la institución no tenía una forma cómoda de extraer datos de producción en ese momento. Los umbrales que resultaron de ese estudio eran apropiados para la institución que existía en el momento de la implementación. Luego el banco creció. La mezcla de productos cambió. Un nuevo canal de BaaS entró en operación. El CFO restructuró las cuentas de tesorería corporativa para centralizar la liquidez. La sala de transferencias agregó un nuevo banco corresponsal. Cada uno de esos fue un evento de recalibración que no desencadenó una recalibración.

El modelo que era correcto en 2017 no es el modelo que es correcto en 2026 — y el fallo de la institución no fue en la calibración. El fallo fue que nadie volvió a ejecutar el estudio.

Esto importa porque la remediación no es “reconstruir el modelo.” Es “establecer la disciplina que la calibración original debía haber instituido.” Esa distinción es la diferencia entre un compromiso de seis meses y uno de dieciséis.

Paso 1 · Extraer los datos

El primer entregable no es un informe. Es un conjunto de datos limpio. Extraiga dieciocho meses de historial de alertas con códigos de disposición, doce meses de SARs con las reglas que los generaron, la biblioteca de reglas de producción con los umbrales actuales, y una muestra de transacciones de toda la población — típicamente del dos al tres por ciento según el volumen.

Si la institución no puede producir estos datos en dos semanas, eso es en sí mismo un hallazgo. El sistema de MT que no puede ser consultado a escala es un sistema que no puede defenderse a sí mismo.

Paso 2 · Pruebas por debajo del umbral

Las pruebas por debajo del umbral significan: tome una muestra de transacciones que cayeron por debajo de su umbral actual y no habrían generado una alerta. Investíguelas. Si una parte significativa habría valido la pena investigar, el umbral está establecido demasiado alto.

Esta es la prueba que el examinador tiene más probabilidades de pedirle que demuestre. También es la prueba que la mayoría de las instituciones no pueden mostrar con una cadencia definida. El resultado esperado es un memorando de metodología que otro lector cuantitativo pueda replicar, un diseño de muestra, la disposición de cada transacción muestreada, y una justificación cuantitativa — con intervalos de confianza — para el cambio de umbral que se propone realizar.

Un estudio BTL defendible utiliza muestreo estratificado aleatorio, un tamaño de muestra que produzca un intervalo de confianza del 90% de ±10 puntos porcentuales alrededor de la estimación de tasa de sospecha, y disposición por parte de un analista que no escribió la regla. Documente cada una de esas decisiones; el memorando de metodología representa la mitad del valor del estudio.

Paso 3 · Pruebas por encima del umbral

Las pruebas por encima del umbral son lo inverso: tome una muestra de alertas que el sistema generó e investigue si la disposición fue correcta. Una tasa de conversión de alertas a SARs deficiente generalmente se debe a alertas que nunca debieron activarse — falsos positivos — no a analistas que dejaron de presentar SARs que debían haber presentado.

Las pruebas por encima del umbral producen tres entregables: la disposición de la muestra, una categorización de falsos positivos por causa raíz (regla demasiado amplia, umbral demasiado bajo, segmentación incorrecta de clientes, generación de alertas duplicadas), y un conjunto propuesto de cambios de reglas que aborden las causas más comunes. El último es en el que actúa el comité de BSA.

Paso 4 · Actualización de reglas

La biblioteca de reglas actual casi con certeza carece de tipologías que el regulador ahora espera que cubra. Los recientes avisos de FinCEN sobre estratificación de moneda virtual convertible, movimiento de fondos relacionados con el fentanilo y patrones de explotación financiera de personas mayores han actualizado el panorama de tipologías varias veces en los últimos tres años. Las nuevas tipologías de BaaS y canales fintech — fondos transferidos a través de un neobanco respaldado por un banco patrocinador hacia un sistema de pagos entre pares hacia una rampa de acceso a criptomonedas — no están capturadas por las bibliotecas de reglas construidas antes de 2021.

Para cada tipología que agregue, documente: la descripción de la tipología, la lógica de la regla que la detecta, el umbral propuesto, la muestra de transacciones utilizada para calibrar el umbral, y el volumen de alertas esperado. Las instituciones que agregan cinco nuevas tipologías sin esa documentación producirán una avalancha de alertas que los analistas no pueden procesar y un estudio de calibración que el examinador no puede validar.

Paso 5 · Documentar

El estudio de calibración debe estar en un documento que un revisor cuantitativo de la FRB o del OCC pueda replicar. Ese es el estándar. El contenido mínimo es: alcance del estudio, datos extraídos y cómo, metodología de muestreo, supuestos estadísticos e intervalos de confianza, la metodología de disposición, el protocolo de capacitación de analistas y control de calidad, los hallazgos, los cambios propuestos de umbrales y reglas, el impacto esperado en el volumen de alertas y el rendimiento de SARs, y la gobernanza — quién aprobó los cambios y cuándo.

Este documento es también el entregable que va al comité de gestión de riesgo de modelos bajo SR 11-7 si la institución ha clasificado el MT como un modelo — lo que la mayoría de las instituciones ahora hace.

Paso 6 · Defenderse en la sala

El momento más importante de la remediación es cuando el oficial de BSA, el CRO y el validador se sientan frente al examinador y le explican la metodología. El documento es el artefacto; la conversación es la prueba. Los examinadores están entrenados para encontrar el lugar donde la metodología no es replicable, donde el umbral no tiene justificación cuantitativa, y donde la documentación encubre algo que la institución no quiere discutir.

Si no puede defenderse en la sala, no ha terminado el trabajo — incluso si el documento tiene doscientas páginas.

Una nota sobre la validación liderada por el socio

La razón por la que este trabajo falla en la práctica rara vez es la capacidad. La institución puede pagar a una firma consultora para producir el documento. La razón por la que falla es que el documento fue redactado por personas que no son profesionales cuantitativos, validado por personas cuya revisión consistió en leer el resumen ejecutivo, y aprobado por un socio que nunca abrió el archivo de datos. El examinador lee documentos de personas que han hecho el trabajo. El validador que firma el informe tiene que ser uno de ellos. Esa es la línea que trazamos.