Los funcionarios de bienestar infantil en Oregón dejarán de utilizar un algoritmo para ayudar a decidir qué familias son investigadas por los trabajadores sociales, optando en su lugar por un nuevo proceso que, según los funcionarios, tomará decisiones mejores y más equitativas desde el punto de vista racial.
La medida se produce semanas después de una revisión de Associated Press de una herramienta algorítmica separada en Pensilvania que había inspirado originalmente a los funcionarios de Oregón para desarrollar su modelo, y se encontró que había marcado un número desproporcionado de niños negros para las investigaciones de negligencia "obligatoria" cuando se puso en marcha.
El mes pasado, el Departamento de Servicios Humanos de Oregón anunció por correo electrónico al personal que, tras un "amplio análisis", los trabajadores de la línea de atención telefónica de la agencia dejarían de utilizar el algoritmo a finales de junio para reducir las disparidades relativas a las familias que son investigadas por abuso y negligencia infantil por los servicios de protección de menores.
"Estamos comprometidos con la mejora continua de la calidad y la equidad", dijo Lacey Andresen, subdirectora de la agencia, en el correo electrónico del 19 de mayo.
Jake Sunderland, un portavoz del departamento, dijo que el algoritmo existente "ya no será necesario", ya que no se puede utilizar con el nuevo proceso de selección del estado. Se negó a proporcionar más detalles acerca de por qué Oregón decidió reemplazar el algoritmo y no quiso dar detalles sobre las disparidades relacionadas que influyeron en el cambio de política.
Las decisiones de los trabajadores de la línea directa sobre los informes de abuso y negligencia infantil marcan un momento crítico en el proceso de investigación, cuando los trabajadores sociales deciden por primera vez si las familias deben enfrentarse a la intervención del Estado. Es mucho lo que está en juego: no atender una denuncia puede acabar con la muerte de un niño, pero escudriñar la vida de una familia puede llevarla a la separación.
Desde California hasta Colorado y Pensilvania, mientras las agencias de bienestar infantil utilizan o consideran la implementación de algoritmos, una revisión de AP identificó preocupaciones sobre la transparencia, la fiabilidad y las disparidades raciales en el uso de la tecnología, incluyendo su potencial para endurecer los prejuicios en el sistema de bienestar infantil.
El senador estadounidense Ron Wyden, demócrata de Oregón, dijo que llevaba tiempo preocupado por los algoritmos utilizados por el sistema de bienestar infantil de su estado y volvió a ponerse en contacto con el departamento a raíz de la historia de AP para hacer preguntas sobre el sesgo racial, una preocupación predominante con el creciente uso de herramientas de inteligencia artificial en los servicios de protección infantil.
"Tomar decisiones sobre lo que debe ocurrir con los niños y las familias es una tarea demasiado importante como para darles algoritmos no probados", dijo Wyden en un comunicado. "Me alegro de que el Departamento de Servicios Humanos de Oregón esté tomando en serio las preocupaciones que planteé sobre el sesgo racial y esté pausando el uso de su herramienta de detección".
Sunderland dijo que los funcionarios de bienestar infantil de Oregón habían estado considerando durante mucho tiempo cambiar su proceso de investigación antes de hacer el anuncio el mes pasado.
Añadió que el estado decidió recientemente que el algoritmo sería completamente reemplazado por su nuevo programa, llamado modelo de Toma de Decisiones Estructurada, que se alinea con muchas otras jurisdicciones de bienestar infantil en todo el país.
La Herramienta de Seguridad en la Detección de Oregón se inspiró en la influyente Herramienta de Detección de la Familia de Allegheny, que lleva el nombre del condado que rodea a Pittsburgh, y tiene como objetivo predecir el riesgo que enfrentan los niños de terminar en el cuidado de crianza o ser investigados en el futuro. Se implementó por primera vez en 2018. Los trabajadores sociales ven las puntuaciones numéricas de riesgo que genera el algoritmo -cuanto más alto es el número, mayor es el riesgo- para decidir si un trabajador social diferente debe salir a investigar a la familia.
Pero los funcionarios de Oregón ajustaron su algoritmo original para que solo se basara en los datos internos de bienestar infantil para calcular el riesgo de una familia, y trataron de abordar deliberadamente el sesgo racial en su diseño con una "corrección de equidad."
En respuesta a las conclusiones de los investigadores de la Universidad Carnegie Mellon, según las cuales el algoritmo del condado de Allegheny marcó inicialmente un número desproporcionado de familias negras para las investigaciones "obligatorias" de negligencia infantil, los funcionarios del condado calificaron la investigación de "hipotética" y señalaron que los trabajadores sociales siempre pueden anular la herramienta, que nunca fue pensada para ser utilizada por sí misma.
Wyden es uno de los principales patrocinadores de un proyecto de ley que pretende establecer la transparencia y la supervisión nacional de los programas informáticos, algoritmos y otros sistemas automatizados.
"Con los medios de vida y la seguridad de los niños y las familias en juego, la tecnología utilizada por el Estado debe ser equitativa, y yo seguiré vigilando", dijo Wyden.
La segunda herramienta que Oregón desarrolló -un algoritmo para ayudar a decidir cuándo los niños de acogida pueden reunirse con sus familias- sigue en pausa mientras los investigadores reelaboran el modelo. Sunderland dijo que el piloto fue pausado hace meses debido a la insuficiencia de datos, pero que no hay "ninguna expectativa de que se desactive pronto".
En los últimos años, mientras estaba bajo el escrutinio de una junta de supervisión de crisis ordenada por el gobernador, la agencia estatal -que actualmente se prepara para contratar a su octavo nuevo director de bienestar infantil en seis años- consideró tres algoritmos adicionales, incluyendo modelos predictivos que buscaban evaluar el riesgo de muerte y lesiones graves de un niño, si los niños debían ser colocados en hogares de acogida y, en ese caso, dónde. Sin embargo, Sunderland dijo que el departamento de bienestar infantil nunca creó esas herramientas.
