El Departamento de Defensa de EE. UU. completa un programa piloto que utiliza chatbots para la medicina militar

Uno de los últimos proyectos vinculados al Departamento de Defensa y bajo la administración de Biden ha llegado a su fin con éxito. La Oficina Principal de Inteligencia Digital y Artificial (CDAO) del Departamento de Defensa de EE. UU. (DoD) ha completado el programa piloto de garantía Crowdsourced AI Red-Teaming (CAIRT). Esta iniciativa está dedicada a integrar chatbots de IA en los servicios médicos militares. 

Los chatbots de modelo de lenguaje grande (LLM) se implementaron en el programa CAIRT. Además, CAIRT ayudó al Departamento de Defensa en el desarrollo de estrategias descentralizadas y colaborativas para la mitigación de riesgos y la garantía de la IA.

Más de 200 proveedores clínicos y analistas sanitarios contribuyeron a la dent de posibles vulnerabilidades en el uso de chatbots de IA en aplicaciones médicas militares. En particular, el piloto dent varios cientos de problemas potenciales, según informó el Departamento de Defensa.

Con ese fin, el Departamento de Defensa dijo: "Este ejercicio dará como resultado resultados repetibles y escalables mediante el desarrollo de conjuntos de datos de referencia, que pueden usarse para evaluar futuros proveedores y herramientas para alinearlos con las expectativas de desempeño".

Programa CAIRT entre bastidores

Según el Departamento de Defensa, una organización de inteligencia humana sin fines de lucro llevó a cabo el piloto CAIRT LLM. Lo logró en asociación con la Agencia de Salud de Defensa (DHA) y la Oficina Ejecutiva del Programa de Sistemas de Gestión de Atención Médica de Defensa (PEO DHMS).

Además, la inteligencia humana utilizó la metodología del equipo rojo para dent problemas específicos del sistema. Esto implicó la prueba interna de la resiliencia del sistema utilizando técnicas adversas. 

Además, el equipo rojo atrajo a participantes interesados ​​en interactuar con tecnologías emergentes y como posibles beneficiarios futuros. Se les permitió la oportunidad de contribuir a la mejora de los sistemas.

En este programa, la inteligencia humana utilizó equipos rojos de colaboración colectiva para abordar dos aplicaciones potenciales en la medicina militar: resumen de notas clínicas y un chatbot de asesoramiento médico.

dent vulnerabilidades , el Departamento de Defensa destacó que “estos hallazgos desempeñarán un papel crucial en la configuración de las políticas y mejores prácticas del Departamento de Defensa para el uso responsable de la IA generativa (GenAI) y, en última instancia, mejorarán la atención médica militar. Si, cuando se implementen, estos posibles casos de uso incluyen IA cubierta defi en OMB M-24-10, se adherirán a todas las prácticas de gestión de riesgos requeridas”.

Aún así, el Departamento de Defensa declaró que el Programa de Garantía CAIRT seguirá probando LLM y sistemas de inteligencia artificial. Esto acelerará la Célula de Capacidades Rápidas de IA del CDAO, hará que el objetivo de GenAI sea más efectivo y ayudará a generar confianza en todos los casos de uso del Departamento de Defensa.

El líder de CDAO para esta iniciativa, el Dr. Matthew Johnson, también dijo: "Dado que la aplicación de GenAI para tales fines dentro del Departamento de Defensa se encuentra en etapas iniciales de prueba y experimentación, este programa actúa como un pionero esencial para generar una gran cantidad de datos de prueba, revelando áreas para su consideración y validación de opciones de mitigación que darán forma a la investigación, el desarrollo y la garantía futuros de los sistemas GenAI que pueden implementarse en el futuro”.

Se espera que la próxima administración continúe con estos proyectos. El equipo de Trump tiene la mente abierta sobre la IA incluso cuando parece competir con China.

¿Qué tan segura es la IA en el panorama médico? 

Aunque la IA tiene un impacto enormemente beneficioso en la ciencia médica, va acompañada de varios riesgos y peligros importantes.

Para el estado, los sistemas de inteligencia artificial utilizan algoritmos específicos que requieren conjuntos de datos masivos para aumentar la precisión. Este método pone en riesgo la seguridad, la privacidad y la confidencialidad de los datos confidenciales de los dent . Actualmente, dado que las corporaciones farmacéuticas y de seguros están interesadas en estos conjuntos de datos, la piratería se ha expandido enormemente . La piratería de archivos médicos también puede ser parte de un ciberataque gubernamental.

Además, el envenenamiento de datos, la modificación intencional de datos médicos para inducir errores o sesgos en la atención médica, es otro riesgo importante de uso indebido de datos médicos. Esto perjudica la precisión y confiabilidad de los consejos médicos. La IA que utiliza diferentes modelos de datos epidemiológicos, como en la pandemia de COVID-19, puede arrojar resultados diversos.

Otro problema sería un algoritmo médico defectuoso. Esto puede deberse a una prueba inadecuada del algoritmo, ya que no existen estándares establecidos para probar su validez. Por ejemplo, los ensayos doble ciego son la forma más eficaz de demostrar que un tratamiento funciona. 

Aún así, ¿quién sería responsable de tal error: el médico personal, el hospital, el proveedor del equipo o el desarrollador del algoritmo? Por tanto, los errores médicos causados ​​por el mal funcionamiento de las máquinas plantean graves cuestiones jurídicas.

¿Chatbots con IA jugando al doctor? 🤖 Todavía no.

Un estudio revela que sus habilidades de diagnóstico son, en el mejor de los casos, inestables.

La IA sanitaria todavía necesita un impulso cerebral antes de que se le pueda confiar su salud. 🩺 pic.twitter.com/W2ast8S7iO

– Autoridad CAD (@CAD_Authority) 2 de enero de 2025

Además, la IA también puede perjudicar las relaciones médico-paciente. Por lo tanto, los médicos deben comprender la evaluación y el rendimiento de la IA para explicar su función a los pacientes y reducir su ansiedad.

Finalmente, existe un fenómeno conocido como efecto “doctor vago”. Si el médico emplea exclusivamente algoritmos de IA para el diagnóstico y el tratamiento, esto puede resultar en una pérdida progresiva e irreversible de habilidades prácticas, creatividad intelectual y capacidad para resolver problemas médicos.

Sin embargo, la gente se ha acostumbrado a los Chatbots en su vida diaria. Con una investigación adecuada, los chatbots de IA pueden eliminar los pequeños errores que cometen los médicos, haciendo así que el espacio médico sea más seguro.

plan de lanzamiento profesional de 90 días