與國防部相關並在拜登政府領導下的最後一個項目已圓滿結束。美國國防部 (DoD) 首席數字和人工智能辦公室 (CDAO) 已完成衆包人工智能紅隊 (CAIRT) 保證計劃試點。該計劃致力於將人工智能聊天機器人整合到軍事醫療服務中。
大型語言模型 (LLM) 聊天機器人在 CAIRT 程序中實現。此外, CAIRT還協助國防部制定人工智能風險緩解和人工智能保障的分散式衆包策略。
超過 200 名臨牀提供者和醫療分析師爲識別軍事醫療應用中使用人工智能聊天機器人的潛在漏洞dent了貢獻。值得注意的是,據國防部報告,飛行員dent數百個潛在問題。
爲此,國防部表示, “這項工作將通過開發基準數據集產生可重複和可擴展的輸出,這些數據集可用於評估未來的供應商和工具,以符合性能預期。”
據國防部稱,CAIRT LLM 試點項目是由一個非營利性人道情報機構進行的。它與國防衛生局 (DHA) 和國防醫療管理系統項目執行辦公室 (PEO DHMS) 合作實現了這一目標。
此外,人道情報還使用紅隊方法來dent特定的系統問題。這涉及使用對抗性技術對系統彈性進行內部測試。
此外,紅隊吸引了有興趣與新興技術互動併成爲未來潛在受益者的參與者。他們有機會爲增強系統做出貢獻。
在該計劃中,人道情報部門使用衆包紅隊來解決軍事醫學中的兩個潛在應用:臨牀記錄摘要和醫療諮詢聊天機器人。
儘管漏洞已被dent,但國防部強調, 生成人工智能 (GenAI)的最佳實踐方面發揮至關重要的作用最終改善軍事醫療保健。如果在部署時,這些預期用例包含 OMB M-24-10 中定義的涵蓋人工智能defi那麼它們將遵守所有必需的風險管理實踐。”
儘管如此,國防部表示 CAIRT 保證計劃將繼續測試法學碩士和人工智能系統。這將加快 CDAO 的人工智能快速能力單元的速度,使 GenAI 目標更加有效,並有助於在所有國防部用例中建立信任。
CDAO 此項計劃的負責人 Matthew Johnson 博士也表示: “由於在國防部內將 GenAI 用於此類目的還處於試點和實驗的早期階段,因此該計劃充當了生成大量測試數據、顯示區域的重要探路者。供考慮和驗證緩解方案,這些方案將影響未來可能部署的 GenAI 系統的研究、開發和保證,”
預計下一屆政府將繼續這些項目。特朗普團隊對人工智能持開放態度,儘管他們希望與中國競爭。
儘管人工智能對醫學科學產生了巨大的有益影響,但隨之而來的是一些重大的風險和危險。
對於狀態,人工智能系統使用特定的算法,需要大量數據集來提高準確性。這種方法使敏感的患者數據面臨安全、隱私和機密的dent。目前,由於製藥公司和保險公司對此類數據集感興趣,黑客行爲已大大擴展。醫療文件黑客攻擊也可能是政府網絡攻擊的一部分。
此外,數據中毒,即故意修改醫療數據以導致醫療保健中的錯誤或偏見,是醫療數據濫用的另一個主要風險。這損害了醫療建議的準確性和可靠性。使用不同流行病學數據模型的人工智能(例如在 COVID-19 大流行中)可能會產生不同的結果。
另一個問題是有缺陷的醫療算法。這可能是由於算法測試不充分,因爲沒有既定的標準來測試其有效性。例如,雙盲試驗是證明治療有效的最有效方法。
然而,誰應該對這樣的錯誤負責——私人醫生、醫院、設備提供商還是算法開發商?因此,機器故障引起的醫療錯誤會引發嚴重的法律問題。
AI聊天機器人扮演醫生? 🤖 還沒有。
一項研究表明,他們的診斷能力充其量也很不穩定。
醫療保健人工智能仍然需要大腦增強才能信任您的健康。 🩺 pic.twitter.com/W2ast8S7iO
— CAD 管理局 (@CAD_Authority) 2025 年 1 月 2 日
此外,人工智能還可能損害醫患關係。因此,醫生需要了解AI的評估和表現,向患者解釋其作用,減少患者的焦慮。
最後,還有一種現象被稱爲“懶醫生”效應。如果醫生完全採用人工智能算法進行診斷和治療,可能會導致實踐技能、智力創造力和解決醫療問題的能力逐漸、不可逆轉地喪失。
然而,人們已經習慣了日常生活中的聊天機器人。通過適當的研究,人工智能聊天機器人可以消除醫生所犯的小錯誤,從而使醫療空間更加安全。
從零到 Web3 Pro:您的 90 天職業啓動計劃