美国国防部完成了使用聊天机器人进行军事医学的试点计划

与国防部相关并在拜登政府领导下的最后一个项目已圆满结束。美国国防部 (DoD) 首席数字和人工智能办公室 (CDAO) 已完成众包人工智能红队 (CAIRT) 保证计划试点。该计划致力于将人工智能聊天机器人整合到军事医疗服务中。 

大型语言模型 (LLM) 聊天机器人在 CAIRT 程序中实现。此外， CAIRT还协助国防部制定人工智能风险缓解和人工智能保障的分散式众包策略。

超过 200 名临床提供者和医疗分析师为识别军事医疗应用中使用人工智能聊天机器人的潜在漏洞dent了贡献。值得注意的是，据国防部报告，飞行员dent数百个潜在问题。

为此，国防部表示， “这项工作将通过开发基准数据集产生可重复和可扩展的输出，这些数据集可用于评估未来的供应商和工具，以符合性能预期。”

CAIRT 计划幕后花絮

据国防部称，CAIRT LLM 试点项目是由一个非营利性人道情报机构进行的。它与国防卫生局 (DHA) 和国防医疗管理系统项目执行办公室 (PEO DHMS) 合作实现了这一目标。

此外，人道情报还使用红队方法来dent特定的系统问题。这涉及使用对抗性技术对系统弹性进行内部测试。 

此外，红队吸引了有兴趣与新兴技术互动并成为未来潜在受益者的参与者。他们有机会为增强系统做出贡献。

在该计划中，人道情报部门使用众包红队来解决军事医学中的两个潜在应用：临床记录摘要和医疗咨询聊天机器人。

尽管漏洞已被dent，但国防部强调， 生成人工智能 (GenAI)的最佳实践方面发挥至关重要的作用最终改善军事医疗保健。如果在部署时，这些预期用例包含 OMB M-24-10 中定义的涵盖人工智能defi那么它们将遵守所有必需的风险管理实践。”

尽管如此，国防部表示 CAIRT 保证计划将继续测试法学硕士和人工智能系统。这将加快 CDAO 的人工智能快速能力单元的速度，使 GenAI 目标更加有效，并有助于在所有国防部用例中建立信任。

CDAO 此项计划的负责人 Matthew Johnson 博士也表示： “由于在国防部内将 GenAI 用于此类目的还处于试点和实验的早期阶段，因此该计划充当了生成大量测试数据、显示区域的重要探路者。供考虑和验证缓解方案，这些方案将影响未来可能部署的 GenAI 系统的研究、开发和保证，”

预计下一届政府将继续这些项目。特朗普团队对人工智能持开放态度，尽管他们希望与中国竞争。

人工智能在医疗领域的安全性如何？ 

尽管人工智能对医学科学产生了巨大的有益影响，但随之而来的是一些重大的风险和危险。

对于状态，人工智能系统使用特定的算法，需要大量数据集来提高准确性。这种方法使敏感的患者数据面临安全、隐私和机密的dent。目前，由于制药公司和保险公司对此类数据集感兴趣，黑客行为已大大扩展。医疗文件黑客攻击也可能是政府网络攻击的一部分。

此外，数据中毒，即故意修改医疗数据以导致医疗保健中的错误或偏见，是医疗数据滥用的另一个主要风险。这损害了医疗建议的准确性和可靠性。使用不同流行病学数据模型的人工智能（例如在 COVID-19 大流行中）可能会产生不同的结果。

另一个问题是有缺陷的医疗算法。这可能是由于算法测试不充分，因为没有既定的标准来测试其有效性。例如，双盲试验是证明治疗有效的最有效方法。 

然而，谁应该对这样的错误负责——私人医生、医院、设备提供商还是算法开发商？因此，机器故障引起的医疗错误会引发严重的法律问题。

AI聊天机器人扮演医生？ 🤖 还没有。

一项研究表明，他们的诊断能力充其量也很不稳定。

医疗保健人工智能仍然需要大脑增强才能信任您的健康。 🩺 pic.twitter.com/W2ast8S7iO

— CAD 管理局 (@CAD_Authority) 2025 年 1 月 2 日

此外，人工智能还可能损害医患关系。因此，医生需要了解AI的评估和表现，向患者解释其作用，减少患者的焦虑。

最后，还有一种现象被称为“懒医生”效应。如果医生完全采用人工智能算法进行诊断和治疗，可能会导致实践技能、智力创造力和解决医疗问题的能力逐渐、不可逆转地丧失。

然而，人们已经习惯了日常生活中的聊天机器人。通过适当的研究，人工智能聊天机器人可以消除医生所犯的小错误，从而使医疗空间更加安全。

从零到 Web3 Pro：您的 90 天职业启动计划