在国家AI政策框架草案发布后不久即被撤回，虽然令人遗憾，但这或许是最好的激励，促使我们关注各种AI风险并认识到此类框架的必要性。
通信部长索利·马拉齐(Solly Malatsi)表示，该草案引用了不存在的学术和法律来源，这种错误被称为"AI幻觉"。他指出，这一错误恰恰证明了人类监督的必要性，而这正是该政策本应讨论的主题。
尽管出现这一波折，该草案仍是一个重要步骤。医疗价值链的所有环节都期待与经过验证的AI框架草案进行互动。
我们相信政府仍致力于以原则性和结构化的方式规范AI的使用。设定AI使用参数日益成为关注焦点，特别是在医疗保健和金融服务领域，因为这些领域与错误、幻觉和操纵数据相关的风险尤其巨大，潜在后果尚未被完全理解。
AI已经进入南非的医疗系统，从理赔决策到护理路径建议。在某些诊所，护士使用AI工具对患者进行分类。例如，文员将患者的身份证号码输入数据库以检索其医疗历史。然后，分诊应用程序为患者分配颜色代码：绿色代表常规，橙色代表高风险，红色代表紧急。如果系统将患者标记为"红色"，护士会将其移到队列前面。
问题是人们是否能信任它。政策和实践应由两个支柱指导：使AI安全透明的操作标准，以及在造成伤害时明确的责任规则。
除非透明度框架使这些系统的使用受到问责，否则患者和提供者将不信任这些系统。透明度框架还要求AI是可理解的：任何不透明都会使患者和提供者感到沮丧。
因为医疗保健决策影响人身安全，透明度需要对潜在危害进行严格评估。任何支持临床治疗的AI工具都必须经过意外影响测试，法规应反映这一需求。
自动化决策不会免除提供者的护理责任。模型必须经过不同人口群体的偏见测试并进行纠正。国家政策必须确保临床问责，要求在设计中有人工干预，并设立一个AI相关投诉的权威机构，例如申诉专员。
此外，AI在医疗计划、医院和医疗实践的管理和行政中的使用也必须同样透明，并可接受质疑或争议。
许多人会指出，南非法律已经要求透明度。《个人信息保护法》(POPIA)规定合法处理数据，《国家卫生法》优先考虑患者福利。此外，FSCA的原则要求客户了解影响其福利的决策。AI不能削弱这些职责。
但现行法律仅提供一般指导。POPIA和《国家卫生法》并非为代理AI或自适应AI设计。虽然普通法过失和医疗器械规则仍然适用，但它们并未解决AI特定问题。这一监管真空造成了不确定性。
如果算法确定护理的紧迫性或医疗理赔的支付，机构必须能够解释该决策。"系统标记了它"是不够的解释。患者必须知道哪些因素决定了结果以及如何质疑它。
临床环境中使用AI的明确标准至关重要。至少应包括使用前的临床验证、对不同群体的偏见测试、人工干预和覆盖选项、模型变更的审计跟踪、持续性能检查，以及明确的患者披露和质疑决策的方式。
与信用评分等工具相比，临床AI需要更多解释。例如，癌症诊断需要更高的标准。如果没有针对开发人员、医院和临床医生的明确规则，从业者将不会对使用这些工具有信心。这些标准应作为安全港：遵守它们可以明确并减少意外故障的责任，而违反它们则会增加过失。
责任规则应明确造成伤害时谁负责。监管机构需要明确何时开发人员对有缺陷或误导性模型负责，何时机构因治理不善或部署不当而承担责任，以及何时临床医生因忽视或未经医生验证而使用AI而未能履行护理责任。
规则还应包括合同赔偿、投诉受理方式（申诉专员），并遵循有关过失和产品责任的现行法律。
私营医疗保健公司可以通过与所有利益相关者合作帮助监管机构制定这些标准和规则，这使得在草案AI框架重新发布时进行建设性互动至关重要。
这样，每个人——开发人员、机构和临床医生——都知道自己的角色。提供者还必须用通俗易懂的语言，最好是患者的母语，明确告知患者何时使用AI支持诊断或治疗决策。
私营提供者已准备好测试这些披露框架。我们可以贡献我们的临床经验和运营数据，帮助政府起草全面的"医疗AI"研究，为实用、可执行的系统提供指南。医疗咨询的性质已经改变，私营医疗部门必须帮助编写新的、无幻觉的实践规则。
- Satish Antony是AfroCentric的首席分析与战略官
【全文结束】