随着AI系统的日益互联，新的复杂性和风险也随之产生。有效地管理这些生态系统需要全面的培训、设计促进协作的技术基础设施和流程，以及建立确保信任和问责的治理框架。本文讨论了这些原则，并提供了基于我们和其他人在AI风险和监管领域的研究示例。
培训以操作AI生态系统
随着公司全面采用AI，加强AI培训变得越来越重要。AI生态系统涉及多层相互依赖的系统，其中一个工具的输出不仅影响其用户的决策，还影响其他AI系统的运行，进而影响其他下游决策。因此，员工不仅需要增强使用AI的能力，还需要学会导航和调解多个AI系统之间的互动。他们还需要更加敏感地意识到这些系统如何影响自己的决策，以及组织内外其他人的决策。
例如，在英国用于优先处理肝移植的算法通过预测患者有无移植后的五年生存率来决定。这种方法低估了年轻患者的长期利益，并进一步惩罚了他们，因为他们在没有移植的情况下更有可能存活。一位批评者指出：“如果你低于45岁，无论多么病重，都不可能获得高分。”同样，美国一家医院的再入院算法通过使用医疗费用作为需求的代理指标，优先考虑病情较轻的白人患者而不是病情较重的黑人患者。
在金融服务行业，一个模型的输出（如信用评分）可以作为下游AI系统的输入，允许来自信用模型的潜在错误或偏见在网络中传播。这不仅突显了管理单个AI系统的复杂性，还强调了互连系统带来的更广泛挑战，即初始缺陷可能通过网络传播并放大后续决策中的错误或不平等。结合AI自动化偏差——用户倾向于不加质疑地信任AI结果——错误可能未被发现，尤其是在今天的简单评分和AI使用实践中。
法律行业也提供了一个例子。律师和法学生越来越多地使用AI执行传统上由人类完成的任务，如使用AI研究和总结相关案例法、识别相关文件并简化诉讼过程中的文件审查、识别合同中的相关条款并评估风险。然而，今天的律师往往缺乏如何将这些工具集成到工作流程中或向客户解释AI生成的输出的指导，尤其是当这些输出是多个交互AI算法的结果时。培训计划应不仅关注工具的使用，还应帮助员工理解多个系统（如分析现有法律先例和客户风险评估的系统）如何共同影响决策。
为了应对这些问题，培训必须超越如何操作AI工具的基本知识。它必须使员工能够批判性地评估AI输出，理解数据和决策如何在互连AI系统之间流动，并在出现冲突时采取行动。例如，临床医生应学习交叉参考诊断输出与患者记录，并在输入似乎不完整时挑战分诊建议。
员工需要具备评估AI工具如何相互作用的技能，了解组织的AI“供应链”——复杂的网络数据集、模型和工具——如何演变，识别一个系统中的偏见或错误如何影响下游决策。例如，他们应该认识到上游数据偏见如何传播到下游建议，或冲突输出是否表明协调中断。培训还应赋予员工解决这些挑战的能力，无论是通过调整工作流程、重新定义AI系统的交互方式，还是优化数据和AI供应链的管理。
利用技术提高一致性
虽然培训准备了人员，但技术可以使AI系统有效和高效地互动。互操作性是基础，但更广泛的挑战是设计促进AI系统协作并减轻风险的技术基础设施和流程。这不仅仅是传统的技术互操作性，还包括决策的相互依赖性和一致性。
主动设计组织的数据和AI供应链是一个有用的起点：上游系统（如基于大数据集训练的生成式AI模型）馈送到中游应用程序，这些应用程序将这些模型适应特定行业，进而为最终用户提供下游工具。例如，在医疗保健领域，上游AI从全球放射学扫描中聚合数据以开发诊断模型。中游应用程序可能针对特定医院系统定制该模型，而下游工具可能使临床医生能够分诊病例。当这些层次和谐工作时，可以提高效率和诊断结果的质量。然而，错位（如上游模型对数据来源不够透明）可能会在整个链中传播错误。
随着时间的推移，更复杂的生态系统可能会出现。例如，在在线平台的信任和安全运营中，旨在确保用户的安全和言论自由同时删除非法内容的AI系统，如内容检测、情感分析和用户行为监控，通常独立运作，导致决策中的空白或重叠。更好地集成这些系统可以为版主提供实时洞察，确保决策（如封禁用户或标记内容）的一致性和可辩护性。
这些例子展示了为什么组织需要将AI系统设计为互连框架，而不是孤立的工具，并从一开始就考虑其数据和AI供应链。例如，确保医疗保健中的诊断AI系统与分诊工具无缝共享数据可以防止关键错误。同样，在信任和安全方面，集成内容检测和用户行为分析工具可以确保一致的决策。此外，对抗性AI系统可以用来彻底和持续地测试组织的AI——有效地利用AI保护AI。通过采用促进协调和持续稳健性测试的技术，并重新设计流程以对齐AI交互，企业不仅可以创造价值，还可以避免因潜在AI风险而造成的价值损失。
复杂生态系统的治理
新兴AI生态系统的规模和复杂性要求明确的AI治理框架。这些系统的互连性质带来了级联故障、放大偏见和责任缺口的风险。强大的治理必须解决这些挑战，同时促进信任和适应性。
透明度至关重要。在AI生态系统中，责任往往被各层互动所掩盖。例如，在医疗保健中，如果下游工具误诊患者，问题是在上游诊断模型、中游定制还是临床实施？组织必须采用能够追溯系统决策的治理框架，实现根本原因分析——理解问题的根本起源——并持续改进。
授权终端用户是另一个关键的治理重点。虽然组织通常集中化AI部署以保持一致性，但给予终端用户灵活性以适应AI系统可以解锁创新并允许在源头管理风险。例如，在医疗保健中，临床医生可以调整诊断工具以更好地反映当地患者人口统计特征——确保工具性能不会因上下文变化而下降。同样，信任和安全角色中的版主可以调整情感分析算法以符合区域和/或文化差异。然而，这种灵活性必须与自动审计等保障措施相结合，以防止滥用或无意偏见。
治理还要求建立反馈循环以监控和改进AI生态系统。例如，在法律实践中，公司可以实施机制以识别不同系统（如合同起草工具和法律风险预测器）产生的冲突建议。通过嵌入这些治理实践，企业可以向利益相关者（包括员工、客户和监管机构）保证其AI系统既安全又可信。最近的法规，如欧盟的《数字服务法》（DSA），为透明度、责任、用户授权和反馈循环提供了宝贵的指导。
例如，医疗保健提供者可以实施可追溯性框架，确保诊断AI决策对患者和监管机构都清晰。同样，信任和安全平台已经开始采用审核机制，解释内容审核决策并允许用户提出异议。通过应用这些原则，组织可以创建不仅有效的AI生态系统，而且在道德上一致并得到利益相关者的信任。
此外，基于明确原则和流程的授权还可以让用户更好地探索并最终利用AI的优势和劣势，促进学习。例如，部署内容审核工具的公司可以帮助他们高效地审查大量来自用户、AI、执法机构或其他来源的报告，以确定在线发布内容的合法性。他们可以在进行定制审核决策之前，对同一第三方内容进行平行自动化评估，并寻求多个AI系统的交叉验证。这可以提高决策的准确性，并改善依赖不同AI系统审核内容的内容版主的直观理解。
授权还可能提高那些主要受AI系统影响的人对结果的接受度。例如，在社交媒体的信任和安全设置中，允许用户自定义其公共个人资料或页面上的审核体验，从而更好地适应当地背景或少数语言的用户，可能更愿意接受平台部署的不同默认内容审核方法。
在AI生态系统时代保持安全
随着公司在其流程和产品中制定AI战略并采用AI，AI生态系统将不可避免地变得更加复杂，需要新的实践、流程和工具，以更好地和更安全地利用它们。成功需要准备劳动力以导航互连AI系统，利用技术以实现更好的对齐和协调这些系统及其操作人员或受影响者之间的协调，并建立确保问责、适应性和安全高效的授权的治理框架。我们无法预见新兴复杂AI供应链和生态系统将带来的新类型风险，因此良好的风险管理实践需要充分准备和持续学习。
I. Glenn Cohen的工作得到了诺和诺德基金会的资助，用于支持科学独立的国际生物科学创新与法律项目。
(全文结束)
