AI风险——超越替代，迈向责任
德米特里·吉安尼科普洛斯（Demetri Giannikopoulos），特约撰稿人。专注于健康AI、技术创新和患者体验的领导者。
本周，Anthropic根据政府出于国家安全考虑的指令，停止了对Fable 5和Mythos 5的访问。不出所料，各方迅速形成了不同阵营。一些人认为这证明需要更严格的监管；另一些人则认为这证明政府无法被信任来管理如此重要的技术。我认为双方都忽略了一些问题。让我印象深刻的是，讨论迅速集中在控制权上，而很少有人花时间讨论当这些安全措施产生摩擦、限制访问或迫使做出令人不适的权衡时，谁应该承担后果。每个人都说他们想要安全护栏，每个人都说他们想要负责任的人工智能，但似乎很少有人真正关心当这些护栏产生问题时会发生什么。
这种情况让我想起了一个更小的问题。几个月前，我注意到我的医疗记录中存在一些重大错误。这些错误本身并不特别令我惊讶。医疗保健是一个建立在技术系统之上的人类系统，而人类和技术偶尔都会出错。信息是错误的，多个人都能看出它是错误的，然而数月之后，它仍未被完全纠正。
我仍然没弄清楚的是，当问题存在后，谁真正拥有解决问题的责任。我问了我的理疗师，主要是因为他们是我最常见到的人。那里没有真正的答案。下周我将与创建原始记录的医生预约，看看那会带来什么结果。除此之外，我在工作和与家人旅行之间根本没有足够的时间去充分调查这个过程应该如何运作。现在，这感觉不再像一个文档错误，而更像是一个责任归属问题。
我们不断回归替代
我认为问题的部分原因在于，我们继续主要通过替代的视角来框定AI。每场讨论最终似乎都会到达那里。放射科医生会消失吗？程序员会消失吗？客户服务代表会消失吗？
在今年早些时候的一次参议院委员会听证会上，参议员伯尼·莫雷诺（Bernie Moreno）回顾了近一个世纪的例子。汽车曾被认为会消除工作。自动化曾被认为会消除工作。互联网曾被认为会消除工作。我补充说，电子表格曾被预测会消除会计师。这些预测从未像人们想象的那样实现，尽管工作本身发生了巨大变化。
我这么说不是因为我认为AI被过度炒作。恰恰相反；其中一些能力是非凡的。但我越来越怀疑替代是否是错误的框架。
讽刺的是，我过去十年职业生涯中相当一部分涉及告诉人们不要使用AI。鉴于我合作过的组织和我担任过的角色，这听起来很奇怪，但许多问题实际上并不需要概率系统。有时好的软件更便宜、更容易管理、更容易解释。它也产生更一致的结果。然而，我们越来越多地将每个问题视为必须涉及AI，仅仅因为AI可用。
不确定性可以存在和不可以存在的地方
考虑在研究地点实施临床试验的过程。协议不断变化。纳入标准演变。新的排除条件出现。修正案到达。研究团队被要求在确保协议完全按照书面规定执行的同时，识别符合条件的患者。本能的回答通常是不断将每位患者输入AI，并询问模型他们是否符合条件。
一个更有趣的方法，至少对我来说，是相当无聊的。当协议变更时，只使用AI一次。让它解释更新，与前一版本进行比较，并将复杂的语言转换为结构化的规则集。让领域专家审查该输出，确保其准确反映协议。然后让传统软件做几十年来它做得异常出色的事情——执行这些规则，直到下次更新到来。
我越来越怀疑我们将AI分配到了错误的层次。
其中一些系统令人惊叹。但如果协议每月更改一次，为什么我要对数百万患者调用AI数百万次？每年只使用模型十次。让真正理解试验的人审查输出。然后将规则推入软件，继续前进，直到下次更新。
一种方法要求专家检查一次不确定性。另一种则将其分散开来，悄悄要求下游的每个人吸收它。临床医生、患者、支持团队。这些不是一回事。
也许这不那么令人兴奋。它肯定会使主题演讲幻灯片变得更糟。但当你成为那个必须解释为什么18个月后患者A被录取而患者B没有被录取的人时，无聊开始看起来相当有吸引力。没有人会因为应用程序本身是AI而获得加分。
人类可能不是昂贵的部分
我思考的一件事是AI是否会部分逆转离岸外包的故事。几十年来，组织追求劳动力套利，因为它在经济上有意义。现在的假设似乎是下一步很明显：完全消除人。我不确定数学是否如此。
标准讨论集中在AI经济学如何演变。软件花费了数十年时间按席位和订阅收费。AI引入了不同的模式。使用量很重要。令牌很重要。计算很重要。AI从业者使用"推理"一词来描述模型生成响应的过程。随着补贴减少和使用成本变得更加明显，公司开始发现推理不是免费的。
但并非每次互动都具有相同的利害关系。密码重置和常规请求是一回事。当客户感到沮丧、害怕、困惑或考虑离开时，这些就变成了高风险时刻。这些是客户记住的时刻。失败的成本不是由第一次互动来衡量的。它是由第二次电话、升级、悄悄消失的客户或永远无法恢复的关系来衡量的。
AI创造了一个有趣的可能性。与其用无人替代三个人，也许一个由AI支持的高技能人员可以提供类似的经济效益，同时更接近客户。想象一下。也许我们可以利用这些系统来建立专业知识并增强信任，而不是追求越来越低的劳动力成本。
也许我对此是错的。估值更像是神话而非科学。我曾经听说有人将它们描述为附有非常好的演示文稿的商业计划书，这可能有一些道理。但这些数字背后的假设隐含地依赖于替代。在某个时候，成本必须去某个地方。
每次我说这话时，这听起来仍然很奇怪：在某些情况下，人类实际上可能是最具成本效益的推理层。
因为智能的成本不仅以令牌和GPU来衡量。有时它是第二次电话。有时是升级。有时是那个悄悄消失且从未告诉你原因的客户。这些成本最终会出现在某个地方，即使它们不会出现在云账单上。
最终会有人接到电话
实际上，很少有东西看起来像演示。大部分看起来像重新设计工作流程，并试图回答以前不需要回答的问题。
也许这最终就是Anthropic故事对我如此有趣的原因。每个人都立即争论控制权。政府、公司、模型、访问。
我却在思考一些不那么宏大的事情。
临床试验、客户服务、医疗保健：最终总得有人解释发生了什么。
我们对技术越来越有信心。我不能确定我们是否花了同样多的时间决定当事情没有按计划进行时，我们愿意让谁承担后果。
【全文结束】