开发医疗设备AI的实用未来 - AI与医疗健康

本文旨在填补几个知识空白。首先是将语言模型应用于医疗设备，这些设备需遵循FDA等机构制定的监管框架。其次是这些模型本身的布局和功能，目的是揭开人工智能（AI）的神秘面纱。本文的第二部分旨在揭示可理解的过程，这是开发稳健且长期应用的最佳起点。

语言模型及其衍生产品已经吸引了各行各业的想象力。通常被称为AI的技术，很难找到没有对其或其潜在应用发表看法的人。作为一名专注于机器学习（ML）/AI的软件工程师，在一家医疗设备开发公司工作，我的任务是了解语言模型的工作原理，以及如何使这项技术按照我们的需求运作。我致力于最小化在医疗应用中使用语言模型对患者和客户的风险。许多客户对这种技术的可能性感到好奇，并想知道如何将其整合到他们的设备中。

语言模型在医疗设备开发中的应用

监管机构在批准医疗设备时采取基于风险的方法。由于采样导致的不确定性，以及基于自然语言这一广泛且难以测试的领域的输入可能导致的错误输出，这些因素往往使他们感到不安。如果你计划将AI作为可能影响用户健康的组件整合到医疗设备中，你会发现自己的选择非常有限。

要训练一个能够生成长且连贯输出的模型，同时仅使用最有可能的下一个词（贪婪采样），你需要一个大型模型和大量训练数据——Meta当前的标准是15万亿个词——当然还需要大量的昂贵硬件。从头开始训练一个大型语言模型（LLM）成本高昂，除非你是大型科技公司或由其资助，否则这几乎是不可能的。相反，你最好的选择可能是使用第三方训练的模型。这些第三方的范围从Meta、Microsoft到互联网上的任何人。

这些较大的、通用的模型可能仍需要针对你的应用进行额外的微调。幸运的是，微调可以比完整的训练更便宜、更容易，但你仍然需要文本数据和硬件，无论是租用还是自有的。一些大型第三方提供完全功能且非常大的LLM。这些服务有时还承诺可以根据较小的数据集对模型进行微调，甚至无需任何数据。

使用这些服务的风险在于，你使用的模型可能会发生变化，将你验证的输出替换为全新的输出。此外，用户文本的传输可能会违反隐私要求——无论是来自监管机构还是业务压力——设备要求本身的约束，至少会显著增加网络攻击的表面。最后，将整个设备或公司的运作依赖于不受控制的第三方网络服务，存在内在的灾难性业务风险和设备功能风险。

那么，你可以做什么呢？

虽然小型模型在生成语言建模方面可能显得可爱但无用，但在快速分类自然语言方面却非常强大。参数规模在1.5亿到5亿之间的模型可以表现得非常好，并且比大型模型快得多。这种用途涉及替换输出层，该层只给出每个词被生成的下一个词的概率，而是将最终解码器层的完全确定性输出转换为新的输出，该输出可以表示任何内容。这可以是一串数字，表示文本的意义，也可以是一个概率值，表示文本中的“希望量”——只要你有数据来训练它用于该任务即可。

此外，这种小规模允许你使用更大的语言模型生成合成训练数据，从而将少量示例扩展为更大的数据集。尽管模型崩溃是一个真实的问题，但你的1.5亿参数模型不会因来自比其大50倍（或超过1010倍）的模型的输出而受到显著影响。

开发小型临床辅助分类系统的做法并不新鲜。事实上，大多数获得FDA批准的ML/AI医疗设备都是成像系统的一部分，旨在处理图像并作出非绑定预测，以简化工作流程——与人类协同工作。

医疗设备开发的影响

语言建模的进步已经在科技行业催生了一个非常有利可图的空间，然而其在医疗设备行业的采用应该显著滞后。这主要是由于其架构以及使用所需的折衷——但也部分是因为人们希望将其用于不正确的用途。生成式AI可能很吸引人，但从怀疑的角度来看，我们可以从计算机视觉这一更为成熟的领域中窥见我们当前AI建模方法的未来。监管机构显然看到了ML/AI设备的价值，这些设备可以通过专家驱动的决策来提高护理的速度和标准。如果你有兴趣自己应用这项技术，请继续阅读。下一节将详细解释基于变压器的语言模型的架构，包括概念和代码示例，以及一个完全功能的基础训练框架链接，以便你自己实验。

基于变压器建模语言

“处理14维空间中的超平面，想象一个3D空间，并大声说出14。每个人都是这样做的。”——Geoffrey Hinton，《感知机的几何视图》。

从高层次上看，语言模型可以被视为在语言空间中行走。输入是一系列对应于每个输入词的点，输出则对应于一个新的点或一系列词的位置，可以继续这个过程。变压器构成了最近语言建模趋势的骨干，主要是一种信号预测模型。它们在一般预测方面表现出色，通过将语言表示为空间中的一系列点，我们实际上是在将语言转换为另一种信号，供模型预测，而不管语言本身是什么。

完整实现

你可以找到一个完全工作的、通用的语言模型训练系统，包括扩展实现、端到端的训练数据管道和详细的文档。其主要关注点是小型语言模型领域，默认情况下将基于Meta的Llama架构训练并保存一个2.2亿参数的语言模型。默认训练需要大约24GB的VRAM（一个RTX 4090——尽管这仍然是消费级的，但已经接近单GPU的要求），不过你可以通过调整批量大小和梯度累积值来适应自己的硬件。从保存的检查点运行模型所需的能力要少得多，可以在纯CPU上完成，内存小于1GB。

词元：语言模型的象形文字

世界各地的语言家族可以有截然不同的意义表示方式。许多语言通过小的个体符号构建单词——语言的基本组成部分，包含意义。其他语言群体有不同的方法，尽管量子可能有所不同，但最终都归结为交流。语言模型有自己的象形文字，称为词元。当表示英语时，这些通常是常见的单词，或字母、数字和空格的组合。语言模型不学习英语，而是学习如何通过这些词元在语言空间中行走。分词步骤主要是中间步骤。这种形式不会在模型内部持续太久，因为模型会学习自己的表示——一个1000多维空间中的点——每个词元对应一个。但当通过语言模型传递提示时，输入和输出的第一步和最后一步涉及从这些词元映射到和从这些词元映射，使输入和输出对人类可解释。

将语言建模为信号

在训练过程中，模型通过数据统计学习词元和点之间的映射关系。模型还学习路径如何在这个潜在意义或语义空间中移动，以及如何将最后一个位置推向下一个词的正确位置，基于词语到达那里的路径。现代语言模型的每一个方面都旨在将词元翻译成或从语义空间翻译出来，或在该空间中积累小的推动，以确定下一步的行走方向。

架构

我们在这里介绍的组件构成了大多数现代语言模型和多模态模型的主要部分，模型的架构——即我们如何将这些组件堆叠在一起——在由不同公司开发的不同大小的模型之间相当一致。

嵌入

嵌入将离散的词元（对应于单词或子词）转换为多维空间中的位置。在3D空间中，点可以在最多三个不同的维度上相似。词元放置的空间包含更多的维度，这些维度对应于组之间的许多不同潜在关系。为了迫使模型的输出占据相同的词元空间，可以尝试将这一层的转换与输出层的反转换绑定。虽然这一步不是技术上必需的，但它意味着模型只需为每个词元学习一个位置。当我们传递一个分词句子进入这一层时，我们会得到一系列位置，即模型语义空间中的轨迹——模型试图继续的路径。模型能否很好地学习这条路径，利用其训练数据中学到的信息和提供的输入轨迹中的先前信息，决定了模型在建模语言方面的表现。

解码层

这些层构成了语言模型的中部，首尾相连——每个层都从前一层的输出中做出自己的小调整。这些推动在数据通过每个解码器时累积，最终结果在与模型词汇表比较之前进行规范化。每个解码器由两个子组件组成，每个子组件都会产生一个小的推动。

实现

每个解码器是一个更复杂组件的简单排列——注意力层和多层感知器（MLP）。首先，注意力层计算其推动，加在输入信号之上。然后，通过前馈MLP，产生自己的调整。这种风格的模型，其中调整被计算并加在输入之上，称为残差模型，已被证明非常强大。

注意力层

注意力是使变压器如此强大的主要成分。这个组件分为不同的注意力头。每个注意力头使用输入轨迹来产生向预测下一步的部分推动。每个注意力头为每个输入词元计算查询、键和值向量。从查询和键向量中，头部计算注意力模式——一张输入每一步对其他每一步的影响程度的地图。从高层次上看，它是一个词到词的重要性地图。将这个模式乘以头部的值向量，就产生了结果。每个头部的结果并排放置，重新组装成模型语义空间的完整维度。最后，一个输出投影层将各个头部的输出混合成一个预测。

实现

在较新版本的PyTorch（>2.0）中，缩放点积注意力函数已内置。不幸的是，这不如手动实现那样能提供对注意力工作原理的深入了解。不过，它的速度确实很快。

MLP/前馈层

这个组件在前一注意力层的输出之上计算新的残差，进一步修改层的推动。与注意力不同，这一层不考虑过去，但可以利用前一注意力层存储在当前位置的信息来修改解码器的整体运动。

实现

虽然MLP在概念上相当简单，但它们作为更复杂模型的组件如何操作却远非简单或直观。

输出层

反转换层也称为输出头。它将语义空间中的最终点映射回与该点最相似的具体词元的混合。通过使用与嵌入层相同的词元-位置映射，我们将输入提示及其生成的延续转换为通过同一空间的一致路径，类似于加速度计在三维空间中测量信号的方式。

实现

输出层是一个简单的线性层，将最终解码器层的最终位置输出转换为词元概率的混合，基于每个词元的位置向量与预测提示延续的位置向量之间的点积相似性。

语言模型的实际应用

所有这些数学在实践中是如何实现的？

在前一节中，我滥用了一个概念，即将语言建模视为预测轨迹中下一个点的任务，但在处理超过三个维度的空间时，这个类比变得有些复杂。虽然没有理想的1000多维空间的3D表示，但它仍然具有启发性。

下面的动画展示了模型2000多维语义空间中一个句子的三个主成分。

动画由Thor Tronrud提供。

黑色文本和线条代表输入，红色代表模型确定的最可能的预测。可以看出，模型倾向于重复输入中的特定路径。问题是，最可能的路径不一定是最好的。在许多情况下，不同词元的似然性相似，选择一个仅略高的词元会使模型陷入这些重复模式。我们可以通过根据模型对其是正确延续的信心随机选择下一个词元来打破这种行为。现在我们可以看到更多从输入到输出的过渡。

动画由Thor Tronrud提供。