财经新闻网消息：
丰色是从凹非si量子比特发送的 | 公众号
Med-PaLM M 是 和 共同创建的多模态生成模型，能够理解临床语言、影像和基因组学。
在 14 项测试任务中，Med-PaLM-M 接近或超过现有的 SOTA，前提是所有任务都使用相同的模型权重集。
并且在 246 例真实胸部 X 光检查中，临床医生表示，在高达 40.50% 的病例中，Med-PaLM M 生成的报告比专业放射科医生的报告更容易被接受，这表明 Med-PaLM M 并没有“上”纸”，临床使用指日可待。
对此，谷歌也给出了自己的评价：
这是普通医疗人工智能史上的一个里程碑。
那么，Med-PaLM M 到底是什么？
全球首个全科医学模型来了
在正式了解 Med-PaLM M 之前，我们先简单介绍一下 自建的多模态医学测试基准。
谷歌表示，此前，市场上缺乏如此全面的多模式医疗基准。
该基准由 12 个开源数据集和 14 个单独任务组成，用于衡量通用生物医学 AI 执行各种临床任务的能力。
其中 12 个数据集总共包括 6 种生物医学数据模式（文本、放射学（CT、MRI 和 X 射线）、病理学、皮肤病学、乳房 X 线摄影和基因组学），以及涵盖 5 种类型（问答、报告生成和分析）的 14 项任务。摘要、视觉问答、医学图像分类和基因组变异调用）。
Med-PaLM M 在顶部进行了微调。
正如其名字“M”代表多模态一样，与之前谷歌发布的 Med-PaLM 和 Med-PaLM-2 等大型医疗模型相比，Med-PaLM M 是一款专注于全科和通才的医疗 AI。 对于医疗问题，可以直接看电影，了解基因组学。
其基本架构为PaLM-E（多模态语言模型），并使用ViT预训练模型作为视觉编码器，具体实现了三种组合：
-PaLM 8B+ViT 4B(PaLM-E 12B)-PaLM 62B+ViT 22B (PaLM-E 84B)-PaLM 540B+ViT 22B (PaLM-E 562B)
通过微调 PaLM-E 模型并将其与生物医学领域保持一致，Med-PaLM M 诞生了。 以下是一些实施细节：
（1）在数据集和预处理方面，将所有图像调整为224×224×3，并根据需要使用填充以保留原始长宽比。
（2）由于的目标是训练通用的生物医学AI模型，因此使用统一的模型架构和模型参数来执行具有多模态输入的多个任务。 为此，他们为 Med-PaLM-M 提供了针对各种任务的说明以及纯文本的“一次性示例”。
如下图所示的胸部 X 光片判读和皮肤病变分类任务所示，这些说明有一点书面提示的味道，开头是“你是一位很棒的放射科助理”。
（3）在训练过程中，作者对PaLM-E进行了端到端的微调。 在多模态任务中，图像标签与文本标签交织，形成 PALM-E 模型的多模态上下文输入。 对于所有微调任务，多模态上下文输入最多包含 1 个图像，而 Med-PaLM M 能够在推理过程中处理具有多个图像的输入。
14 项任务接近或超过 SOTA，并在临床上击败了 40% 的放射科医生
在性能评估阶段，笔者主要测试Med-PaLM M的“通才”（即全科实践）能力、爆发能力和放射学报告生成质量（与真实放射科医生相比）。
结果表明：
（1）与生物医学领域专业SOTA模型和未经微调的广义模型（PaLM-E 84B）相比，Med-PaLM M在所有任务、数据集和指标组合（共14项）中的表现和上面的基本是一样的。 接近 SOTA 或超过 SOTA。
请注意，此结果是使用同一组模型权重实现的，无需任何特定于任务的定制。
（2）在尺度实验中，Med-PaLM M的三种不同尺度对各种任务的影响不同：粗略地说，对于纯语言任务和需要调整的多模态任务，模型越大越好； 但对于图像分类和胸部X光报告生成任务，84B的效果优于562B。
(3)零样本思维链推理能力显现。 Med-PaLM M可以从胸部X光图像中检测出未经训练的结核病，其准确性与专门针对此类数据集优化的SOTA结果没有太大区别。
但其给出的具体报告中仍存在具体错误，说明仍存在不足。
（4）在放射学报告生成测试中，80B参数的Med-PaLM M平均报告优于放射科医生40.50%（被临床医生接受），而12B和562B分别为34.05%和32.00%。
此外，遗漏率和错误率测试表明，Med-PaLM M 12B 和 84B 模型每份报告的遗漏率最低，为 0.12，其次是 562B 模型，为 0.13。 该结果与人类放射科医生在 MIMIC-CXR 上报告的基线相当。
多久可以实用？
作为首个大型全科医疗模型，Med-PaLM M 多久才能投入实际使用，想必也是大家关心的问题。
尽管它“自诩”为一个里程碑（主要是因为它在具有一组模型权重的各种生物医学任务中接近或超过了SOTA），但谷歌也指出仍有许多限制需要解决。
例如，缺乏高质量的基准。 谷歌表示，这是迄今为止通用生物医学人工智能发展的关键瓶颈，因为只有高质量的基准测试才能极大地促进相关领域的发展。
然而，仍然存在个体数据集大小有限、模式和任务多样性有限（例如缺乏转录组学和蛋白质组学）等问题。
另一个例子，扩展多模式人工智能模型也具有挑战性。
在语言领域，该操作可以显着提高性能和应急响应能力。 然而，谷歌在 Med-PaLM-M 上的初步实验表明，由于医学数据的稀缺，这对于生物医学任务领域的多模态广义模型来说并不是那么简单。
关于作者
目前，仅在Med-PaLM M上发表了论文。
它有两位合著者，其中之一是涂涛。
2010年毕业于北京理工大学，硕士毕业于清华大学，2010年获博士学位。 毕业于美国哥伦比亚大学，主修医学工程。 我在谷歌担任软件工程师已经快两年了。
免责声明 ① 本网所刊登文章均来自网络转载;文章观点不代表本网立场,其真实性由作者或稿源方负责 ② 如果您对稿件和图片等有版权及其他争议,请及时与我们联系,我们将核实情况后进行相关删除 ③ 联系邮箱:215858170@qq.com
Copyright © 2017-2018