饱读700+中医古籍！MCM多模态问诊模型升级你的“互联网看病”体验_新浪财经

转自：上观新闻

想象一下

一位经验丰富的“中医大师”

与一位精通数据的“科学家”携手

将古老的中医智慧

与人工智能技术结合

一款MCM多模态中医问诊大模型

让“互联网看病”变得更加精准和高效

近日，在2024浦源大模型应用挑战赛（夏季赛）上，上海计算机软件技术开发中心团队研发的MCM多模态中医问诊大模型获得一等奖。“中医的独特诊疗方式在大数据和人工智能的支持下，可以达到前所未有的精准度和效率。”上海计算机软件技术开发中心人工智能研究部副部长马泽宇告诉上海科技，“尤其是在面对多模态数据时，中医的诊疗过程可以通过智能模型得到显著提升。”

传统问诊如何焕发智能活力？

如今，“互联网看病”已经成为新常态，为患者提供了前所未有的便利。但同时，这种新兴方式也面临着挑战：诊断的准确性、建议的相关性，都是患者在选择线上问诊时的顾虑。

“现在的中医问诊过程，除了传统的望闻问切外，医生通常需要综合考虑多种类型的患者数据，包括文本记录、影像资料、病史信息等。”马泽宇介绍。

然而，现有的人工智能模型往往只能够处理单一模态的数据，无法实现对多模态数据的有效整合与分析。这导致了诊断过程中的信息孤岛现象，影响医生做出全面、准确的诊断决策。

因此，构建一个能够处理和分析多模态数据的大模型显得尤为重要，以便帮助医生整合多种信息，提升诊断的准确性和效率。“我们正处在一个转折点，AI的介入将为中医问诊带来前所未有的变革。”马泽宇表示。

这一多模态数据大模型的构建并非没有障碍。首先，问诊的可解释性问题令人头疼。

“

”

其次，现有线上问诊方式常常被不相关信息所干扰，上下文的关联性更是难以保证。“患者可能提到完全不相关的信息，比如冰箱坏了，但这与他们的胃痛并无直接联系。”他解释道。最后，现有中医问诊模型大多只能处理文本等单一类型的数据，这种模态的单一性限制了问诊的全面性和准确性。

面对这些挑战，MCM模型提出了一系列创新的解决方案。它通过整合多模态数据，比如文本和医学图像，来提供更为全面的诊断支持。“我们不仅关注患者说什么，也关注他们的医学影像‘说’什么。”马泽宇说。

此外，MCM模型还引入了上下文处理机制，以确保问诊过程的连贯性和鲁棒性。“我们的目标是构建一个能够理解、分析并适应复杂临床情境的智能系统。”他补充道。

当AI成为中医的“新学徒”

打造MCM多模态中医问诊大模型的过程，第一步就是处理数据并将知识注入模型。马泽宇及其团队收集了700部中医古代典籍、真实的问诊记录，以及医学常识在内的大量数据。

这些数据通过特殊工具进行预处理，把古代中医典籍里的内容翻译成现代汉语，并生成了一些问答对话。马泽宇将其形象地比喻为“准备食材”的过程，可以将晦涩难懂的知识变成大模型可以接受的形式。

接下来是“知识注入”，就像给模型补充营养。这个过程分两个阶段，首先用翻译后的中医古籍和医学知识进行训练，让模型更好地理解中医。然后，用生成的问答对话和真实的问诊记录进一步训练模型，使它能更聪明地回答中医领域的问题，确保模型既有广泛的中医知识，又能灵活应对问诊。“这就是教模型如何理解和回答问题。”马泽宇解释说。