2023年预训练大模型与医疗市场前景及投资研究报告：算法研究应用

CONTENTS1.

预训练大模型概述2.

理解大模型的内在机理3.

赋予模型精准性与可解释性4.

医疗领域应用5.

清华探索：数基生命Tsinghua

Confidential

|lvhairong@CHIMA

20Pag2e2

3预训练：从大数据到小数据少量特定领域标注数据（成本高）①

关

于

预

训

练②

剖

析

大

模

型大数据（低成本无标注）③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命微调小模型（学习特性）预训练大模型（学习共性）1.模型角度：模型参数不再是随机初始化，而是通过一些任务（如语言模型）进行预训练；2.数据角度：将训练任务拆解成共性学习和特性学习两个步骤。CHIMA2023以英文电子病历后结构化为示例英文电子病历后结构化A①

关

于

预

训

练②

剖

析

大

模

型不懂英文英文电子病历后结构化B懂英文③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命英文电子病历后结构化C懂英文的医生CHIMA2023Transformer架构：预训练的基石①

关

于

预

训

练②

剖

析

大

模

型③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命从

word2vec

到

Transformer从

context-free

到

context-awareCHIMA2023BERT和GPT▪

两类典型的大语言模型▪

BERT：BidirectionalEncoderRepresentations

fromTransformers①

关

于

预

训

练②

剖

析

大

模

型▪

双向模型，同时考虑前文和后文▪

采用掩码语言模型（masked

language

model）和下一句预测任务（next

sentence

prediction）进行预训练，使得模型能够学习到上下文关系和词汇语义③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命▪

通常用于文本分类、序列标注、问答等任务▪

GPT：GenerativePre-trained

Transformer▪

单向模型，只考虑前文，不考虑后文▪

采用自回归（autoregressive）的方式生成文本，即逐个生成下一个词▪

通常用于生成文本、对话、问答等任务CHIMA2023BERT训练①

关

于

预

训

练②

剖

析

大

模

型③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命BERT主要采用掩码语言模型（masked

language

model，对应图Mask

LM）和下一句预测任务（next

sentenceprediction，对应图NSP）进行预训练，使得模型能够学习到上下文关系和词汇语义。预训练好的BERT可以用于对输入文本进行编码，得到具有语义的向量表示。预训练好的BERT也可以通过微调（fine-tuning）方式适配各类NLP任务：The

Stanford

Question

AnsweringDataset问答（SQuAD）、命名实体识别（NER）、MNLI任务（大规模分类任务，目标是预测第二个句子相对于第一个句子是包含，矛盾还是中立）CHIMA2023BERT表示能力①

关

于

预

训

练②

剖

析

大

模

型③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命Represented

IntoSeCHIMA2023BERT类模型①

关

于

预

训

练②

剖

析

大

模

型2019年7月

Facebook

AI基于BERT模型的扩展参数量1.15亿,3.4亿2018年10月

Google

AI提出BERT模型参数量1.15亿,3.4亿数据量约

16GB数据量约

160GB.③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命2021年10月

MicrosoftAI在BERT模型上引入解码与注意力解耦参数量3.4亿2020年2月

Google

AI提出的轻量化BERT模型参数量0.2亿，0.61亿，2.4亿数据量约

16GB数据量约

78GB2019年8月

清华大学提出知识注入BERT模型，后由Baidu

AI

更新迭代到3.0版本参数量1.15亿，1.25亿，100亿数据量约

12GB，22.9G，4TB2020年3月

Google

AI在BERT模型引入GAN参数量3.4亿数据量约

16GBCHIMA2023GPT发展史2019年2月2022年1月OpenAI提出GPT-3.5模型参数量13亿,

60亿，1750亿数据量40TB2017年6月OpenAI提出One-shot

GPT-2模型参数量15亿数据量40GB①

关

于

预

训

练②

剖

析

大

模

型Google提出Transformer模型2020年5月2023年第一季度2017年6月OpenAI提出Zero-shot

GPT-3模型参数量1750亿数据量40TBOpenAI提出GPT-4模型百万亿级别参数量OpenAI提出Few-shot

GPT-1模型参数量1.17

亿数据量约

5GB③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命增加GPT解释翻译能力解码器部分为GPT发展奠定基础赋予GPT推理能力赋予GPT处理多任务的能力多模态生成赋予GPT预测下一个字符串能力CHIMA2023GPT训练过程UnsupervisedPre-training①

关

于

预

训

练②

剖

析

大

模

型UntrainedGPT③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命Expensive

trainingonmassivedatasetsDatasets:300

billion

tokensoftextObjective:

Predict

thenext

wordExample:a?robot

mustCHIMA2023GPT应用①

关

于

预

训

练②

剖

析

大

模

型GPT具有搜索引擎的功能2021年12月赋予GPT理解人类

指令的能力2022年2月人类对话的能力GPT在编写代2021年③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命11月CHIMA2023模型内部本质上是基于统计的文字生成器通过对海量文本的学习，自动构建了一个含有1750

亿参数的大模型，建立了对这个世界基本的逻辑认知，由此产生了基于逻辑的推理能力实际上是根据对话中的最近

4095

个记号，算出紧接着最可能是哪个记号①

关

于

预

训

练但，ChatGPT

≠模型②

剖

析

大

模

型③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命模型负责把最近的对话内容翻译为一张概率表ChatGPT

负责根据这张表选出下一个记号，再让模型算再下一个记号的概率表CHIMA2023可以理解为高阶的马尔可夫链后续状态按一定概率取决于过去状态的随机过程，被称为马尔可夫链m阶马尔可夫链模型可以根据前

m个记号算出下一个记号的概率分布①

关

于

预

训

练②

剖

析

大

模

型③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命1阶马尔可夫链3阶马尔可夫链ChatGPT根据前

4095

个记号猜下一个记号，所以是一个

4095

阶的马尔可夫链如果ChatGPT遇到它在训练时从没见过的记号串怎么办？——神经网络能很好解决这个问题CHIMA2023概念：嵌入向量（embedding

vector）嵌入向量：①

关

于

预

训

练•

在GPT里面，把一个记号作为一个

N维浮点数向量来表示。这种用一个向量来表示一个单词或记号的方法按神经网络的术语就叫做嵌入•

一个单词对应的向量叫这个单词的嵌入向量②

剖

析

大

模

型③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命•

把每个单词或记号（token）在

GPT内部都会通过一层简单的神经网络映射层对应到一个嵌入向量，这个向量代表了记号的语言特征•

GPT-3是

1600维，GPT-3.5

2048维CHIMA2023位置信息的引入使用Transformer摆脱了人工标注数据集的缺陷，模型在质量上更优、更易于并行化，所需训练时间明显更少①

关

于

预

训

练•

第一步：将离散的顺序号转换成一个与嵌入向量长度相同的向量，称为位置编码（positional

encoding）②

剖

析

大

模

型③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命•

第二步：将位置编码与嵌入向量相加（即对应的元素相加），结果作为后续处理的输入向量•

第三步：输入向量会被送到多层Transformer进行后续处理，每层Transformer的参数不同，但都会让输入先经过一个线性投影层•

第四步：线性投影层将输入向量投影到另一个维度空间，剔除不重要的维度，将高维向量简化为低维向量CHIMA2023ChatGPT待优化的部分可信性无法保证，还不能提供合理的证据010305进行可信性验证时效性差，无法实时地融入新知识，知识范围局限于基础大规模语言模型使用的预训练数据时间之前①

关

于

预

训

练020406②

剖

析

大

模

型③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命成本高、部署困难、每次调用花费不菲，对工程能力有很高的要求，GPT-3模型的训练成本在875万

-1093.75万美元之间在特定的专业领域上表现欠佳，训练数据是通用数据，没有领域专业数据因为数据的偏见性，很可能生成有害内容反映的是标注人员的偏好，在标注人员分布不均的情况下，可能会引入新的偏见问题CHIMA2023如何让ChatGPT更靠谱ChatGPT

不是每次都选概率最大的记号①

关

于

预

训

练②

剖

析

大

模

型③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命两个关键参数：•

temperature

参数•

top_p参数CHIMA2023temperature参数•

控制语言模型输出的随机性或创造性的参数•

temperature

参数=0，模型每次都挑最佳候选字，从不偏离•

temperature

参数越大，生僻的选择变得更容易被选中•

openAI

试验场（playground）限制

temperature

参数在

0到

1的区间①

关

于

预

训

练②

剖

析

大

模

型③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命t=0t=0.4t=2CHIMA2023top_p参数•

限制

top_p参数在

0到

1的区间•

拿到候选字的原始概率分布后，先把这些字按概率从高到低排序，按顺序依次选取，选到总概率超过

top_p值的时候即停止，剩下的候选字彻底放弃①

关

于

预

训

练•

top_p=0，只保留最高频的一个字•

top_p=0.5，考虑总概率占

50%的那些最高频的字•

top_p=1，全部候选字都考虑②

剖

析

大

模

型③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命top_p=0top_p=0.1top_p=1CHIMA2023大模型精确性提升思路：知识嵌入大模型语言本身具有很强的语言理解或生成能力，然而为了提高其叙述内容的真实性和严谨性，需要采用特定的技术路线，例如将知识图谱中的事实描述融入大模型的训练过程中。①

关

于

预

训

练②

剖

析

大

模

型知识嵌入：Zhang等人通过将知识图谱的表示向量加入到BERT中对应的tokens编码内，从而使得模型学习到与知识相关的事实信息，增强了模型在相应知识领域的准确性。[1]③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命相关模型在FewRel和TACRED上的表现参考：[1]

Zhang,

Zhengyan,

et

al."ERNIE:

Enhanced

language

representation

with

informative

entities."

arXivpreprint

arXiv:1905.07129

(2019).CHIMA2023大模型精确性提升思路：知识预测知识图谱应用于大模型训练后阶段：Liu等人提出了知识生成式大模型提示方法，让模型进行知识预测，通过将知识图谱的三元组形式转化成Question

and

answer的形式，让模型生成一些知识，然后将这些知识进行聚合，从而得到最终的更为精确靠谱的结果。模型在数值常识（NumerSense）、一般常识①

关

于

预

训

练②

剖

析

大

模

型（CommonsenseQA

2.0）和科学常识（QASC）基准测试中进行实验，得出了将外部知识融入到大模型中能够提升其常识推理任务的精度的结论。[1]③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命参考：[1]

Liu,Jiacheng,

et

al."Generated

knowledge

promptingforcommonsensereasoning."arXivpreprint

arXiv:2110.08387

(2021)CHIMA2023大模型精确性提升思路：少样本提示ChatGPT作为一种生成模型，存在一些问题。其中最主要的问题是不确定性和预训练语料库中存在的某些局限性，这可能导致ChatGPT在回答一些问题时存在时效性、事实性以及内容①

关

于

预

训

练②

剖

析

大

模

型不合规等情况。[1]少样本提示：尽管大型语言模型展现出惊人的零样本能力（泛化能力），但在复杂的任务中使用零样本设置时仍然表现不佳。为了提高模型的性能，我们可以采用少样本提示技术来启发上下文学习。这种技术可以通过给模型提供示例演示来引导其生成更好的响应。演示作为后续示例的条件，可以有效地提高模型的准确③

精

准

可

解

释④

医

疗

应

用性和可靠性。[2]⑤

数

基

生

命参考：[1]

/TgqDT3gGaMdkHasLZv/article/details/130211938[2]

mptingguide.ai/zh/techniques/fewshotCHIMA2023大模型精确性提升思路：自我一致性由于ChatGPT的训练机制主要专注于“单字接龙”，其在涉及算术和常识推理的任务中的精确性仍有待提升。①

关

于

预

训

练②

剖

析

大

模

型自我一致性：由Wang等人提出，其核心思想是在链式思考的prompt

[1]基础上，通过采样适量的多个不同推理路径，根据这些方案的一致性情况得出最合理的结果，从而提高模型的准确性和可靠性。[2]③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命参考：[1]

mptingguide.ai/zh/techniques/cot[2]

mptingguide.ai/zh/techniques/fewshotCHIMA2023大模型精确性提升思路：提示语工程通过适当的Prompt

engineering，可以提升ChatGPT在相应任务上的精确性。①

关

于

预

训

练②

剖

析

大

模

型ImpressionGPT：使用“动态prompt”

来构建具有相似诊断报告的“动态上下文”

环境；对生成的报告进行评估，利用评估结果来指导ChatGPT

生成增强的响应，让ChatGPT能够从好样本和坏样本中学习到相关内容。[1]③

精

准

可

解

释④

医

疗

应

用ChatCAD

：设计了三种不同的Prompt，将视觉模型得到的结果通过Prompt更好的让语言模型理解，通过ChatGPT与CAD结合，得到了诊断的性能提升。[2]⑤

数

基

生

命参考：[1]

Ma,Chong,

et

al.

"ImpressionGPT:

AnIterative

OptimizingFrameworkforRadiologyReport

Summarizationwith

ChatGPT."

arXiv

preprint

arXiv:2304.08448

(2023).[2]

Wang,

Sheng,

et

al.

"Chatcad:

Interactive

computer-aided

diagnosison

medicalimage

usinglarge

language

models."

arXiv

preprint

arXiv:2302.07257

(2023).CHIMA2023大模型可解释性机器学习模型的可解释性▪

传统模型的可解释性思路▪

模型相关①

关

于

预

训

练②

剖

析

大

模

型▪

模型无关▪

大模型的可解释性思路▪

基于attention机制：大模型如BERT和ChatGPT等大都基于attention机制构建，但随着模型参数量不断增大，通过attention机制也无法进行模型内部的解释③

精

准

可

解

释④

医

疗

应

用▪

Prompt

Engineering思路：对话中的post-hoc（事后）可解释性⑤

数

基

生

命CHIMA2023传统可解释性思路白箱算法的可解释性与模型构造本身高度相关，因此对于大模型可以根据相关思路设计更具有针对性的可解释性方法。①

关

于

预

训

练②

剖

析

大

模

型主流的模型相关可解释性方法：•

基于梯度显著性[1]•

基于因果启发[2]③

精

准

可

解

释④

医

疗

应

用•

基于注意力机制[3]•

基于神经元分析[4]⑤

数

基

生

命参考：[1]

Wang,

Junlin,

et

al."Gradient-based

analysis

ofNLP

modelsismanipulable."arXivpreprint

arXiv:2010.05419

(2020).[2]

Meng,

Kevin,etal.

"Locatingand

editingfactual

knowledge

in

gpt."

arXiv

preprint

arXiv:2202.05262

(2022).[2]

Clark,

Kevin,et

al.

"What

doesbert

look

at?

an

analysisof

bert's

attention."arXivpreprint

arXiv:1906.04341

(2019).[4]

Dai,Damai,et

al."Knowledge

neurons

inpretrained

transformers."arXivpreprint

arXiv:2104.08696

(2021).CHIMA2023针对大模型的可解释性思路：多层注意力机制注意力中的表层模式注意力头探查•

注意力模块的相对位置•

分隔符标记•

集中注意力与广泛注意力•••探查个别注意力头探查注意力头组合注意力聚类BERT、GPT等大预言模型的基础框架为transformer，因此对于此类大模型的可解释性多与transformer

模型的架构与机制有关。①

关

于

预

训

练②

剖

析

大

模

型多层注意力机制：在Transformer模型中，通常包含大量的attention层。因此，每个attention层对于模型最终输出的影响很难用单层的热力图来解释。如果想要探究这类大型模型的可解释性，就必须从多层注意机制入手，并深入探究多个层之间以及同一层中不同multi-head之间的关系，以及它们对最终结果的影响。[1]③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命参考：[1]

Clark,

Kevin,et

al.

"What

doesbert

look

at?

an

analysisof

bert's

attention."arXivpreprint

arXiv:1906.04341

(2019).CHIMA2023针对大模型的可解释性思路：信息流解析信息流解析：注重模型处理过程中，过程信息流的可视化，这样做的意义和价值在于模型的使用者能够非常清晰的找出模型的输出结果与哪些输入有关，以及这些关联机制在模型的内部是怎样提现的。由于Transformer中注意力层的数量众多，其黑箱特性使得信息在其中的传递变得错综复杂。通过追踪tokens在①

关

于

预

训

练②

剖

析

大

模

型Transformer内部结构中的信息流向，能够帮助③

精

准

可

解

释④

医

疗

应

用追溯预测结果的依据明度并提高其可信度。，从而增加模型的透[1]⑤

数

基

生

命参考：[1]

Lu,

K.

,et

al.

"Influence

Patterns

forExplainingInformationFlowinBERT."

(2020).CHIMA2023针对大模型的可解释性思路：

Prompt

Engineering（ChatGPT时代）通过Prompt

engineering，ChatGPT能够对相关的结果做出一定的事后解释，这样的解释以自然语言的形式给出，让人更易理解。①

关

于

预

训

练②

剖

析

大

模

型链式思考：Wei等人引入链式思考（CoT）提示通过中间推理步骤实现了复杂的推理能力，这样的方法不仅可以提升任务结果的准确性，同时也能使得模型的推理过程一定程度上透明化，从而平衡其黑箱特性带来的过程不可见性，增加结果的可行度

。③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命参考：[1]

mptingguide.ai/zh/techniques/cotCHIMA2023针对大模型的可解释性思路：

Prompt

Engineering思路背景生成知识提示：大模型精准性的板块所讲到的生成式知识大模型提示方法，实际上，这种方法类似于链式思考方法，它让大模型针对一个问题生成特定的知识，并以这些知识作为其思考过程的基础。然后将这些知识进行聚合，最终得出一个答案。这样的过程也是一种可解释性。通过生成式知识提示，我们可以了解大模型在推理和生成答案时所参考的具体知识，从而更好地理解其决策过程。这种方法可以帮助我们发现模型可能存在的偏见或错误，并进一步优化模型性能。同时，由于知识的结构化特点，它还可以为人们提供更加结构化的模型解释，增强模型的可解释性。①

关

于

预

训

练②

剖

析

大

模

型③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命参考：[1]

Liu,Jiacheng,

et

al."Generated

knowledge

promptingforcommonsensereasoning."arXivpreprint

arXiv:2110.08387

(2021)CHIMA2023医疗领域应用场景①

关

于

预

训

练②

剖

析

大

模

型③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命参考：[1]Qiu,Jianing,

et

al.

"Large

AIModelsinHealth

Informatics:Applications,

Challenges,

and

the

Future."arXivpreprint

arXiv:2303.11568

(2023).CHIMA2023ChatGPT应用于自动印象生成背景在标准的放射学报告中，印象部分是对整个报告描述的总结。自动印象生成（Automaticimpressiongeneration，AIG）成为医学领域NLP研究的重点。①

关

于

预

训

练②

剖

析

大

模

型③

精

准

可

解

释挑战：对放射科医生来说，写下大量“印象”既费力又容易出错。尽管最近的研究中基于预训练和微调预训练模型在医学文本领域中的自动印象生成方面取得了不错的效果，但此类模型通常需要大量的医学文本数据并且泛化性能较差。ImpressionGPT技术流程图思路：

ImpressionGPT[1]使用动态提示（dynamicprompt）和迭代优化（iterative

optimization）来增强

ChatGPT

对放射学报告摘要的适应性。④

医

疗

应

用⑤

数

基

生

命参考：[1]

Ma,Chong,

et

al.

"ImpressionGPT:

AnIterative

OptimizingFrameworkforRadiologyReport

Summarizationwith

ChatGPT."

arXiv

preprint

arXiv:2304.08448

(2023).CHIMA2023ChatGPT应用于自动印象生成最近的研究表明，设计prompt以引导模型关注输入的相关方面，可以产生更精确和一致的输出。因此prompt

engineering对自动印象生成非常重要。①

关

于

预

训

练②

剖

析

大

模

型③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命首先使用标签器对报告的“发现”部分进行分类并提取疾病标签，然后基于疾病类别，在现有的诊断报告语料库中搜索相似的报告。使用“动态提示”

来构建具有相似诊断报告的“动态上下文”

环境，以便

ChatGPT

可以学习总结与当前疾病相关的诊断报告。CHIMA2023ChatGPT应用于自动印象生成①

关

于

预

训

练②

剖

析

大

模

型③

精

准

可

解

释ImpressionGPT在AIG任务的两个经典数据集MIMIC-CXR和OpenI上取得了不少的性能提升。④

医

疗

应

用⑤

数

基

生

命对生成的报告进行评估，利用评估结果来指导ChatGPT

生成增强的响应：采用“Instruction

+Response”的形式，让ChatGPT能够从好样本和坏样本中学习到相关内容。参考：[1]

Qiu,Jianing,

et

al.

"Large

AIModels

inHealth

Informatics:Applications,

Challenges,

and

theFuture."arXivpreprint

arXiv:2303.11568

(2023).CHIMA2023ChatGPT应用于医学图像辅助诊断背景用于医学图像的计算机辅助诊断

(CAD)网络通过使用先进的深度学习算法来支持临床决策，在医学领域取得了重大成功。大型语言模型

(LLM)最近展示了在临床应用中的潜力，其提供了宝贵的医学知识和建议。①

关

于

预

训

练②

剖

析

大

模

型③

精

准

可

解

释ChatCAD技术流程图挑战：LLM目前难以从这些医学图像中解释和提取信息，从而限制了他们全面支持临床决策过程的能力。思路：

ChatCAD[1]将

LLM

的医学领域知识和逻辑推理的优势与现有医学图像

CAD模型的视觉理解能力相结合，为患者提供了一个更加用户友好和易于理解的系统。CAD与ChatGPT结合后的交互式问答系统示例④

医

疗

应

用⑤

数

基

生

命参考：[1]

Wang,

Sheng,

et

al.

"Chatcad:

Interactive

computer-aided

diagnosison

medicalimage

usinglarge

language

models."

arXiv

preprint

arXiv:2302.07257

(2023).CHIMA2023ChatGPT应用于医学图像辅助诊断①

关

于

预

训

练②

剖

析

大

模

型③

精

准

可

解

释使用了三种不同的prompt设计，prompt作为tensor到text的纽带从医学图像得到prompt的策略：1)

将检查图像（例如X射线）输入经过训练的

CAD模型以获得输出2)

Prompt#1将这些输出（通常是张量Output

tensor）翻译成自然语言（LLM的提示句）3)

Prompt#2将使用评分系统设计，将Output

tensor中的分数分为四类，并用每类对应的自然语言描述五个观察值中每一个的可能性4)

Prompt#3是一个简洁的prompt，报告在Output

tensor中诊断分数高于0.5的疾病，如果五种疾病都没有预测，则提示“未发现”④

医

疗

应

用⑤

数

基

生

命CHIMA2023ChatGPT应用于医学图像辅助诊断①

关

于

预

训

练②

剖

析

大

模

型③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命CHIMA2023ChatGPT应用于医学图像辅助诊断①

关

于

预

训

练②

剖

析

大

模

型③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命ChatCAD利用ChatGPT与三种不同的prompt设计生成的报告交互式ChatCAD的两个示例基于视觉模型的结果和语言模型中预训练的医学知识，交互式ChatCAD可以进行有关症状、诊断和治疗的对话CHIMA2023团队目前在医疗领域的探索与工作医学影像报告中的所见->影像学报告中的印象1）构建并融合知识图谱

+

LLaMa（Meta公司开源的生成式大模①

关

于

预

训

练②

剖

析

大

模

型③

精

准

可

解

释大模型：参数化的知识库型）利用知识图谱直接显式的进行形式化拼接，引入预训练语料，通过微调的开源大模型，得到精确性与可解释性更好的模型。prompt2）知识图谱在prompt

engineering中的应用方法知识图谱：形式化的知识库知识图谱的引入可以使其上下文环境更符合现有领域知识，比如用知识图谱来构建不同疾病之间的关系。通过知识图谱引入专家知识，在prompt前进行一定约束，可以提供更可靠、有效的prompt。Prompt是两类知识相互融合的桥梁④

医

疗

应

用⑤

数

基

生

命知识图谱本身具有可读性和一定可解释性，在大模型中引入知识图谱使得模型的输入更可靠CHIMA2023提出了新的模型架构：EnhancedBERT1.

使用密集连接的方式可以连接不同层的表示到最顶层，有助于增强BERT表示的能力。①

关

于

预

训

练②

剖

析

大

模

型③

精

准

可

解

释2.

融合图结构，一方面可以使大模型编码图结构信息，另一方面有助于提升大模型建模序列中的精确语义信息。④

医

疗

应

用⑤

数

基

生

命使用BookCorpus和WikiPedia训练4层的tiny

BERT和tiny

EnhancedBERT，结果显示EnhancedBERT相较于原始BERT有较大的提升。CHIMA2023医疗领域应用实践与探索一些问题仍待探索①

关

于

预

训

练②

剖

析

大

模

型③

精

准

可

解

释1）在多机构场景中所涉及的数据隐私和安全问题2）知识图谱（KG）在prompt

design中的使用，以使其更符合现有领域知识（如不同疾病之间的关系）3）“人在回路”在prompt优化迭代的过程中的重要作用4）更丰富的数据集和基准（如包含患者主诉信息的基准数据集）5）多模态数据6）……④

医

疗

应

用⑤

数

基

生

命参考：[1]

Qiu,Jianing,

et

al.

"Large

AIModelsinHealth

Informatics:Applications,

Challenges,

and

the

Future."arXivpreprint

arXiv:2303.11568

(2023).CHIMA2023清华大学数基生命交叉创新群体群体带头人群体顾问张学工李衍达戴琼海董家鸿WingH.

Wong生物信息与机器学习专家清华大学自动化系教授国际计算生物学学会会士中国科学院院士中国工程院院士中国工程院院士美国科学院院士①

关

于

预

训

练②

剖

析

大

模

型③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生群体骨干汪小我江瑞古槿谢震闾海荣魏磊张静CHIMA2023智能医疗的关键：信息获取、理解与呈递错失的机会、浪费的资源损失的生命①

关

于

预

训

练②

剖

析

大

模

型③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命生命机理科学发现临床科学发现未能转化为应用可用技术患者CHIMA2023解决思路：数基生命

-

医疗行业研究与产业发展的新范式生命数字化机理模型化应用智能化①

关

于

预

训

练②

剖

析

大

模

型③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命通过全方位、多尺度、多模态生物医学数据感知，把人体表征为数字化实体。在数字化实体中，实现贯穿人体分子、细胞、组织、器官和系统的数学模型，让数字实体“活起来”，模拟生老病死各种生命过程，形成人体“数字孪生”。通过模拟个体健康演化和疾病发生发展过程,推演各种因素作用,定量评估重要生命过程,提供精准的动态健康指导和疾病治疗方案。CHIMA2023通过模型化重构应用生态数基生命实验群体-个体-系统-器官-组织-细胞-宏观-------应用智能化①

关

于

预

训

练②

剖

析

大

模

型③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命智能健康管理全场景智能化精准医健机理模型化数基设计靶向治疗数据-知识双驱动构建大模型---生命数字化智能精准医疗全方位跨尺度数据感知-数碳耦合组织工程分子微观共性平台技术智能公共健康生命机理数基重现CHIMA2023数据-知识双驱动的数基生命大模型从基因、细胞到系统的数字画像数基-碳基融合生命系统调控①

关

于

预

训

练②

剖

析

大

模

型③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命人体全方位定量数据感知数基智能精准医健数基生命大模型医健全场景数字化数基孪生推演优化CHIMA2023临床预训练模型与知识图谱10万小时语音训练数据100+万级语音专业词汇训练10G

专业医疗文本、文献语料100G

日常文本训练数据语音识别+语音合成•••••以多项专利技术、GPT和海量数据为支撑建立面向专业医学场景的识别模型，识别准确率高达97.5%;BERT模型深度改进+知识图谱融合自然语言理解让每个医生都拥有一个”机器人”

团队医学知识管理目前平均每天为100000+名患者提供诊前诊后服务••支持多轮对话复杂路径推理①

关

于

预

训

练②

剖

析

大

模

型③

精

准

可

解

释④

医

疗

应

用⑤

数

基

生

命百万级基础知识图谱+专科应用GAN网络技术，对高噪声低采样率信号进行了优化，场景测试准确率领先其它厂商5%;••••面向医疗文本、对话交互等场景，持续研发构建预训练大模型基础模型库，为不同应用场景的NLP任务提供更坚实的支撑。通过大量实践积累和深度优化，构建了一套面向院后疾病管理领域的高精度人机对