在医疗健康领域企业大模型RAG优化实践-百度灵医+夏源

ES库/向量库ES库/向量库 复杂query拆分知识图谱召回关键信息截断Q-TP相关性 文档抽取上下文理解文档抽取上下文理解关键词抽取意图识别证据聚合多源文档召回稠密向量检索索引自动构建深度语义排序相关性排序路径检索证据溯源ES检索检索检索数据库解析版面分析表格识别文档结构化文字解析字段识别机器翻译段落识别数据库解析版面分析表格识别文档结构化文字解析字段识别机器翻译段落识别...读懂病历，理解患者知识中知识中台......读懂书本，掌握知识各类医学知识文档有不同的排版样式、文档布局病历多单据识别/病案质控病历多单据识别/病案质控医疗文档智能分析医疗文档的知识抽取与图谱构建医学知识循证与融合知识中台……医疗领域富文本信息理解OCR文字识别SPO抽取/schema抽取/etc.Layout版面分析病程记录/现病史书籍/指南（电子版/图片版）书籍/指南（电子版/图片版）CRF组装Span抽取表单识别单据解读SPO关系抽取知识循证层次结构化CRF组装Span抽取表单识别单据解读SPO关系抽取知识循证层次结构化文档视图树生成标题识别正文识别表格识别图像识别多模语义实体识别自注意力机制计算空间结构化映射文档视图树生成标题识别正文识别表格识别图像识别多模语义实体识别自注意力机制计算空间结构化映射空间感知编码器文字识别文本纠错OCRNLP......LLMMLLMLLMMLLM医疗单据图像预处理（图像分割/主体检测/图像矫正/图像增强/etc.）基于OCRNet进行医疗文档增强训练（+△15.6%）主体识别准确率（95%+）结构化表单事件抽取结果…2020-07-172020-07-17C5/6(-)C5/6(-)…专病结构化抽取语义实体识别&实体链接SemanticEntityRecognition多模态空间感知编码器1D位置向量2D空间位置向量:右结(:右结(FeatureMapFeatureMap TextVisualEncoder OCRLayoutVisualEncoder文字检测模块（EAST/DB/...）文字识别模块(CRNN文字识别模块(CRNN/SRN/SVTR/...)△28%/△4%▽0.1%/△28%/△4%▽0.1%/△0.8%词准率字准率字准率男I②□文字识别模块(CRNN/SRN/SVTR/...)症状上腹部疼痛,症状上腹部疼痛,呈持续性钝痛身体部位症状描述词豆spanpredictionself-Attention上腹部疼痛呈持续性钝痛,3天前加重…spanpredictionspanpredictionposition-Attentionposition-AttentionMedicalpre-trainedModel上腹部钝痛加重三天前症状疼痛,呈持续性sharedHidden上腹部钝痛…2020-07-172020-07-17C5/6(-)C5/6(-)…专病结构化抽取专病结构化抽取文档理解（版面分析/版面顺序）文档理解（版面分析/版面顺序）双拦版式双拦版式页眉页眉标题标题正文正文标题图片标题图片表格页眉页脚正文公式图片标题段落......段落页脚112Accuracy98%+扫描清晰标准表格扫描清晰标准表格TableTransformer/SLA90%+噪声表格（扭曲/形变/模糊）Leveln-1Leveln…第十六章喘鸣 ………文档结构分析文档结构分析优质训练语料与多重策略保证生成内容的准确安全••尚有很多医疗专业权威知识，通用模型尚未习得•有私有高质量医疗的独有数据•质量分层：对预训练医疗数据指令评估和分级采样经验2:数据增强通用数据和领域的数据合理配比，兼顾通用和专业能力医疗领域预训练效果01综合RAP和EAP自我推理生成的轨迹进行最终答案推理1Xia,Yuan,etal."ImprovingRetrievalAugmentedLanguageModelwithSelf-Reasoning."arXivpreprintarXiv:2407.19813(2024).自我推理（self-reasoning）在的在RAG应用的具体例子自我推理（self-reasoning）在的在RAG应用的具体例子百亿参数模型配置下性能接近GPT-4水平自我推理（self-reasoning）在不同RAG公开数据百亿参数模型配置下性能接近GPT-4水平FEVER(acc)34.048.135.226.8Self-RAG38.855.8Self-ReasoningGPT-446.662.568.5Self-RAG2.082.38Self-Reasoning2.32GPT-435.540.5自我推理（self-reasoning）在不同RAG公开数据证据噪声鲁棒性测试**Random*RandomShufle:随机打乱召回证据的顺序多源异构文档数据召回语义感知证据召回基于阅读理解的循证推理模型在医疗领域事实关系验证SOTA效果0/10/10/10/11Xia,Yuan,etal."Medicalentityrelationverificationwithlarge-scalemachinereadingcomprehension."KDD2021.221212012021......012222代胸部X线成为敏感的.........21.........21...20代胸部X线成为敏感的......-**薄层重建**：HRCT采用薄层扫描及高分辨率算法重-**辐射剂量较低**：尽管HRCT提供了更高的图像分辨-**多平面重组和三维重建**...21...20......21...20......………………促进流通…………健康助手科普回答健康助手适老版（皮肤病、报告单解读、全网找医生等）Query：James-Lange情绪理论是什么？其核心观点是Query：James-Lange情绪理论是什么？其核心观点是