为大模型插上翅膀ChatGLM部署与Langchain知识库挂载

内容目录一、ChatGPT等通用大语言模型使用现状 4二、Langchain知识库框架介绍 6Langchain知识库原理介绍 6Langchain知识库主要模块介绍及应用案例 7三、主流开源大语言模型对比 10部分大语言模型介绍 10大语言模型评价指标介绍及对比 10大语言模型部署的显卡消耗 12四、ChatGLM2模型+Langchain知识库挂载 12模型部署 12Langchain知识库挂载及应用案例 13总结 14风险提示 15图表目录图表1：ChatGPT行业打分回答示例 4图表2：ChatGPT分析新闻对于原油期货价格的影响回答示例 4图表3：ChatGPT金融领域专业知识问答示例 5图表4：ChatGPT最新资讯问答示例 5图表5：Langchain挂载本地知识库框架介绍 6图表6：知识库挂载问答示例1 7图表7：知识库挂载问答示例2 7图表8：Langchain常用模块 7图表9：主流Embedding模型介绍 8图表10：Langchain主要模块应用案例1-联网搜索 8图表11：向量化研报文本节选 8图表12：Langchain主要模块应用案例信息提取&计算 9图表13：部分大语言模型基本介绍（排名不分先后） 10图表14：SuperCLUE琅琊榜用户匿名测评示例 11图表15：OpenCompass主要模型中文排名 11图表16：OpenCompass中文多维度能力评测 12图表17：OpenCompass英文多维度能力评测 12图表18：模型参数量与显存消耗对应关系 12图表19：ChatGLM2-6B部署部分代码示例 13图表20：ChatGLM2-6B与Langchain挂载应用案例1 13图表21：ChatGLM2-6B与Langchain挂载应用案例2 14图表22：ChatGLM2-6B与Langchain挂载应用案例3 14自去年底ChatGPT发布以来，大语言模型展现出的综合能力吸引了投资者的广泛关注。我们团队在前期的多篇报告中也已经将ChatGPT成功应用在量化策略的构建上，在《Alpha掘金系列之五：如何利用ChatGPT挖掘高频选股因子？》中，我们利用ChatGPT训练语料的丰富性和其强大的归纳能力，构建出了比较有效的高频选股因子。图表1：ChatGPT行业打分回答示例来源：ChatGPT，《Beta猎手系列之四：如何利用ChatGPT解析卖方策略观点并构建行业轮动策略？》，在《BetaChatGPTChatGPTCTAChatGPTOPEC图表2：ChatGPT分析OPEC新闻对于原油期货价格的影响回答示例来源：ChatGPT，《CTA金点子系列之一：基于ChatGPT新闻情感分析的原油期货策略》，不过在使用过程中，我们发现ChatGPT依然存在一些短版影响我们的使用体验。专业知识匮乏：ChatGPT图表3：ChatGPT金融领域专业知识问答示例来源：ChatGPT，ChatGPT9图表4：ChatGPT最新资讯问答示例来源：ChatGPT，BusinessInsiderChatGPTChatGPTChatGPTChatGLMLangchainLangchain知识库原理介绍LangChainLLM模型、向量数据PromptChatGPTHuggingfaceLangchainPDFChatPDF，AskYourPDFLangchain图表5：Langchain挂载本地知识库框架介绍来源：Langchain，LLMEmbeddingK条文档后，将提问和匹配文档嵌入固定的提示模板中，最后对LLM提问得到回复结果。图表6：知识库挂载问答示例1 图表7：知识库挂载问答示例2来源：闻达， 来源：闻达，Langchain知识库主要模块介绍及应用案例作为一个功能齐全的开源框架，Langchain内置的多个模块可以协助我们以简便的方式实现上述的整个流程。我们此处针对上述挂载知识库经常用到的模块进行简要介绍：模块 模块 功能 集成APILoader

从各种类型的文件源加载数据

CSVLoader,PyPDFLoader,UnstructuredHTMLLoaderSplitter

CharacterTextSplitter,CodeTextSplitter,MarkdownHeaderTextSplitterEmbedding 对切割好的数据向量化 HuggingFaceEmbeddings,ModelScopeEmbeddings,OpenAIEmbeddingsVectorDatabase 对向量进行存储的数据库 Faiss,chroma,pinecone,redisChain 封装好的提示链 LLMChain,RouterChain,SequentialChainAgent

动及行动顺序

ReAct,Plan-and-executeagentsDeploymen（非Langchain） 部署工具 Gradio,Streamlit来源：Langchain，

CSV,PDF,HTML,docs,txt，jsonLangchainRecursiveCharacterTextSplitter“\nn”“\n”“”“”]四个标记符号。然而上述函数对于文本切割的方式更适合英文的文本语法习惯，我们经过不断尝试，“\n”Huggingface果较好的Embedding模型，针对不同语言的文本也可以适当切换使用。常见的Embedding模型如下：HuggingfaceHuggingface路径 特点介绍Text-embedding-ada-002 由OpenAI推出，表现较好，但调用成本较高shibing624/text2vec-base-chinese 使用CoSENT方法进行训练在中文STS-B测试集达到SOTA效GanymedeNil/text2vec-large-chinese 在上述模型基础上将MacBERT修改为LERT重新训练来源：Huggingface，OpenAI，LangchainFaissChromaRedisFaissFacebookChromaChainAgentLangchain合在一起创建一个单一的、连贯的任务。用户输入问题后，使用内置的PromptTemplateSequentialChain图表10：Langchain主要模块应用案例1-联网搜索来源：Langchain，ChatGPT，在上例中，我们加载“SerpAPI”的工具，该工具是Google提供的搜索引擎接口。初始化Agent，调用OpenAI的接口并指定ChatGPT作为LLM。可以发现当我们输入需要联网搜索才能回答的提问时，Agent会帮我们自动调用合适的工具，对搜索结果进行判断并，最终反馈合适的回答内容。而Agent之所以能够自己分析问题，选择合适工具并最终解决问题，其背后原理来自于ReActYao2023做出决策并执行的过程，而大语言模型同样可以通过一定的设计达到能够逻辑推理（Reasoning，构建完整系列行动Act，最终达成预期目标的效果。图表11：向量化研报文本节选来源：《机器人vs汽车系列报告（三）：机器人带来全新机遇，轴承初步具备国产化能力》，图表12：Langchain主要模块应用案例2-ReAct信息提取&计算来源：Langchain，ChatGPT，vs（三：机器人带来全新机遇，ReActAgentLangchainAgent部分大语言模型介绍ChatGPTLangchainTransformerMetaLLaMALLaMAAlpacaVicunaChatGLMGLMTransformer大语言模型 基础模型/框架 特点 开发者 训练 参数量图表13：部分大语言模型基本介绍（排名不分先后）大语言模型 基础模型/框架 特点 开发者 训练 参数量LLaMA

旨在成为适合进一步微调的通用基础模型

Meta

7B、13B、33B、65BVicuna

用ShareGPT7户对话数据进行微调

等

多语言

7B、13BAlpaca

LLaMA能力的问题

斯坦福大学 多语言GLM-130B GLM 庞大的中英双语的双向稠密模型 清华大学智谱AI 中、英 130BChatGLM-6B

中英双语的对话语言模型，仅有少量参数但仍有较好的效果

清华大学智谱AI 中、英 6B书生浦语）

8K推理体验

实验室联合香港学和上海交通大学

中、英 7BBaichuan

子粒度的过滤。

百川智能 中、英 7B、13BMoss

GPT学习能力

复旦大学 中、英 16BQwen

2.2token关的对齐数据做了特定优化

阿里云 中、英 7B来源：各大模型项目网站，大语言模型评价指标介绍及对比由于大语言模型的通用性和复杂性，评价模型的优劣并横向对比是一个相对复杂的问题。目前主流的测评方法包括：SuperCLUEELO育运动中，是一种计算参赛者相对技能水平的方法。1𝐸𝐴=1+10(𝑅𝐵−𝑅𝐴)/400图表14：SuperCLUE琅琊榜用户匿名测评示例来源：SuperCLUE琅琊榜，OpenCompass550GAOKAO-Bench,AGIEval,MMLU,CEval20238图表15：OpenCompass主要模型中文排名排名（中文）模型名称综合评分（英文）模型名称综合评分1GPT-467.51GPT-473.32InternLM-Chat-7B-8K59.72ChatGPT63.53Qwen-7B-Chat583StableBeluga260.94Baichuan-13B-Chat56.54LLaMA-2-70B59.85ChatGPT55.35Qwen-7B56.56ChatGLM2-6B51.96Yulan-Chat-2-13B55.37LLaMA-2-70B49.77InternLM-Chat-7B-8K53.78StableBeluga249.68Vicuna-33B539XVERSE-13B49.59Baichuan-13B-Chat50.510Ziya-LLaMA-13B45.910BELLE-LLaMA-248.6来源：OpenCompass，InternLM,Qwen,BaichuanChatGLM2OpenAIGPT-4,ChatGPT,StableBeluga2,LLaMA图表16：OpenCompass中文多维度能力评测 图表17：OpenCompass英文多维度能力评测推理能力理解能力

综合评分806040200

学科综合能力语言能力

推理能力理解能力

80806040200

学科综合能力语言能力GPT-4 InternLM-Chat-7B-8KQwen-7B-Chat ChatGPTChatGLM2-6B Ziya-LLaMA-13B

GPT-4 Qwen-7BInternLM-Chat-7B-8K Vicuna-33BBaichuan-13B-Chat BELLE-LLaMA-2来源：OpenCompass， 来源：OpenCompass，InternLMQwen大语言模型部署的显卡消耗由于大语言模型本身是神经网络结构，庞大的参数量对于显卡的性能消耗较高。我们此处给出模型部署推理与显存消耗的对应关系：图表18：模型参数量与显存消耗对应关系模型参数量/量化精度INT4INT8FP166B6GB8GB13GB13B7.8GB14.9GB24GB33B19.5GB38GB60GB65B38.5GB136GB120GB130B96GB256GB320GB来源：Github，国金证券研究所6BChatGLM2-6B13GB模型部署ChatGLM2-6BLangchainGithubweb_demo.pyTransformersfrom_pretrained()函数进行模型下载，该函数会首先自动检测HuggingfaceHuggingfaceHuggingface图表19：ChatGLM2-6B部署部分代码示例来源：ChatGLM，Langchain知识库挂载及应用案例为更符合投研实际需求，我们将全市场的研报按照大类进行向量化处理后，通过LangchainPromptTemplate。该框架ChatGLM2图表20：ChatGLM2-6B与Langchain挂载应用案例1来源：ChatGLM，Langchain，在具体参数选择上，我们以text2vec-base-Chinese作为Embedding模型，以ChatGLM2-6B-int4LLM4ChatGLM给出了准确的回答。图表21：ChatGLM2-6B