大模型专题：2024大模型技术及其在金融行业的应用探索报告

股票代码688031股票代码688031星环科技星环科技大模型技术及其在金融行业的应用探索星环科技：東方星环信息科技（上海）股份有限公司Copyright©2024Transwarp.AllRightsReserved.股票代股票代码688031星环科技02大模型应用体系建设03大模型在金融行业的应用探索/wuya7Copyright©2024Transwarp.AllRightsReserved.7股票股票代码688031星环科技背景知识Copyright©2024Transwarp.AllRightsReserved.股票代码688031星环科技2022年11月30日，OpenAI的生成式对话模型服务ChatGPT股票代码688031星环科技2022年11月30日，OpenAI的生成式对话模型服务ChatGPT发布GPT-4接受图灵测试生成毁灭人类计划引关注和对于大语言模型的思考《DoesGPT-4passtheTuringtest?》arXiv.2310.20216《PeoplecannotdistinguishGPT-4fromahumaninTuringtest》arXiv.2405.080071.技术突破：基于大规模预训练技术和更长的上下文长度，这使得它在对话流畅性、多轮对话、复杂语义理解等多个传统的NLP任务上取得了巨大的进展。2.用户体验：ChatGPT的交互体验非常接近人类，它能够理解和生成自然语言，这使得用户感觉与一个真正有逻辑思维和语言交流能力的真人进行交流。3.研究范式改变：它的出现改变了NLP的研究范式，从传统的统计学习方法和词嵌入方法，到预训练加微调范式，再到如今的大语言模型。4.应用潜力：其展示出了在众多领域的应用潜力。产业界积极进行场景实践。5.社会影响：引发了对AI技术的广泛讨论，包括其在伦理、安全和隐私方面的挑战。甚至已经符号化。1.埃隆·马斯克和比尔·盖茨都对ChatGPT表示了高度评价。马斯克认为2.英伟达CEO黄仁勋也对ChatGPT给予了高度评价，他盛赞ChatGPT的诞生堪3.澎湃新闻将2022年11月30日视为可能改变人类历史的日子，他们认为ChatGPT不仅催生了人工智能界的又一轮高光期，还并不常见地被誉为“蒸9Copyright©2024Transwarp.AllRightsReserved.9股票代码股票代码688031星环科技Copyright©2024Transwarp.AllRightsReserved.股票代码688031星股票代码688031星环科技通常包含数十亿甚至数千亿个参数，这些参数在训练为了训练这些模型，需要大量的数据。这些数据可以------------------⃞由于模型的规模和数据量，大模型通常需要大量的计------------------⃞大模型由于其复杂性，通常具有很强的泛化能力，能------------------⃞处理和理解多种不同类型的数据输入和输出，例如文-----------------⃞本、图像、视频和音频等。使得模型可以跨不同领域大模型通常可以在一个任务上预训练，然后在其他相-----------------⃞关任务上进Copyright©2024Transwarp.AllRightsReserved.股票代码688031星股票代码688031星环科技n广泛的常识：大模型通过在大规模文本数据上的预训练，学习到了语言的潜在结构、语法规则和语义关系，因此具备了广泛的常识。例如，它们可以理解和生成涉及各种主n理解能力：大模型能够理解复杂的指令和上下文信息，这使得它们在执行任务时更加精准。例如，它们可以根据邮件的主题自动撰写回复，理解用户的需求并生成合适的内n上下文学习：大模型能够根据上下文信息进行学习和预测，这使得它们在处理具有上n多任务能力：大模型在预训练后能够泛化到多个下游任务，无需大量针对特定任务的n多模态理解能力：最新的大模型如GPT-4展示了更强的推理与多模态理解能力，能够Copyright©2024Transwarp.AllRightsReserved.股票代码688031星环科技大模型产业发展-政策端：各级对大模型技术应用的支股票代码688031星环科技《关于加快场景创新以人工智能高水平应用促进经济高质量发展的指导意见》：由科技部等六部门于2022年印发，目的是落实《新一代人工智能发展规划》，系统指导各地方和各主体加快人工智能场景应用，推动经《北京市促进通用人工智能创新发展的若干措施》：该政策旨在充分发挥政府引导作用和创新平台催化作用，整合创新资源，加强要素配置，营造创新生态，重视风险防范，推动本《北京市加快建设具有全球影响力的人工智能创新策源地实施方案（2023-2025年）》：该方案的目标是高水平建设北京国家新一代人工智能创新发展试验区和国家人工智能创新应用先导区，加快建设具有全球影响力《北京市推动“人工智能+”行动计划（2024-2025年）》：这个行动计划的目标是通过实施标杆型应用工程、示范性应用项目和商业化应用成果，力争到2025年底形成3至5个先进可用、自主可控的基础大模型产品、《上海市推动人工智能大模型创新发展若干措施（2023-2025年）》：这份通知由上海市经济和信息化委员会、上海市发展和改革委员会、上海市科学技术委员会、中共上海市委网络安全和信息化委员会办公室、上海《推动区块链、大模型技术赋能生产性互联网服务平台发展实施方案》：由上海市经济和信息化委员会、上海市商务委员会联合发布，目的是推动区块链、大模型等前沿技术与平台深度融合，促进生产性互联网服务《上海市推进“人工智能+”行动打造“智慧好办”政务服务实施方案》：各地AI大模型产业支持政策还有：北京、上海、山东、广东、安徽、福建和深圳、杭州、成都等地均发布了AI大模型的相关产业政策，以加速大模型应用落地。Copyright©2024Transwarp.AllRightsReserved.股票代码688031星环科技大模型产业发展-需求端：企业端对生成式股票代码688031星环科技场景，全球市场、中国市场及美国市场受访企业对此场景的期待应用分别占到了52%、5上表引用自上表引用自-艾瑞咨询-《2023年中国人工智能产业研究报告》第23页本主要内容引用自-创业邦《2024AIGC创新应用洞察报告》第19页Copyright©2024Transwarp.AllRightsReserved.股票代码688031星环科技大模型产业发展-供给端：在大模型带动下的AI产业蓬勃股票代码688031星环科技本页内容来自于艾瑞咨询-《2023年中国人工智能产业研究报告》第22页Copyright©2024Transwarp.AllRightsReserved股票代码688031星环科技688031大模型应用体系建设大模型应用体系建设Copyright©2024Transwarp.AllRightsReserved.股票代股票代码688031星环科技利用企业自身数据，快速搭建，构建Copyright©2024Transwarp.AllRightsReserved.股票代码688031星环科技五种方法快速构建大模型股票代码688031星环科技•快速搭建企业领域知识平台，构建专家级领域大模型应用。比如直接提问 大模型LLM(Gneral)Copyright©2024Transwarp.AllRightsReserved.股票代码688031星环科技五种方法快速构建大模型商股票代码688031星环科技 2提示工程假设你是一位金融投研领域的专家，请你从产业链的角度分析并回答该问题。 大模型提示词工程（思维链）LLM(Gneral)LLM(General)Prompt(CoT)Copyright©2024Transwarp.AllRightsReserved.股票代码688031星环科技五种方法快速构建大模型商股票代码688031星环科技 3检索增强召回囚检索增强&代理大模型检索增强&代理大模型LLM(GneralLLM(Gneral)LLM(General)Prompt(Prompt(CoT)LLM(General)Prompt(CoT)RAG&AgentCopyright©2024Transwarp.AllRightsReserved.股票代码688031星环科技五种方法快速构建大模型商股票代码688031星环科技 2提示工程（思维链）假设你是一位金融投研领域的专家，请你从产业链的角度分析并回答该问题。 检索增强3检索增强3召回Agent工具集 召回Agent工具集检索增强&代理大模型检索增强&代理大模型LLM(GneralLLM(Gneral)LLM(General)Prompt(Prompt(CoT)LLM(General)Prompt(CoT)RAG&AgentCopyright©2024Transwarp.AllRightsReserved.股票代码688031星环科技五种方法快速构建大模型商股票代码688031星环科技22提示工程（思维链）假设你是一位金融投研领域的专家， 33请你从产业链的角度分析并回答该问题。 3344有监督微调LLM检索增强选择工具Agent工具集召回检索增强选择工具Agent工具集检索增强&代理有监督微调大模型检索增强&代理有监督微调大模型LLM(General)LLMLLM(General)LLM(General)LLM(General)Prompt(CoT)Prompt(CoT)RAG&AgentLLM(Gneral)Prompt(CoT)RAG&AgentCopyright©2024Transwarp.AllRightsReserved.股票代码688031星环科技五种方法快速构建大模型商股票代码688031星环科技 2提示工程（思维链）假设你是一位金融投研领域的专家， 33检索增强召回Agent工具集 检索增强召回Agent工具集检索增强&代理预训练Pre-training有监督微调检索增强&代理预训练Pre-training有监督微调大模型LLM(GneralLLM(Gneral)LLM(General)Prompt(CoT)LLM(General)LLM(General)Prompt(CoT)RAG&AgentPrompt(CoT)RAG&AgentPrompt(CoT)RAG&AgentLLM(Pre-Trained)Copyright©2024Transwarp.AllRightsReserved.股票代码688031星股票代码688031星环科技申请授信的单一客户进行详细的调查。可能涉及到内部数据、外采数据、注：上文LLMOps为LargeLanguageModelO24Copyright©2024Transwarp.AllRightsReserved.24股票代码688031星环科技大模型应用体系架构–星环股票代码688031星环科技Copyright©2024Transwarp.AllRightsReserved.股票代码688031星环科技金融行业垂直大模型在金融领域具有专业的理解能力，更精熟于金融术语和概念更适合解决金融行业的具体问题，与行业需求和合规性要求相匹配提供更精确、可信赖的金融信息和建议，同时符合行业规定由于主要针对金融领域，因此在其他领域的适用性可能有限金融政策和法规的变化可能要求模型频繁更新以保持准确性和合规性垂直领域模型的训练数据相对较少，模型的准确率可能会受影响股票代码688031星环科技金融行业垂直大模型在金融领域具有专业的理解能力，更精熟于金融术语和概念更适合解决金融行业的具体问题，与行业需求和合规性要求相匹配提供更精确、可信赖的金融信息和建议，同时符合行业规定由于主要针对金融领域，因此在其他领域的适用性可能有限金融政策和法规的变化可能要求模型频繁更新以保持准确性和合规性垂直领域模型的训练数据相对较少，模型的准确率可能会受影响通用语言大模型由于在多样化的数据集上进行了训练，通用模型能够处理各种话题和领域的问题大量数据训练提高了模型的准确率，并可以应用于多种任务中在数据量较少的特定任务上，通用模型也可以通过微调进行有效的迁移学习，大大减少模型的训练时间和计算资源可能不具备特定领域（如金融）的深入理解和专业知识通用大模型的结构非常复杂，使得模型的解释性变得困难，导致模型的计算量增加，影响模型的效率通用大模型的训练需要大量的计算资源和时间，这对于一些小型企业来说是一个挑战训练数据难以覆盖所有金融知识，以偏概全对模型来说是“毒药”26Copyright©2024Transwarp.AllRightsReserved.26股票代码688031星环科技股票代码688031星环科技垂直领域大模型则专注于特定领域或任务，使用特定领域的垂直领域大模型需要整合领域特定的知识库或数据，以提高垂直领域大模型的预训练则更侧重于学习特定领域的知识和垂直领域大模型在参数量上通常小于通用大模型，还可能会涉及到对模型的某些组件或网络结构进行定制27Copyright©2024Transwarp.AllRightsReserved.27股票代码688031星环科技2.1大模型管理与运营：模型训练的必股票代码688031星环科技知识边界知识边界数据难点私域数据私域数据管理成本高管理成本高算力稀缺需要模型运营模型架构和推理机制28Copyright©2024Transwarp.AllRightsReserved.28股票代码688031星环科技2.2大模型管理与运营：大模型股票代码688031星环科技0104·多模型对比ReservedReserved02模型训练0302模型训练0529·安全对齐·认知对齐29股票代码688031星环科技2.3大模型管理与运营：Agent也许是大模型应用的股票代码688031星环科技以人类为主的AI应用，AI以信息提供的形式服务人类决策。以人类为主的AI应用，AI以信息提供的形式服务人类决策。代表场景与服务：Chatbot广泛应用于客服、订票、娱乐聊天等多个领域。它们能够通过自然语言与用户进行交互，提供信息查询、任务处理等服务。代表场景与服务：Coding-Copilot主要服务于开发者，通过预测和补全代码段来提高编程效率。它可以在编写代码时提供实时的代码建议，帮助开发者快速完成任务。AI全权代理，自主承担工作任务的分配、拆解与执行。代表场景与服务：Agents模式可以应用于个人助理、智能家居、企业自动化等多个场景。它们能够根据用户的指令或环境变化自主执行任务。Agent/智能体：为一个能够感知环境、做出决策并执从而实现精准的意图识别和决策制定。此外，大模型作为AI代理的“智能核心”，为其提供了规划、记忆、执行和工具等四项关键能力，使其能够决策任务。AI代理能够自主进行任务规划、环境感知、行动选择和观察纠错，这一系列行动都是以任务目标为导向的。这样的能力提升不仅增强了大模型解决实际问题的能行动。信息做出响应。30Copyright©2024Transwarp.AllRightsReserved.30股票代码688031星环科技2.4大模型管理与运营：Ag股票代码688031星环科技②智能体②智能体(大语言模型)解析用户指令，将任务分解成多个子任务并进行规划和编排工具1任务分解成多个子任务并进行规划和编排工具1工具2③调用其它工具完成每个小模块任务①接受用户自然语言指令工具2③调用其它工具完成每个小模块任务Agent最终Agent最终工具3④执行完所有小模块的任务后，将处理结果返回给用户工具3记忆规划②②思考：需要发送邮件使用工具：send_email输入：{“to”使用工具：send_email输入：{“to”:”san.zhang@transwarp.io”,“content”:”张三，您好，欢迎加入星环科技”}①给待入职员工发送欢迎邮件，并提醒需要携带的入职材料Agent③输出：发送成功④Agent③输出：发送成功Copyright©2024Transwarp.AllRightsReserved.股票代码688031星环科技2.5大模型管理与运营：例如使用Agents模式构建股票代码688031星环科技32Copyright©2024Transwarp.AllRightsReserved.32股票代码688031星环科技2.6大模型管理与运营：大模型应用股票代码688031星环科技Copyright©2024Transwarp.AllRightsReserved.股票代码688031星环科技3.1知识管理与构建：高质量语料获取的必要股票代码688031星环科技•高质量语料是在大模型不同阶段对“价值”和“效果”既决定了地板有多“低”，也决定了天花板有多“高”•高质量语料是解决大模型“幻觉”、“可信可控”等核心落地觉”、“可信可控”等核心落地难点的重要手段•高质量行业专用语料是企业、机构独特的竞争优势和天然壁垒••合法性•无偏见•多样性•大规模•真实性•连贯性•无害•模型预训练•模型微调对齐•模型应用•文本：无格式、代码、特殊表格、有篇章结构•图像：含文字图像、趋势图/饼图、高级语义图像•语音：单一角色普通话、多角色方言、多语言多情感•图谱：E-R关系、属性图、本体库、多模态业务图谱34Copyright©2024Transwarp.AllRightsReserved.34股票代码688031星环科技3.2知识管理与构建：语料股票代码688031星环科技采购数据抽样人工评估开放数据CommonCrawl数据Crawler合作方领域数据训练集洗规则json格式处理敏感&广告词过滤样本间&样本内去重数据集质量评估知识库数据清洗洗规则小模型验证百科类电子书采购数据抽样人工评估开放数据CommonCrawl数据Crawler合作方领域数据训练集洗规则json格式处理敏感&广告词过滤样本间&样本内去重数据集质量评估知识库数据清洗洗规则小模型验证百科类电子书网页数据…清洗阶段3：1.大数据平台样本间去重：计算hash，去重2.样本内去重：清洗阶段3：1.大数据平台样本间去重：计算hash，去重2.样本内去重：n-gram算法清洗阶段1：处理方式：分布式大数据处理平台效率：处理1TCC原始数据，耗时约2小时，可以得到约5GB清洗阶段4：1.用语言模型进行ppl过滤2.人工抽样评估2.敏感词过滤：基于快速字符串匹配对敏感信息进行过滤训练小模型训练小模型，在下游任务上做效果评估中文质量一般的数据加工流程示例（预训练/微调/RAG）按需配置中文质量一般的数据Copyright©2024Transwarp.AllRightsReserved.股票代码688031星环科技4.1知识存储：向量数据的存储与检索-Hippo分布股票代码688031星环科技应用场景Hippo技术优势应用场景分布式分布式全面容器化部署，具备多租户和强大的资源管控能力，支持服务的弹性扩缩容大规模分布式集群部署经验和能力；Raft算法确保数据强一致性；提供故障迁移，数据修复等数据保障能力全面容器化部署，具备多租户和强大的资源管控能力，支持服务的弹性扩缩容混合检索跨模态检索混合检索跨模态检索具有全文检索+向量稀疏向量+稠密向量的能力不同模态数据（文本/图片/音频等）通过Embedding导入后，支持跨模态检索（如文搜图等）具有全文检索+向量稀疏向量+稠密向量的能力高性能检索高性能检索安全性基于SASL的用户认证能力基于SSL/安全性基于SASL的用户认证能力基于SSL/TLS数据加密传输非结构化数据应用日益增多多进程架构与GPU加速，充分发挥并行检索能力；10+类索引支持，满足不同需求及体量的业务场景非结构化数据应用日益增多 信创界面化管理，指标监控，标准界面化管理，指标监控，标准接口：Python/Restful/JavaEmbeddingSDK支持Arm/X86平台支持信创服务器/系统适配36Copyright©2024Transwarp.AllRightsReserved.36股票代码688031星环科技股票代码688031星环科技构建知识图谱后，再通过图嵌入算法模块将用户输入提问文本，结合知识模型、NLP、大模型等相关技相似子图生成相应提示词后供大模型生成内容并进行回产业链知识模型产业链知识模型交易行为知识模型Graphembedding知识图谱构建Graphembedding知识图谱构建原始数据子图嵌入子图嵌入实体/关系搜索子图召回问题示例：与A公司具有相似交易行为的公司有哪些?相关提问文本识别引擎识别引擎基础大模型基于图谱的产业链和交易行为信息回复回答示例:A公司的交易行为特点是1.高频小金额交召回子图向量召回相似子图易...2....;与它具有相似交易行为的公司是B公司，它的行为特点是:...;C公司，它的行为特点是...37Copyright©2024Transwarp.AllRightsReserved.37股票代码688031星环科技5.1应用：智能问答/增强股票代码688031星环科技基本面分析新闻资讯分析法律法规问答回回音视频总结产业图谱分析智能写作图片检索AAA私有知识上传AA财报研报法律法规实时新闻财报研报法律法规实时新闻互联网38Copyright©2024Transwarp.AllRightsReserved.38股票代码股票代码688031星环科技688031大模型在金融行业的应用探索Copyright©2024Transwarp.AllRightsReserved.股票代码股票代码688031星环科技 预计在办公、投顾、数据提取等其它方40Copyright©2024Transwarp.AllRightsReserved.40股票代股票代码688031星环科技消贯者议益护消贯者议益护落地优先级落地优先级专业、精准的应答话术，给坐席人员提供参考，提以经过大量行业预料训练后的行业大模型为专业、精准的应答话术，给坐席人员提供参考，提业务价值Copyright©2024Transwarp.AllRightsReserved.股票代码688031星环科技金融行业大模型应用案例股票代码688031星环科技•模板化“填空”在[起始日期]至[结束日期]，•模板化“填空”....自然流畅美联储货币政策调整暂无新进展，美元指数维持高位回落态势，对贵金属形成利好影响，贵金属维持高位偏强运行态1847-1865美元/盎司区间偏强运行；现.自然流畅近期，美联储货币政策加速收紧预期逐步被市场所计价，欧洲央行7月开启加息周期确定性强...42Copyright©2024Transwarp.AllRightsReserved.42股票代码688031星环科技金融行业大模型应用案例-股票代码688031星环科技复盘推演分析知识图谱与图分析知识抽取及库构建复盘推演分析知识图谱与图分析功能迭代43Copyright©2024Transwarp.AllRightsReserved.43股票代码688031星环科技金融行业大模型应用案例-股票代码688031星环科技合规知识问答场景合规场景中涉及各类知识问答场景：相关法律法规的法条查询通过问答模式对比历史判决案例为当前案例提供相似案例通过问答方式进行相关类型案例的推荐等等智能文本生成场景02涉及各类文本生成的工作：调查报告、处罚书、整改措施发文的撰写等等-44Copyright©2024Transwarp.AllRightsReserved.44股票代码688031星环科技金融行业大模型应用案例-4：股票代码688031星环科技问题分析阶段结果生45Copyright©2024Transwarp.AllRightsReserved.45股票代码688031星环科技金融行业大模型应用案例-4：股票代码688031星环科技46Copyright©2024Transwarp.AllRightsReserved.46股票代码688031星环科技金融行业大模型应用案例-4：股票代码688031星环科技模型模型调用返回SQL执行模型模型调用返回SQL执行分析场景发布分析场景发布↑查询结果返回查询结果返回整合指标、标签查询结果更准确回答可解释、可调整整合指标、标签查询结果更准确回答可解释、可调整智能提示、问答纠错47Copyright©2024Transwarp.AllRightsReserved.47股票代码688031星环科技金融行业大模型应用案例-5：智能股票代码688031星环科技客户信贷数据客户信贷数据客户标签客户标签/客户洞察成向量数据库相关写作素材成向量数据库相关写作素材48gh48ght©2024Transwarp.AllRightsReserved.金融行业大模型应用案例-5：智能尽调报告生成星环科技股票代星环科技49Copyright©2024Transwarp.AllRightsReserved.49股票代码688031星环科技金融行业大模型应用案例-5：智能股票代码688031星环科技大纲模板：一、公司基本情况（一）公司基本信息（二）公司管理能力现状二、行业状况评价（一）客户行业相关信息（二）行业政策（三）行业内企业对比三、经营情况（一）经营概况（二）经营模式分析（三）核心竞争力（四）公司战略及策略分析四、财务评价（一）财务报表及人行征信情况（二）财务指标分析（三）异动科目分析（四）主要会计科目明细分析五、ESG情况（一）申请人ESG风险分类及碳排放情况（二）ESG风险相关情况六、重大事项（一）申请人及其主要成员单位发行上市情况（二）申请人及其主要成员单位重大资产/业务重组、重大资产处置情况（三）申请人及其主要管理者涉诉及纠纷情况（四）申请人及其主要成员涉及的担保圈、互保情况（五）关