千帆大模型超级工厂-明星大模型与工具链能力介绍 百度 2023-11-16

千帆大模型超级工厂百度智能云产品经理|Ziqi2023.11.16持续反馈•••……应用范式数据工具全面••••性能领先Prompt工程••模型训练预测服务部署模型评估&优化•安全护航选择丰富大模型持续反馈•••……应用范式数据工具全面••••性能领先Prompt工程••模型训练预测服务部署模型评估&优化•安全护航选择丰富大模型数据管理••大模型工具链••数据中心•高性能存储数据中心•高速互联异构GPU芯片高速互联大模型效果体验大模型场景精调大模型高性能调用监控与数据回流Prompt工程以大模型为中心的场景应用开发范式大模型效果体验大模型场景精调大模型高性能调用监控与数据回流Prompt工程应用范式APIAPI/SDK大模型能力探索/发现大模型能力探索/发现大模型压缩大模型压缩大模型评估大模型评估文图生成 New Stable-Diffusion-XL代码生成CodeLlama智源AquilaCode-multiStarCoderSQLCoderNewNew文本表征智源bge-largeEmbeddings_V1New复旦医疗健康大模型DISC-MedLLMNew行业专属度小满轩辕-金融大模型ChatLaw法律大模型文本对话/创作续写千帆中文增强版Llama-2-7B/13BERNIE-Bot-turbo New文图生成 New Stable-Diffusion-XL代码生成CodeLlama智源AquilaCode-multiStarCoderSQLCoderNewNew文本表征智源bge-largeEmbeddings_V1New复旦医疗健康大模型DISC-MedLLMNew行业专属度小满轩辕-金融大模型ChatLaw法律大模型文本对话/创作续写千帆中文增强版Llama-2-7B/13BERNIE-Bot-turbo New百川Baichuan2-7B/13B智源Acuiqla-7BCerebras-GPT-13B……Mistral-7B智谱ChatGLM2/3-6BFalcon-7B/40B元象XVERSE-13BBLOOMZ-7BPythia-12BRWKV-7B/14B全能旗舰全能旗舰NewERNIE-Bot4.0ERNIE-BotERNIE-Bot4.0ERNIE-ERNIE-Bot4.0ERNIE-Bot-turbo相比3.5版本，理解、生成、逻辑、记忆四大能力显著提升•逻辑的提升幅度达到理解的近3倍，记忆的提升幅度也达到了理解的2倍多。•基于有监督精调、偏好学习、强化学习等技术进行多阶段对齐，保证模型更好地与人类的判断和选择对齐•在输入和输出阶段进行知识点增强。理解生成理解生成复杂任务能力显著提升，可处理更精细的多个指令复杂任务能力显著提升，可处理更精细的多个指令更强概念辨析、归纳提炼风格文案创作表现更佳，更精准的遵循字数限制角色带入能力增强逻辑记忆逻辑记忆代码解释更加准确完善、可处理更复杂的错误调试代码解释更加准确完善、可处理更复杂的错误调试逻辑能力提升更长的上下文记忆能力，能够更好的保持当前对话任务文心大模型高性能版，09.22能力升级优势场景千帆平台支持功能•模型精调、模型评估、模型压缩、预置API、私有资源池部署模型使用协议精准回答知识问答：根据历史多轮问答情况，自动总结并改写为单轮完整问题，调用知识库查询，获取更精准回答外挂知识库优势场景千帆平台支持功能•模型精调、模型评估、模型压缩、预置API、私有资源池部署模型使用协议精准回答知识问答：根据历史多轮问答情况，自动总结并改写为单轮完整问题，调用知识库查询，获取更精准回答外挂知识库工具调用：识别用户问题意图，拆解参数并调用相关插件模型简介模型简介效果超越同量级大模型，在对话创作与指令生成方面能力最为突出宽松限制商用（7亿月活以下）宽松限制商用（7亿月活以下）模型评测结果模型评测结果00CMMLUCCMMLUC千帆中文增强Llama-2-7BLLaMA2-13B-chatLLaMA2-13B-chatLinly- 优势场景：智能问数（优势场景：智能问数（GBI）8月份，每天销售收入如何01'<=千帆平台支持功能模型简介模型简介group_by,join,where等复杂查询意图理解和指令模型使用协议无限制商用无限制商用再生模型权重需开源再生模型权重需开源模型评测结果(NL2SQL场景)千帆团队评测结果40%优势场景：智能编程助手实时续写通过分析上下文逻辑关系，智能生成方法、函数、判断、循环体等完整的代码块生成代码直接在注释中用自然语言描述所需功能，自动生成完整函数单元测试支持对任意方法、函数一键生成单元测试，也支持优势场景：智能编程助手实时续写通过分析上下文逻辑关系，智能生成方法、函数、判断、循环体等完整的代码块生成代码直接在注释中用自然语言描述所需功能，自动生成完整函数单元测试支持对任意方法、函数一键生成单元测试，也支持对多文件进行批量生成代码解释可给出整个方法、函数的功能和完整逻辑说明，也支持选中任意代码给出解释千帆平台支持功能模型简介模型简介模型使用协议宽松限制商用（7亿月活以下）宽松限制商用（7亿月活以下）模型评测结果模型评测结果(Coding场景)40%代码生成能力较为突出；同等效果下，调用性价艺术插图建筑设计营销海报影视创作优势场景：创意设计千帆平台支持功能模型使用协议趣味头像艺术插图建筑设计营销海报影视创作优势场景：创意设计千帆平台支持功能模型使用协议趣味头像模型简介模型简介有限制商用有限制商用模型评测结果模型评测结果基于基于GoogleResearchPartiPrompts(P2)评测集，超过1600条评测英文Prompt，包括了不同场景和复杂度的Prompt。和蓝色漩涡下面，一个遥远的村庄静静地坐落在右边•日常物品绘图能力领先•整体能力达到SOTA水平•理解力强，创意十足，可以生成丰富多样的图像细节•Prompt指令调整空间大，支持模型定制（LoRA适合高级开发者使用模型简介优势场景融域任务超越领先通用模型（GPT-4支持金融知识某投资者以97元的价格，购入还有一年到期的债券，债券某投资者以97元的价格，购入还有一年到期的债券，债券在这个例子中，投资者购买的债券面值是100元，年息是8元，所以年利率就是8元/100元=8%。而投模型使用协议模型使用协议宽松限制商用（7亿月活以下）宽松限制商用（7亿月活以下）模型评测结果模型评测结果400XuanYuan-70BXuanYuan-70B-ChatGPT4(0-shot)金融内容生成金融数据分析金融行业知识金融信息理解金融客户对话金融逻辑计算千帆平台支持功能优势场景千帆平台支持功能如果一个邮政工作人员私自开拆了一个邮件，但只是为了查看其中的收件人地址，而并未泄露邮件内优势场景千帆平台支持功能如果一个邮政工作人员私自开拆了一个邮件，但只是为了查看其中的收件人地址，而并未泄露邮件内法律案例分析甲公司注册资金为120万元，主营建材，乙厂为生产瓷砖的合伙企业。甲公司为稳定货源，决定投资30万元入伙乙厂法律条文索引法律概念解读驾车故意冲撞行人适用哪些相关法律条文示例问题模型回答构成私自开拆、隐匿、毁弃邮件、电报罪。本罪客观方面有两个特点：一是必须有私自开拆、隐匿、毁弃邮件、电报的行为。所谓私自开拆，是指非法擅自开拆他人邮件、电报，使封缄失效的行为，合法行为不在此限......按照最新《公司法》的规定，本题无答案。《公司法》第15条规定，公司可以向其他企业投资；但是，除法律另有规定外，不得成为对所投资企业的债务承担连带责任的出资人......依据刑法条文第一百一十四条，如果一个人故意以危险方法危害公共安全，但尚未造成严重后果，将被处三年以上十年以下有期徒刑......模型简介模型简介模型使用协议无限制商用无限制商用模型评测结果模型评测结果••通过关键词抽取模型与知识库，高效注入法律知识，在不显著提升模型参数量级的前提下降低模型幻觉•法律领域专属文本表征模型，精准衡量法律相关问题与检索语料的相似度•融合中国法考与权威法律论坛问答案例，构建可信训练数据集百川Baichuan2系列模型简介百川Baichuan2系列模型简介千帆平台支持功能智谱智谱ChatGLM2/3-6B系列模型简介模型使用协议模型使用协议有限制商用有限制商用模型使用协议模型使用协议有限制商用有限制商用模型评测结果模型评测结果400400千帆平台支持功能•私有资源池部署、模型精调、预置API、模型优势场景千帆平台支持功能模型使用协议优势场景千帆平台支持功能模型使用协议模型简介模型简介无限制商用无限制商用模型评测结果模型评测结果(向量综合表征)炼生物医疗教育炼生物医疗教育法律计算机金融评估数据集••根据应用场景裁剪评估框架，选择评估数据集配比，设置场景相千帆大模型能力评估框架×评估指标•答案满意度•事实性•逻辑性•创造性/吸引力•非重复/多样性•指令遵循数据集管理-预置数据集模型评估数据集管理-预置数据集模型评估预置47个行业开源数据集；支持规则打分、裁判员模型打分、人工标注打分三种权威评估模式评估模式适用场景规则打分适合标准选择题或简单问答场景，计算裁判员模型打分使用能力更强的大模型作为裁判员，对被评估模型的生成结果进行自动化打分，适用于开放性或复杂问答场景。人工打分人工标注员对模型回答进行主观打分，支持多人协同标注239个源于实践的优质Prompt模板，覆盖11个细分场景；支持自动Prompt优化沉淀大语言模型样本自动标注、配比分析、清洗增强最佳实践，高效构建高质量训练数据无监督Pretrain+PostPretrainMultitaskInstructiontuningRLHFAlignment场景驱动SFT、PTuning无监督Pretrain+PostPretrainMultitaskInstructiontuningRLHFAlignment场景驱动SFT、PTuning提升指令zeroshot泛化性能价值对齐场景优化支持Post-Pretrain、SFT、LoRA、RLHF等训练方式，快速发起精调任务，满足场景定制需求阶段一：基础预训练阶段二：通用SFT指令优化阶段三：下游任务指令优化11月7日全新支持New•Llama-2-13B中文增强模型Post-•SQLCoder,Baichuan2-13B,StableDiffusion-XL大模型SFT/LoRA•增量训练为大模型赋予外挂能力，支持扩展接入自定义插件示例应用中心：10+大模型应用落地实践范例与示例代码 示例应用中心：/tools/?u=bce-head#/sampleAppCenter•丰富大模型应用灵感启发•无缝兼容千帆平台API能力•支持本地下载，离线部署•专属增值服务，协助企业开展深度定制•••••••••••••API调用千帆平台全链路功能，实现大模型能力持续迭代大模型推理机制优化提升调用性价比自动干预与审核机制保障生成内容安全训练任容错故障可感知依托百度多年沉淀的安全策略机制和经验，内置安全算子•对输入问题进行安全性判定•对输出答案进行高危词过滤基础设施稳定性大模型推理机制优化提升调用性价比自动干预与审核机制保障生成内容安全训练任容错故障可感知依托百度多年沉