大模型在办公方向的实践与思考

在办公方向的实践与思考分享人：阿里巴巴

钉钉

李祎嵩钉钉文档DINGTALK

DOCS02钉钉AI助理架构03大模型训练的实践和思考04展望与思考01大模型在钉钉办公场景案例大模型在钉钉办公场景案例AI助理

生成周报文档

翻译文档

LUI文档

LUI白板

涂鸦作画白板

图片风格迁移白板

智能海报IM

文件速读IM

视频速读IM

图片速读钉钉AI助理架构大模型训练的实践和思考01大模型训练概述大模型训练的起手式02

大模型训练核心流程大模型训练的起手式SFT在业务上的思考核心流程标注数据，用于SFT根据人类反馈，训练奖励模型通过强化学习优化模型产品设计生成多张图片让用户选择点赞和点踩回流用户反馈数据03

SFT与RLHF大模型训练的起手式微调是指在已经预训练好的大模型基础上，使用特定数据集进行进一步的训练，使模型适应特定任务或领域。SFT

可以激发模型解决问题的能力，让模型能够准确地理解用户指令，给出合理的输出结果。简单来说，微调主要目的是完成知识注入和指令对齐SFTSFT、训练奖励模型（Reward

Model，RM)、强化学习（Reinforcement

Learning，RL）。RLHFDPODPO的目的和RLHF一样都是可以让模型的输出更偏向于人类喜好，但是相比RLHF，DPO不依赖于明确的奖励建模或强化学习，性能和计算成本更加轻量级。04

SFT常用方法大模型训练的起手式LoRA在原模型旁边增加一个旁路，通过低秩分解（先降维再升维）来模拟参数的更新，在训练时只训练矩阵A和B。FullParameterFine

Tuning通过更新所有参数来最大程度地优化模型对新任务的理解和表现。FFT

训练成本比较高，因为参数量和预训练的相同。Adapter-basedTuning一种以串行形式加入到原模型中的模块，使模型在推理时的速度降低了4%-6%，这使得在实际部署中往往不会考虑Adapter方法。Prefix

TuningPrefix

Tuning在每个Attention层都加入Prefix

Embedding来增加额外的参数。05

数据更加重要大模型训练的起手式ChatmodelORbase

model预训练模型选择数据过于领域的数据会灾难性遗忘，但也某些实际业务场景，可以通过意图识别+业务专属模型解决。数据过多可能导致过拟合文本数据中，短文本多用户交互，更多长文本均使用“文件”形式表达，“文档理解”尤为重要。参数LR、

warmup、Epoch的目是让Loss更快收敛文档格式转换钉钉文档转换为各种类型文档，长图、PDF、word、ppt..各类型文件的相互转换场景分析一：文档生成长图文档格式引擎文档格式解析文档与大模型交互，文档还原度决定模型效果。超大文档、超长文档如何解决。场景分析二：文档速读场景文档格式引擎场景分析三：文档问答场景RAG

：文档理解、分片、向量化Query优化、召回策略排序策略架构/产品：先学习，在检索文档格式引擎OOXML文档格式引擎Markup

languagesOOXML核心OPC文档格式引擎WordprocessingMLDocx是什么内存结构文档格式引擎docx举个例子内存结构文档格式引擎文档格式引擎PDF举个例子协议数据文档格式引擎文档格式引擎大模型训练实践-AIPPT产品形态生成一个

PPT训练模型生成

PPT核心问题大模型训练实践-AIPPTPPT内存结构训练目标复杂场景的推理与训练基于分治推理方案，整体任务使用树描述遍历推理。推理具备拆解任务的dataset具备叶子结点独立计算的dataset具备任务回溯父节点的dataset训练展望与思考安全更加重要模型训练的数据安全模型应用的数据安全大模型效果持续提升多模态迅速发展大模型成本持续降低Thanks！