鸿蒙生态下的AI助力移动应用开发新范式-华为+彭松

通明湖人工智能开发与应用大会鸿蒙生态下的AI助力移动应用开发新范式助力鸿蒙原生应用高效开发演讲人：彭松智能代码辅助智能问答万能卡片生成下一步思考1个初级程序员变成1个资深程序员AI降低开发门槛1个资深程序员变成10个资深程序员AI提升程序员开发效率应用开发能力边界更广全民开发者全民开发者应用开发者专业开发者应用开发门槛降低厂商产品智能问答代码生成测试用例生成代码优化代码解释代码翻译微软√√√√√√百度Comate√√√√√√HuggingFaceCodeFuse√√√√√√通义灵码√√√√√√字节MarsCode√√√√√√科大讯飞iFlyCode√√√√√√商汤小浣熊√√√√√√智谱AICodeGeeX√√√√√√其他：CodiumAl、Replit、Cursor、CodeStony、JoyCoder、Fittn目前辅助编程飞速发展中，不同友商功能逐渐趋同，核心功能包括智能问答，代码生成，用例生成，代码优化，代码解释；n微软GithubCopilot背靠OpenAI,辅助编程效果较好。百度Comate与阿里同义灵码等国内辅助研发工具在中文场景效果较好。n辅助编程可以极大的提升开发者的工作效率；在代码生成方面，直接用于业务场景时，还需开发者优化，其能力有待进一步提升。代码补全根据注释生成代码修复编码错误添加异常处理生成文档注释代码解释；代码修复；生成测试用例 鸿蒙整体开发量大代码生成效率代码量(含三方)约1.4亿行约2.7亿行如何快速赋能？赋能开发者220万30万大量新元服务需研发如何提升开发效率？新增元服务鸿蒙卡片添加率68.6%低于竞品93%AI使能研发,聚焦高价值高频次场景代码生成补全代码生成补全智能代码辅助鸿蒙开发万能卡片代码生成鸿蒙元服务开发辅助鸿蒙知识问答知识推广辅助应用智能代码辅助智能问答万能卡片生成下一步思考lArkTS界面代码生成lHarmonyOSAPI代码生成lArkTS常用算法代码生成l精准理解代码注释l智能分析代码上下文l鸿蒙原生应用最佳实践智能代码辅助技术路线目标：代码生成与代码补全采纳率达到30%挑战：lArkTS语料质量偏低：绝大多数代码没有注释，代码文件通常较短信息量少，且代码数据多样性低l现有大模型不懂ArkTS：现有的数据生成和衍生方法难以应用，无法直接用现有大模型生成ArkTS语料和指令代码基座模型代码基座模型编程相关知识，以及代码的理解、生成能力面向代码的增量预训练语言基座模型面向代码的增量预训练基本的语言知识，以及中英文理解、生成能力领域增强模型领域增强模型注入特定编程语言的知识，或者增强特定编程语言的代码能力通用代码对话模型基本的编程任务和相关对话通用代码对话模型基本的编程任务和相关对话领域任务增强模型针对特定编程任务进行增强L2模型代码指令微调 L0模型预训练数据加工：基于规则和基于模型筛选高质量数据》数据源》数据源•开源数据集•合成数据•规则过滤•隐私敏感信息•License过滤》》•文档间去重:MinHash+LSH•代码仓库去重•抽样人工标注•LLM质量分级•分级模型迭代原始代码片段LLMLLM代码功能、详细解释构造指令构造指令数据Instruction:请使用ArkTS语言实现一个名为ResetFactory的类，该类提供了一个名为rebootAndCleanUserData的方法，该方法用于执行设备的恢复出厂设置操作。Output:```arkts\nconstTAG=‘ResetFactory’;\n\nexportclassResetFactory{\nrebootAndCleanUserData(){\nletrestorer=……```\n在上述ArkTS代码中……在执行操作后，它会记录操作的成功或失败信息。实现ResetFactory类，该类提供rebootAndCleanUserData方法，用于执行设备的恢复出厂设置操作。在执行操作后，它会记录操作的成功或失败信息……ArkTS基础知ArkTSArkTS基础知ArkTS&TS差•ArkTS和TS差异说明•教程、FAQ、三方开发者样例RAG文档切分文档选择!相关文档检索HarmonyOS闭源文档•自由流转、RAG文档切分文档选择!相关文档检索HarmonyOS闭源文档•自由流转、元服务等闭源特性[任务一]……认真阅读并掌握ArkTS……[任务二]……总结考察的知识点…………编写问题…………解决思路、代码、代码说明……训练数据中的幻觉：•原始代码片段不完整，具有额外依赖•模型缺乏鸿蒙知识，生成的数据天然具有幻觉•文档内容仅能约束部分代码，无法完全避免生成不存在的接口•ArkTS与TS、JS接近，尤其容易混淆类似功能的接口编译编译通过ArkCompiler全量数据通过ArkCompiler全量数据编译报编译报错信息不通过LLMICL、CoT、Self-LLMICL、CoT、Self-consistency、…… 修正数据问题数据模型和数据逐轮迭代Retriever相关文档&Retriever相关文档&正确的代码文档智能代码辅助智能问答万能卡片生成下一步思考l自然语言问答式搜索l精准定位文档与代码l可拓展阅读以供参考鸿蒙知识问答-基于大模型的鸿蒙应用开发问答助手目标:理解用户自然语言描述的问题，归纳总结鸿蒙知识，直接解答用户问题，减少检索查找周期，提高问题解决效率。挑战：•鸿蒙知识官方信息较匮乏，现有大模型对鸿蒙问题理解不佳；•大模型幻象生成不属于鸿蒙知识的解决方案，导致答案不准确；•多场景、多业务接入鸿蒙知识问答，提升开发者效率，助力鸿蒙生态扩展目标：构建鸿蒙代码领域L1L2评测集，产出月度评测报告•L1：官网或者论坛有直接答案，如接口说明•L2：官网无直接答案，需要模型推理总结关键点：分级标注，L2标注引入专业开发者目标：基于官方文档，构建鸿蒙编程全领域知关键点：与鸿蒙知识赋能团队联动提升覆盖率目标：下一代搜索能力应用于鸿蒙领域，提升鸿蒙知识准确率关键点：1）搜索Agent流程构建2）向量表征，内容优选语义模型能力定向提升3）通过大模型增强Query理解，搜索精排能力目标：鸿蒙知识问答场景，提升大模型答案准型关键点：1)预训练模型增加鸿蒙开发手册数据2）RAG模型增加鸿蒙知识问答类样本3）支持文配图、markdown、代码模板、参考来源等呈现形式智能代码辅助智能问答万能卡片生成下一步思考毕方AI辅助万能卡片生成：对话式交互体验，即时卡片效果呈现l准确识别用户需求意图l理解上下文对话更加流畅l多张卡片预览即时生成l卡片工程代码一键生成毕方IDE智慧内核-项目级代码生成技术目标:输入自然语言需求描述，端到端生成可编译运行、预览的鸿蒙万能卡片工程。挑战：•项目级代码生成涉及文件类型、数量多，导致模型很难直接生成一个完备的工程项目；•鸿蒙场景下代码数据较少，大模型幻觉容易导致生成不符合鸿蒙语法规范的代码，生成结果无法编译预览。传统开发流程（周级需求描述需求分析需求设计代码编写测试/发布开发态AgentsAI开发流程（分钟级——毕方IDE新开发模式项目级代码生成技术项目级代码生成UI与项目级代码生成UI与逻辑代码生成即时编译运行对话式交互体验用户意图精确识别自然语言多轮交互智能化UI设计AI智能布局多元化ArkUI组件生成万能卡片生成框架打造用户友好的开发形态用户体验用户体验实时预览代码修复规划链路，实现项目级代码生成代码修复代码生成代码验证Agent系统工程实践，Agent系统RAGRAG增强FewFew-ShotlearningRethinkRethinkScaffoldingScaffolding逻辑代码基座模型鸿蒙知识注入，增强逻辑代码基座模型项目级数据盘古大模型用户描述Agent系统中间态结构化IR后处理ArkTS代码渲染预览效果“请帮我展示新品上市活动的2*4卡片，包含新品信息，点击不同新品展示项跳转到不同产品页面”生成结构化数据的中间态IR卡片事件逻辑•后处理部分对Agent生成的中间态IR进行解析转换为ArkTS代码卡片事件逻辑•渲染器对生成的ArkTS代码进行渲染并最终输出给用户卡片状态变量智能代码辅助智能问答万能卡片生成下一步思考智能问答智能代码辅助万能卡片生成准确率：85%采纳率：37%准确率：60%展望：•持续优化HarmonyOS领域AI大模型•